作为为让大家了解该公司在人工智能方面的最新进展,微软今日宣布了对 Power Apps 快速设计工具的新投资。's无代码/低代码Power Apps服务集中的一项新功能,Express Design可以将上传的PDF、PowerPoint、Figma设计文件、截屏(或手绘草图)转换为可工作的应用程序(这需要一系列的修补)。
(来自微软博客)
在微软Build 2022开发者大会上,Express Design采用了业界领先的人工智能技术来扫描输入,并生成支持数据存储的工作应用控件。
作为Power Fx之后主要的AI驱动功能,它使用OpenAI的GPT-3方案,将“查找名称以‘儿童’开头的产品”等指令智能翻译成公式。
显然,微软想迎合越来越流行的无代码/低代码编程的趋势。Gartner指出,到2025年,将有多达70%的应用在这一方案的帮助下开发(包括AI技术)。
更进一步的预测是,大型机构中缺乏正规计算机科学背景的普通“公民开发者”的比例也有望在今年内超过传统开发者。
电源应用快速设计示例
在一系列博文中,微软解释了这种快速设计工具是如何工作的――首先,它借助Azure认知服务平台的对象检测模型进行图像识别,然后将文档(包括草图)中的表格和图形映射到已知的应用结构。
Express Design可以理解按钮、组或文本框,并根据这些绘图元素自动生成工作(或至少近似)应用程序。但是,在现阶段,这个Power Apps快速设计工具还不能帮你完成所有艰巨的开发工作。
扫描完文件后,还需要手动标记字段、文本标签、日期选择器、按钮等应用组件,并与微软Dataverse服务中的数据库连接。
与Power Apps中以传统方式创建的应用程序一样,用户可以添加额外的屏幕(手动或通过转换新草图)并上传图像,以便在发布前自定义背景、按钮和其他组件。
通过Power Apps中的express design将草图转化为应用程序(via)
有意思的是,早在2018年,微软就已经在Sketch2Code项目上首次尝试了“将草图转换成代码”。该研究项目旨在利用人工智能技术将手写图纸转化为可工作的HTML原型。
不过,除了微软,也有很多人研究过类似的想法。例如,Airbnb和阿里巴巴开发了自己的AI系统,将界面上的草图转换为产品模型和代码。
在商业应用方面,一家名为Zecoda的初创公司正在使用AI技术自动将设计文件转换为前端代码。但微软的Express设计方案显然有更大的规模优势。
目前,Express Design对所有Power Apps客户开放。感兴趣的朋友可以移步官方门户了解更多详情(portal)。