图形用户界面自动生成技术的现状与挑战

随着大数据、人工智能等新兴技术的不断发展和应用,算法模型驱动的图形用户界面自动化和智能化趋势正以前所未有的速度改变着传统的依赖人工绘制的图形用户界面设计方式。用户界面自动生成不仅是解决人机交互设备多样化、功能复杂化、需求个性化等挑战的必然选择,也为人机协同的智能用户界面设计提供了新范式。为了进一步拓展开发人员和研究人员对图形用户界面自动生成前沿技术方法和应用案例的理解及应用,阐述了当前人机交互和人工智能交叉领域下的图形用户界面自动生成及智能评估相关技术的现状,分析了目前图形用户界面自动生成的技术路径、算法模型、设计方法以及评估框架,特别介绍了基于人工智能内容生成技术(AIGC)的图形用户界面自动生成技术进展及其对现有用户界面设计范式带来的新挑战,并总结了图形用户界面自动生成技术的发展趋势和机遇。

图形用户界面的自动生成

现代软件产品几乎全部采用交互式的图形用户界间。在图形用户界面大大提高了使用的方便性的同时,也使软件的开发任务变得更为复杂与团难。

基于原型范畴理论视角的网络流行语生成机制解读——以《咬文嚼字》“2022年流行语”为例

语言是社会生活的体现与反映,网络流行语作为其中的一部分,能够很好地反映社会真实面貌,深入观察社会文化现象。从认知语言学中的原型范畴理论出发,从原型语体基础上的语体跨用、原型语义基础上的语义变异以及原型构式基础上的框架提取三个方面对《咬文嚼字》所发布的“2022年流行语”进行分析,并探析其背后的社会心态。

一种图形用户界面的XML描述方法与工具开发

传统的图形用户界面开发与具体的程序设计语言和软件开发平台密切相关。图形用户界面开发的这种紧耦合性对软件开发的后续过程和软件移植以及软件开发各阶段工作的重用造成了很大的困难。在分析传统图形用户界面开发存在问题的基础上,提出一种基于XML的图形用户界面描述方法,使用这种描述方法定义图形用户界面,可以实现图形用户界面定义与具体程序设计语言和开发平台的无关性。在此基础上,开发了一个基于上述图形用户界面描述方法的B/S架构的图形用户界面生成工具。其借助开源的fckeditor编辑器与用户交互,可以友好便捷地编辑图形用户界面,生成符合要求的图形用户界面XML描述文档;进一步地,再通过dom4j解析相应的XML文档,可以自动生成html格式等与具体语言相关的图形用户界面代码文档。详细介绍提出的基于XML的图形用户界面描述方法,并给出相应图形用户界面生成工具的设计思路和应用实例。

一种基于事件关系的图形用户界面程序测试方法

从图形用户界面(GUI)应用程序具有的事件驱动运行特征出发,研究了事件之间的可能关系,对事件进行了分类并构造了关联图,在此基础上提出了根据事件关系设计测试用例的基本方法,最后利用该方法对一个实际例子进行测试用例的设计.

基于模型的图形用户界面软件测试方法

通过研究GUI(图形用户界面)软件的规格说明、GUI结构、GUI代码,构造用于GUI测试的四种不同层次的GUI表示方法,该表示方法可以描述界面间关系的界面调用关系图、界面信息的对象-事件分析图、界面内事件间关系的事件关系流图以及程序内部逻辑结构的事件程序控制流图,在此基础上提出了基于这些模型的复合性测试用例生成方法,并用实例说明该方法的有效性。

基于力图解原型的结构形态参数化生成

图解静力学由彼此交互的力图解和形图解组成,通过力图解生成形图解对方案阶段的结构形态推敲有十分积极的作用。本文首先根据认知心理学的理论,分析得出力图解原型应具备适宜的抽象水平,即中等抽象水平;其次,从结构内力方向、支座数量、构件姿态、荷载分布状态与荷载分解方式构建了二维力图解原型谱系;最后,确定参数数量、梳理参数间关系、编写程序生成多个结构形态。本文的研究目的旨在提升力图解操作的交互水平,使设计师在构思方案时更容易操作。

基于目标检测的图形用户界面控件识别方法

传统机器人流程自动化(Robot Process Automation,RPA)主要使用操作系统和应用程序提供的接口获取图形用户界面(Graphical User Interface,GUI)控件,受操作系统和应用程序接口限制,但一些系统,如Linux,不提供获取控件信息的接口.提出一种基于神经网络对图形界面控件进行识别的方法,利用目标检测模型提取图形用户界面控件特征,在不使用操作系统接口的前提下识别图形用户界面内控件类别和几何信息,减少RPA对于系统与程序接口的依赖.同时,针对桌面端图形用户界面数据集缺失的问题,提出一种针对RPA领域桌面端图形用户界面目标检测数据集的生成方法.在该图形用户界面数据集上使用各类目标检测模型进行测试,结果显示,常用目标检测模型在识别用户界面控件的类别和几何信息时均能获得92%以上的准确率.

C6EZFlo DSP软件开发工具使用图形界面自动生成完美的原型设计代码

德州仪器（TJ）推出C6EZFlo图形软件开发工具，帮助数字信号处理开发人员轻松利用TI数字信号处理器（DSP）的强大计算功能。C6EZFlo工具可简化并加快开发进程．使开发人员无需学习新的编程语言或特定DSP架构，便可通过TIDSP生成原型软件。

一个缺省用户接口原型自动生成系统

采用面向对象的高层次的接口描述语言,不仅可改善用户接口定义系统本身的界面友好性,而且可支持接口原型速造,是提高接口设计效率的有效途径.本文介绍了一个基于以上思想的缺省用户接口原型自动生成糸统.该系统在接口描述语言中,通过大量的缺省标准选择,有效地减少了接口原型的描述量.接口原型能在没有用户程序支持的条件下演示和修改,同时,还通过在系统安装文件中建立安装标志的方法,使用户自己的详细描述覆盖接口原型中的缺省描述,使用户接口逐步升级,最终得到满意的用户接口.

基于原型网络的中文分类模型对抗样本生成

对抗样本生成通过在原文本中添加不易察觉的扰动使深度学习模型产生错误输出,常用于检测文本分类模型的鲁棒性。现有对抗样本生成方法多数采用黑盒或白盒攻击,在生成对抗样本的过程中需要和受害模型交互,且攻击效果依赖于受害模型的结构和性能,通用性较差。面向中文文本的对抗样本生成方法使用的变换策略过于单一,无法生成多样化的中文对抗样本。针对这些问题,提出一种基于原型网络的对抗样本生成(AEGP)方法。在全面分析汉字结构特点和人类阅读习惯的基础上,设计8种可保持语义一致的中文文本变换策略。将卷积神经网络作为编码器,构建原型网络,利用同一类别下的其他文本辅助发现所需变换的文本片段。针对选择的文本片段应用文本变换策略,生成对抗样本。实验结果表明,AEGP方法具有较好的通用性,能生成多样化的对抗样本,且相比于基线方法,分类模型在AEGP方法生成的对抗样本上的准确率下降了9.21~32.64个百分点。

智能小车快速控制原型平台设计与开发

基于MATLAB/Simulink设计并开发了智能小车快速控制原型平台,实现了代码自动生成并编译、实时验证与参数在线调整等功能。针对硬件,开发了相应的接口模块。开发了用于上位机与控制器之间数据交互的OPC UA服务器,进而开发了基于Web的智能小车监控界面。设计了Simulink模型,通过开发的快速控制原型平台,完成了智能小车实物验证,实现了一键代码生成并编译、控制算法的调用、实时验证与参数在线调整等功能。结果表明,智能小车能实现路径跟踪。通过路径跟踪实验,验证了系统的可行性和实用性。

基于原型修正的小样本半监督语义图像翻译算法

图像翻译任务是计算机视觉领域一个重要的研究方向,在图像风格化、超分辨率图像生成等视觉领域都有着广泛的应用。针对图像翻译任务中语义信息标注成本高、数据集通常标注困难的问题,提出了一种基于原型修正的小样本语义图像翻译算法,该算法主要包含StyleGAN、语义相似度回归器、pSp编码器模块。首先,为了降低模型对标签图像的依赖,该算法使用StyleGAN预训练模型充当生成器,增加小样本场景下的训练样本数和提升模型生成的多样性。其次,考虑到样本语义类内差异,该算法设计语义相似度回归器对原型进行修正,提升伪标签的准确率,增强模型优化效果。然后,结合标签图像和合成图像的特征图以及原型向量,实现语义信息的循环合成,构建出自监督损失函数以避免语义相似度回归器训练的标签信息需求,并利用伪标签图像对pSp编码器继续进行训练,实现语义图像翻译任务。最后,实验结果验证了所提算法在泛化性能和合成图像的多样性方面均优于经典算法。

基于自然邻居和最小生成树的原型选择算法

K最近邻居是最流行的有监督分类算法之一。然而,传统的K最近邻居有两个主要的问题:参数K的选择以及在大规模数据集下过高的时间和空间复杂度需求。为了解决这些问题,提出了一种新的原型选择算法,它保留了一些对分类贡献很大的关键原型点,同时移除噪声点和大多数对分类贡献较小的点。不同于其他原型选择算法,该算法使用了自然邻居这个新的邻居概念来做数据预处理,然后基于设定的终止条件构建若干个最小生成树。基于最小生成树,保留边界原型,同时生成一些具有代表性的内部原型。基于UCI基准数据集进行实验,结果表明提出的算法有效地约简了原型的数量,同时保持了与传统KNN相同水平的分类准确率;而且,该算法在分类准确率和原型保留率上优于其他原型选择算法。

水神感生神话的原型与生成背景

相当大一部分感生神话具有一种共同性,即女子感应的对象尽管多种多样,如雷、电、风、月、虹、气、龙、蛇、长人等,但他们都有着共同的水神神性,同属于水神家族。本文称这类神话为水神感生神话。水神感生神话中的各种神话之所以具有共同性,是因为它们出于一个共同的原型——女子感水生子神话。水神感生神话只是用各种水神替代了女子感水生子神话中的水。说到底,水神感生神话的产生与水生命信仰有关,所以这类神话的最初源头可以追溯到水生型创世神话。

英汉非原型被动句的生成方式

纵观已有研究,学者们主要从句法结构、概念结构及类型划分等方面对英汉被动句做过一些描述和阐释。然而,极少有学者对原型被动句到非原型被动句的演变过程进行研究。通过对英汉非原型被动句的生成的进一步探讨,本研究发现:非原型被动句在句法或语义上偏离了原型被动句,主要表现为其句法成分主语和谓语动词的非范畴化;非范畴化是非原型被动句生成的重要途径,被动句原型构式义促成了非原型被动句的非范畴化。

基于原型范畴理论的流行语生成机制解读——以“2018十大流行语”为例

语言是反映社会生活的一面镜子,流行语作为语言的一部分,可以从中窥见社会生活的真实面貌。而作为反映社会生活、捕捉社会心理的流行语其生成并非一蹴而就。从原型语体的语体跨用、原型语义基础上的语义变异以及原型构式基础上的框架提取三个方面对《咬文嚼字》最新发布的“2018十大流行语”的生成机制进行认知解读。

基于量身定制的女性上装原型样板自动生成模型的构建

随着中国经济的快速发展,服装的个性化定制生产模式已成为必然趋势,其中"量身定制"成为服装个性化定制的基础要求。目前服装制版主要采用的是日本第八代文化式女装原型,文章以此为研究对象,在了解女性上体体型特征及其与原型关系的基础上,通过对原型几何关系构成的解析,建立女性上装原型样板自动生成模型,并利用Matlab软件编程,进而为中小型企业提供一种廉价高效的打版软件。

一种数据库应用原型生成工具

本文介绍了作者在ＳＵＮＳＰＡＲＣ工作站上开发“ＯＲＡＣＬＥ数据库应用系统原型生成工具ＤＡＰＴ”的原理及功能实现。

基于信息约束的数据库查询界面的自动生成

在分析了现有数据库用户查询界面和条件生成在数据库应用中存在的问题后,基于面向对象的概念,提出了可视对象数据描述表结构、信息来源和取值方式等约束的用户查询界面和条件的生成方法,并给予了形式化描述。查询条件的生成采用的是合取范式的标准形式,用户界面的生成采用了标准的可视对象。该方法已经得到了实现,并在实际系统中获得了应用。