[发明专利]自动代码生成有效
| 申请号： | 201880041312.3 | 申请日： | 2018-07-06 |
| 公开（公告）号： | CN110785736B | 公开（公告）日： | 2021-04-06 |
| 发明（设计）人： | S·S·B·库玛;P·森 | 申请（专利权）人： | 甲骨文国际公司 |
| 主分类号： | G06F8/38 | 分类号： | G06F8/38;G06N3/08 |
| 代理公司： | 中国贸促会专利商标事务所有限公司 11038 | 代理人： | 周衡威 |
| 地址： | 美国加*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 公开了用于从包括文本信息和一个或多个图形用户界面部件的GUI屏幕图像来自动化GUI开发的技术。分析GUI屏幕图像以提取文本信息并识别GUI屏幕中包含的UI部件。检测GUI屏幕图像中的一个或多个文本区域并将其用占位符替换。从GUI屏幕图像中提取GUI屏幕中的一个或多个图形用户界面部件的图像，并使用基于机器学习的分类器对它们进行分类。基于分类结果、一个或多个文本区域的位置以及一个或多个图形用户界面部件的位置，为GUI生成GUI模型。所生成的模型然后可以用于生成GUI的一个或多个实现体(例如，可执行代码)，这些实现体可能采用不同编程语言并用于各种平台。 | ||
| 搜索关键词： | 自动 代码 生成 | ||
【主权项】：
1.一种方法，包括：/n由计算机系统从输入图像中检测图形用户界面(GUI)屏幕图像，所述图形用户界面(GUI)屏幕图像描绘GUI的GUI屏幕；/n由所述计算机系统检测所述GUI屏幕图像的包括第一文本内容项的第一区域；/n由所述计算机系统确定所述第一区域在所述GUI屏幕图像内的位置；/n由所述计算机系统使用不包含文本内容的占位符替换所述第一区域的内容；/n由所述计算机系统检测位于所述GUI屏幕图像的第二区域中的第一用户界面(UI)部件，其中所述第二区域包含具有所述占位符的所述第一区域；/n由所述计算机系统确定所述第一UI部件在所述GUI屏幕图像内的位置；/n由所述计算机系统使用基于机器学习的分类器来确定所述第一UI部件的UI部件类型，其中所述基于机器学习的分类器是使用包括多个训练图像的训练数据训练的，所述多个训练图像中的每个训练图像包括UI部件，对于每个训练图像，所述训练数据还包括识别该训练图像中的UI部件的UI部件类型的信息；以及/n由所述计算机系统生成GUI模型，所述GUI模型能够用于生成用于实现所述GUI的代码，所述GUI模型包括用于所述第一UI部件的信息和用于所述第一文本内容项的信息，其中用于所述第一UI部件的信息包括指示为所述第一UI部件确定的UI部件类型以及所述第一UI部件在所述GUI屏幕图像中的位置的信息。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于甲骨文国际公司，未经甲骨文国际公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201880041312.3/，转载请声明来源钻瓜专利网。
- 同类专利
- 用户接口开发支持装置与方法以及计算机可读记录介质-201880053518.8
- 岩村慎太郎;髙桥大辅 - 欧姆龙株式会社
- 2018-07-30 - 2023-09-15 - G06F8/38
- 本发明提供一种用户接口开发支持装置、用户接口开发支持方法以及计算机可读记录介质。用户接口开发支持装置(10)包括用户接口编辑部(11)、操作输入部(12)及显示部(14)。用户接口编辑部(11)执行用户接口的编辑处理，生成用户接口编辑画面(140)。显示部(14)显示用户接口编辑画面(140)。操作输入部(12)受理针对用户接口的编辑的操作。当在用户接口编辑画面(140)上存在重叠的多个(UI)对象时，用户接口编辑部(11)根据通过操作输入部(12)所进行的规定操作，使重叠的多个(UI)对象的一览显示于(UI)编辑画面(140)内。
- 配置数据包及文件的生成方法、处理方法、设备和介质-202180001360.1
- 李英杰 - 京东方科技集团股份有限公司
- 2021-05-31 - 2023-04-07 - G06F8/38
- 本公开提供一种应用程序的配置数据包的生成方法，包括执行生成预备数据的指令以及根据生成的预备数据生成所述配置数据包的步骤，生成预备数据的步骤包括：响应于功能添加指令，确定与所述功能添加指令对应的目标功能的初始数据；对所述初始数据进行参数配置，以获得预备数据，其中，对于任意一个功能添加指令，所述预备数据选自本地预备数据和云端预备数据中的一者。本公开还提供一种生成应用程序文件的方法、一种请求信息处理方法、一种电子设备和一种计算机可读存储介质。
- 基于Web的机器人流程自动化设计器系统以及用于虚拟机、会话和容器的自动化-202180004274.6
- M·格里戈尔 - 尤帕斯公司
- 2021-10-28 - 2023-04-07 - G06F8/38
- 公开了基于web的机器人流程自动化(RPA)设计器系统，该系统允许RPA开发者设计并实现web无服务器自动化、用户界面(UI)自动化和其他自动化。这种基于web的RPA设计器系统可以允许开发者通过云登录并获得模板项目、开发者设计项目、服务、活动等的列表。因此，RPA开发可以是集中式的并基于云的，这减少了用户计算系统上的本地处理和存储器需求，并且集中了RPA设计器功能，能够实现更好的合规性。由基于web的RPA设计器系统生成的自动化可以在虚拟机(VM)、容器或操作系统会话中被部署并被执行。
- 基于Web的机器人流程自动化设计器系统以及用于虚拟机、会话和容器的自动化-202180004295.8
- M·格里戈尔 - 尤帕斯公司
- 2021-10-28 - 2023-04-07 - G06F8/38
- 公开了基于web的机器人流程自动化(RPA)设计器系统，该系统允许RPA开发者设计并实现web无服务器自动化、用户界面(UI)自动化和其他自动化。这种基于web的RPA设计器系统可以允许开发者通过云登录并获得模板项目、开发者设计项目、服务、活动等的列表。因此，RPA开发可以是集中式的并基于云的，这减少了用户计算系统上的本地处理和存储器需求，并且集中了RPA设计器功能，能够实现更好的合规性。由基于web的RPA设计器系统生成的自动化可以在虚拟机(VM)、容器或操作系统会话中被部署并被执行。
- 有限状态机的控制方法、装置、计算机设备和存储介质-202080103184.8
- 陈绍昆 - 深圳元戎启行科技有限公司
- 2020-12-28 - 2023-03-31 - G06F8/38
- 一种有限状态机的控制方法包括：接收控制信号；控制信号中携带信令信息；根据信令信息，将控制信号转换为事件；调用事件处理类对事件进行处理；其中，事件处理类包括状态机类和状态类；状态机类用于实现状态跳转的逻辑；状态类用于完成具体业务逻辑的处理；在对事件进行处理时，若状态机类根据当前状态，判定接受处理事件，则对事件进行对应的业务逻辑处理，返回对应的处理状态；根据处理状态，确定下一个状态对应的处理方式。
- 自动化流程图生成和视觉化系统-202180000726.3
- 张熠卓;李钧;李维纲;陈继娴 - 普华永道会计事务所
- 2021-01-08 - 2022-11-04 - G06F8/38
- 提供了一种用于生成数字流程图的系统。所述系统接收包括多个形状和文本的草图图像数据，并且通过以下操作来处理所述草图图像数据以生成流程图数据：应用被配置为生成形状数据的第一模型；应用被配置为生成文本数据的第二模型；以及生成将形状数据与文本数据相关联的链接数据。所述系统可生成并显示所述流程图数据的视觉化。所述系统可将所述流程图数据映射到演示幻灯片的区域并且在所述演示幻灯片上显示所述流程图数据的视觉化。
- GUI控制器设计支持装置、远程控制系统和程序-201980043175.1
- 石迫邦人 - LC创作股份制有限责任公司
- 2019-12-17 - 2022-11-01 - G06F8/38
- 提供一种GUI控制器设计支持装置，该GUI控制器设计支持装置可以支持能够灵活地且实时地改变控制和/或图形表示的控制器装置的编程。GUI控制器设计支持装置支持在输入装置的触敏面板显示器上显示的并且接收用于操作对象装置的操作输入的GUI控制器的设计。GUI控制器设计支持装置配备有：GUI控制器编辑单元，用于编辑控制器组，该控制器组由多个控制器部件构成并且定义GUI控制器；以及用户程序编辑单元，用于编辑用户程序，该用户程序定义响应于对GUI控制器的操作输入的对象装置的控制。
- 绘图辅助装置、显示装置、绘图辅助方法及计算机程序-201980090315.0
- 的场祐弥 - 三菱电机株式会社
- 2019-01-31 - 2022-09-16 - G06F8/38
- 绘图辅助装置(10)的特征在于，具有：主数据创建部(11)，其创建包含确定信息的主数据，该确定信息是对用于使画面显示于显示装置的绘图数据所包含的要素各自进行确定的信息；子项目数据创建部(12)，其创建子项目数据，该子项目数据包含对主数据进行参照的参照数据和未包含于主数据的要素的确定信息；以及通信部(14)，其将主数据以及子项目数据发送至显示装置。
- 一种界面的动态布局方法及设备-202080052630.7
- 陈晓晓;王守诚;高璋;刘安琪;吴昊;杨启超 - 华为终端有限公司
- 2020-08-05 - 2022-04-15 - G06F8/38
- 一种界面的动态布局方法及设备，涉及电子技术领域，能够根据预设的布局规则和当前显示形态，自动对界面上的元素进行动态布局，使得具有一套界面布局的应用程序，能够自适应不同的显示形态进行元素和界面的动态布局。具体方案为：电子设备屏幕的宽度划分为多个栅格，电子设备显示第一界面，在检测到界面刷新信号后，获取刷新后待显示的第二界面的宽度对应的第一栅格数量，第一栅格数量为第二界面的宽度包括的栅格数量；根据第二界面上的第一元素对应的布局规则，确定第二栅格数量；第二栅格数量为第一元素的宽度包括的栅格数量；电子设备显示第二界面。用于界面的动态布局。
- 用于分离式渲染的标准化的API的方法和设备-202080009618.8
- V.梅尔科特克里什纳普拉萨德;A.V.拉奥;T.斯托克哈默 - 高通股份有限公司
- 2020-01-21 - 2021-09-14 - G06F8/38
- 本公开涉及用于图形处理的方法和装置。本公开的各方面可以为用户设备和服务器确定至少一个分离式API。此外，本公开的方面可以基于分离式API在用户设备与服务器之间建立通信接口。此外，本公开的方面可以基于通信接口和分离式API在用户设备与服务器之间进行通信。在一些方面，本公开可以在用户设备或服务器中的至少一个上实现至少一个分离式API。本公开的各方面还可以基于至少一个分离式API在用户设备与服务器之间划分至少一个应用工作负载。此外，本公开的方面可以在用户设备或服务器处编码或解码应用信息。
- 应用画面显示程序执行方法-201980088331.6
- 小泉圣子 - 株式会社日立制作所
- 2019-09-03 - 2021-09-03 - G06F8/38
- 一种应用画面显示程序执行方法，通过信息处理装置，执行应用软件来显示画面，对于构成画面的显示要素，用于对显示要素的显示进行控制的主表、以及从该显示要素输入输出的事务数据的记录各自具有保持排列的索引的字段，与执行程序的源码中的排列的索引相对应。由此，在应用开发中，对于显示画面的变更减小所需的开发工时。
- 应用视图层次的静态协调-201980066348.1
- 詹姆斯·理查德·施普罗赫;查克·保罗·贾德泽威斯基;里兰德·理查森 - 谷歌有限责任公司
- 2019-04-25 - 2021-06-11 - G06F8/38
- 描述一种进行静态协调以渲染应用的图形用户界面(GUI)的系统。系统将与应用的GUI相关联的源代码编译成用于渲染所述GUI的视图层次的渲染指令。视图层次定义GUI的图形组件，并且渲染指令包括：初始渲染指令，用于在GUI的初始渲染期间渲染图形组件；以及更新渲染指令，用于在GUI的后续渲染期间渲染图形组件的子集。系统可以将相应密钥自动地分配给图形组件的子集中的一个或多个，其中用于渲染图形组件的子集中的一个或多个中的每一个的更新渲染指令根据相应密钥能唯一识别。系统执行渲染指令，以更新由相应密钥识别的图形组件。
- 分析与生成导航模式的系统和方法-201980056873.5
- 科里亚金·罗斯特斯拉夫 - 英迈国际有限公司
- 2019-08-26 - 2021-04-16 - G06F8/38
- 本发明提出一种更简单有效的用于在云服务代理平台(CSB)中建立导航模式的方法，该云服务代理平台建立了从CSB平台到集成连接器应用的复杂用户界面(UI)。本公开通过获得连接器包，将其中的导航模式从层级形式转换为明文形式，并为此创建修改后的模式，自动生成导航模式。本公开进一步提出一种用于根据所选的占位符来创建导航模式模板的方法，帮助用户填写模板，并进一步检查所创建的模式。
- 自动代码生成-201880041312.3
- S·S·B·库玛;P·森 - 甲骨文国际公司
- 2018-07-06 - 2021-04-06 - G06F8/38
- 公开了用于从包括文本信息和一个或多个图形用户界面部件的GUI屏幕图像来自动化GUI开发的技术。分析GUI屏幕图像以提取文本信息并识别GUI屏幕中包含的UI部件。检测GUI屏幕图像中的一个或多个文本区域并将其用占位符替换。从GUI屏幕图像中提取GUI屏幕中的一个或多个图形用户界面部件的图像，并使用基于机器学习的分类器对它们进行分类。基于分类结果、一个或多个文本区域的位置以及一个或多个图形用户界面部件的位置，为GUI生成GUI模型。所生成的模型然后可以用于生成GUI的一个或多个实现体(例如，可执行代码)，这些实现体可能采用不同编程语言并用于各种平台。
- 绘图装置、绘图程序及存储介质-201880091833.X
- 古张龙 - 三菱电机株式会社
- 2018-03-30 - 2020-11-20 - G06F8/38
- 绘图装置(100)具有：显示部(34)，其显示编辑画面，该编辑画面用于创建在可编程显示器中显示的多个画面；画面数据生成部(25)，其生成画面数据，该画面数据由多个画面构成，并且包含在编辑画面中配置的显示要素即对象；画面脚本生成部(27)，其生成画面脚本，该画面脚本是仅在显示有在可编程显示器中显示的多个画面中的特定画面时执行的处理程序；以及对应管理部(22)，其是进行对象与画面脚本之间的对应关系的管理的管理部。在从作为复制源的编辑画面向作为复制目标的编辑画面进行对象的复制时，画面脚本生成部(27)将与被设为复制客体的对象对应起来的画面脚本登记至作为复制目标的编辑画面。
- 用于非兼容框架的跨进程接口-201980024321.6
- K·奇恩纳撒姆比;K·N·塞克塞诺弗;B·J·彼得斯;J-D·L·道尔顿 - 微软技术许可有限责任公司
- 2019-03-27 - 2020-11-13 - G06F8/38
- 提供了一种计算机设备，其包括处理器，处理器被配置为：执行被配置用于第一用户界面框架的第一应用，使用第一用户界面框架来实例化第一应用的托管窗口，并且执行第二应用，第二应用关于第一应用在进程外。第二应用被配置用于与第一用户界面框架不兼容的第二用户界面框架。处理器还被配置为：使用第二用户界面框架来实例化第二应用的被托管窗口，建立第一应用与第二应用之间的跨进程接口，跨进程接口被配置为在被托管窗口与托管窗口之间交换绘制信息，并且使得托管窗口将来自托管窗口内的被托管窗口的绘制信息显示在计算机设备的显示器上。
- 终端装置、UI扩展方法和UI扩展程序-201880052510.X
- 增田健;西川健一;足立洋之;井上晃;八木佐也香 - 日本电信电话株式会社
- 2018-08-06 - 2020-04-17 - G06F8/38
- 部件指定部(2211)使Web浏览器(22)显示能够指定与构成Web页的部件的显示方式相关的设定内容的部件指定GUI，并经由部件指定GUI受理与显示方式相关的设定内容的指定。此外，动作指定部(2212)使Web浏览器(22)显示能够指定与构成Web页的部件的动作相关的设定内容的动作指定GUI，并经由动作指定GUI受理与动作相关的设定内容的指定。此外，扩展部(222)根据由部件指定部(2211)受理到的与显示方式相关的设定内容和由动作指定部(2212)受理到的与动作相关的设定内容来扩展Web页，使Web浏览器(22)显示该扩展后的Web页。
- 工业控制系统中的现场装置接口-201780093486.X
- S.卡马斯 - ABB瑞士股份有限公司
- 2017-07-31 - 2020-04-10 - G06F8/38
- 描述了用于在主机装置上针对现场装置生成用户界面（UI）的技术。安装在主机装置上的现场装置驱动器向现场装置传送对于UI配置的请求。现场装置包括与UI的配置相关联的多个UI参数集。现场装置被配置成基于提供给现场装置的应用信息从多个UI参数集选择UI参数集。现场装置驱动器响应于请求从现场装置接收该UI参数集。基于该UI参数集，主机装置配置并且生成UI。
- 专利分类
