设计开发指南
一、机器人设计流程
(一)打开机器人设计器
1. 通过新增机器人启动设计器
用户如果已取得机器人设计权限后,可以右键单击空白区域,弹出新建菜单
- 点击新建,则开启一个机器人设计器,按照默认的权限新建一个空白的机器人
- 如果有新增权限,则会自动启动机器人设计器
2. 通过编辑修改机器人启动设计器
- 右键点击机器人,如果具有修改编辑权限,则会启动机器人设计器
- 启动机器人设计器修改该机器人的逻辑
(二)机器人设计菜单
设计页面上方有一排快捷功能按键,是机器人设计过程中常用的功能按钮,主要包括6大类:
1. 文件类快捷菜单
- 支持打开和另存机器人数据文件,默认机器人的入口文件的后缀为.box
2. 启动类快捷菜单
- 支持运行整体当前机器人,也可以单步一步一步执行机器人动作节点
- 另外,通过点击节点左上角的"播放"按钮也可以单步执行机器人动作节点
3. 模拟类快捷菜单
- 默认人工进行鼠标和键盘的操作
- 通过这些命令能够快速模拟人工进行坐标的点选和文字录入(特别注意!此方法并非最优方法)
- 一般适用于没有其他更好的方式时才使用
4. 智能类
通过图形算法实现对目标元素的点选,模拟人工进行鼠标和键盘操作,主要过程包括图像元素选取和图像元素修改两个部分
(1)图像元素选取
点击"点击"按钮后,将激发出选择组件,以下以拾取第三方剪映软件为例
(2)图像元素修改和调整
完成元素选择后,可以进行图像元素的修改和调整
5. 常用类
包括设置默认等待时间,增加常用的等待节点、设置变量节点、弹窗提示节点,快捷便于使用
6. 工具类
包括封装机器人的工具,桌面元素拾取工具(基于桌面元素),坐标颜色工具,人工操作录制工具
(三)机器人设计功能
1. 机器人逻辑设计组件
(1)动作(活动)节点
- 机器人内部动作通过动作节点串联
- 目前支持300多个动作节点
- 通过不同动作节点和不同参数的组合串联,能够实现机器人各式各样的动作
(2)特殊节点
- 特殊节点给了机器人复杂流程的处理能力
- 支持流程的判断、循环、子流程调用、纯代码(文件)调用和注释日志等等
2. 机器人设计快捷指令及状态显示
(1)快捷指令
机器人运行过程中的过程信息将通过日志显示出来,在调试机器人时可以通过实时指令对机器人的行为进行修正,实时指令支持Python语法的命令
(2)状态显示
在快捷指令输入的下方,显示机器人运行过程中的状态提示,包括机器人运行时间,运行节点名称和异常提示报错等
3. 机器人逻辑调试工具
(1)变量浏览
在机器人调试过程中,机器人内部的数据参数都在不断发生变化,通过变量浏览功能能够实时监测变化情况,排查机器人异常运行的原因
(2)历史日志
日志是开发时最重要的排查问题的依据,叶动AutoBox支持实时日志浏览和历史日志浏览
(四)基本操作方法
1. 新增动作节点
- 双击左侧节点目录,即可在默认位置新增动作节点
- 默认位置为:当前选择节点的右侧
2. 移动动作节点
- 左键点击画布中的节点,拖动即可改变节点的位置
3. 连接动作节点
- 右键键点击画布中的节点,拖拽至想要连接的节点上面,松开,拖动时不松开鼠标右键
- 特殊节点的特殊流程须要特殊设置
4. 修改节点属性
- 双击画布中的节点,弹出节点修改页面
5. 删除动作节点
- 使用鼠标中键(滚轮),点击画布中的动作节点
- 双击打开修改节点属性页面后,点击删除按钮
6. 单步执行节点
- 点击节点的左上角的"三角形"(运行小图标)
- 双击打开修改节点属性页面后,点击执行按钮
7. 缩放缩小画布
- 鼠标滚轮可以缩放画布
- 点击选择节点属性或重置机器人可以恢复默认缩放比例
8. 复制粘贴节点
- 鼠标左键单击选中画布节点,Ctrl+c就可以复制节点
- 鼠标左键单击选中画布节点,Ctrl+v就可以将刚刚复制的节点粘贴到所选节点的右侧
9. 撤销上步操作
- 如果想撤销最新的操作,回到上一步操作状态,可以按Ctrl+z,即可回到上一步操作的状态
10. 其他快捷键
- ALT+E单步执行改节点,ESC不保存节点并退出
- ALT+W等待元素可见,ALT+D等待元素消失
- ALT+S保存节点并返回,ALT+R删除节点
- ALT+T识别元素文本,ALT+C点击目标元素
- ALT+O打开BOX,ALT+S另存BOX
- ALT+F1全部执行,SHIFT+F5单步执行
- CTRL+Z撤销上一步的修改操作
- ALT+X支持全局拾取元素
- CTRL+V黏贴选中的节点
- CTRL+B打开变量浏览器
二、机器人动作节点功能简介
叶动AutoBox目前内置近500多个动作节点,主要分为信息类、操作类、系统类、工具类、应用类、智能体、接口类、插件类8个大类。
(一)节点操作示例
1. 用户输入输入数据
在机器人运行前经常需要用户通过输入页面输入一些参数或者控制选项,该功能可以支持生成个性化的用户输入页面。
2. 机器人消息提示用户
在机器人运行中经常需要提示用户当前的最新进展,这是可以使用桌面提示节点,向用户传递消息提示。
三、机器人引用子流程
(一)通过双击子流程节点
叶动AutoBox支持子流程的调用,支持子流程的嵌套,目前没有嵌套层数限制。
(二)编辑修改子流程逻辑
对现有的子流程进行修改,可以参考相关图示进行操作。
四、机器人调用Python代码
叶动AutoBox包含强大的Python运行环境,能够支持自定义加载三方包,能够支持自行编辑代码并作为机器人的内部逻辑运行,能够支持直接调用外部写好的python脚本。
(一)直接进行代码编写
叶动AutoBox内置简易代码编辑器,支持对Python代码的编写和直接运行。
(二)调用Python文件
除了直接使用内置编辑器编辑代码以外,叶动AutoBox还支持直接调用外部的Python文件。
五、机器人插件扩展功能
叶动AutoBox除支持代码和调用代码外,还支持插件系统,插件是一种满足特定功能的小集合体。
1. 插件的打包标准要求
标准的插件是一个文件夹,其中.init.py文件是插件的入口文件。
2. 插件的封装标准要求
插件的入口函数须要满足特定要求。
3. 插件的调用和交易
配置好插件,重新打开叶动AutoBox设计器,将可以在动作节点列表中搜索到相关插件功能节点。
