一种基于多技术融合的手机RPA自动化控制方法及系统

本文介绍了一种基于多技术相互融合的RPA手机自动化控制方法,旨在实现跨手机系统的手机自动化控制。该方法将传统的UI层级分析与AI模型元素识别相结合,通过与预设元素库的对比,自动推荐具体的元素识别方式。匹配成功时,可以快速找到合适的目标元素识别方式,包括传统的预设元素探取识别方式和AI模型识别方式。并且结合RPA流程设计的特点,设计了AI模型的在线优化,根据下一步的操作来反馈当前AI模型是不是最优,并确定是否需要优化。如果未达到预期效果,可以反向在线优化AI模型,直到达到预期结果。这种方法具有高效、准确和可靠的特点,能够提高元素识别方法的鲁棒性,并适用于不同的识别场景。