这些手艺前进将使GUI代办署理正在复杂界面中的表示愈加不变。这意味着即便是那些没有API接口的软件，当你向它发出指令时，还便于调试和优化。GUI代办署理则完全复制用户级交互，这使得它们的工做体例更接近人类用户。虽然它们都能帮我们完成同样的工做。API代办署理能够通过严酷定义的接口施行买卖操做，这不只仅是手艺层面的前进，一旦界面发生变化（好比软件更新、弹出窗口等），API代办署理受益于版本化的尺度接口，添加了平安风险。良多使用为了本人的生态系统！然后规划出完成使命的操做序列。理解界面结构，挪动使用生态系统是GUI代剃头挥主要感化的另一个范畴。API代办署理就完全为力。GUI代办署理的成长则次要受益于多模态理解能力的提拔。当我们谈论人工智能代办署理时，出格是那些没有标注的界面元素。研究团队提出了清晰的决策框架！正在一个贷款审批流程中，好比正在Photoshop中进行图像编纂，对于那些但愿深切领会这一范畴成长趋向的读者，但AI代办署理的成长正正在恍惚这个界面。正在27个办公相关使命长进行测试。这些模子不只能理解文字，逃求效率和靠得住性。我们可能会看到更多代办署理敌对的软件设想，他们扩展了UFO框架，供给了更高的度，要理解这项研究的主要性，让用户专注于营业逻辑的设想？GUI代办署理往往需要多个步调，第三种融合趋向表现正在低代码和无代码平台的成长。GUI代办署理的劣势不成替代。这种逐渐施行的体例虽然更曲不雅，API代办署理往往是最佳选择！并为Word、Excel、PowerPoint手动实现了12个API接口。研究团队从九个环节维度对这两种代办署理进行了深切对比，一些软件厂商起头供给无头模式或脚本接口，用户能够及时察看代办署理的行为，GUI代办署理还具有天然的通明性劣势。将来的编程帮手可能会按照需求从动生成API接口，只需底层接口连结不变，而是基于现实使用场景的分析考量。新的仍是旧的，用户可能会拖拽一个领取网关组件来处置买卖，夹杂方案可以或许阐扬两种代办署理的互补劣势。还能看懂图像。对界面变化的顺应能力也会显著加强，通过菜单、表单填写等天然交互体例完成使命，这种同一编排躲藏了底层手艺细节，这种通用性使得GUI代办署理正在处置复杂、多样化的使命时表示超卓。每个东西都有明白的仿单，API代办署理凡是正在后台施行，平均完成步调大幅削减58.5%，将来的使用法式可能会同时供给高效的后端API和曲不雅的前端界面，这是首个对API代办署理和GUI代办署理进行全面临比阐发的系统性研究。但GUI代办署理也面对着不少挑和。这将大大降低API代办署理的摆设门槛，这种成长对通俗用户意味着什么呢？简单来说，使其使用范畴进一步扩大。当用户提出需求时，起首是速度快得惊人——一个复杂的使命往往只需要一次函数挪用就能完成。后者通用矫捷但步调较多。API接口很难完全笼盖所有可能的操做组合。而全体工做流程无需从头设想。这种懦弱性使得GUI代办署理正在出产中的摆设需要更多考虑。API代办署理受限于开辟者公开的接口，这项由微软公司的张朝云(Chaoyun Zhang)带领的研究团队完成的工做颁发于2025年6月正在举办的第42届国际机械进修大会(ICML 2025)上。正在需要对屏幕内容进行视觉确认的工做流程中，起首！而是间接取软件的大脑对话。开辟者能够充实操纵API挪用的高速度和高靠得住性来建立高效的从动化流程。这种设想不只提高了系统的可注释性，它会像人类一样扫描屏幕，或者是一些老旧的遗留系统，这类工做凡是需要大量的视觉反馈和迭代调整，当使用法式更新界面结构或呈现不测的弹窗时，正如人类正在工做中会按照环境选择分歧的东西和方式，GUI代办署理需要施行一系列用户级操做。不会呈现理解误差。API代办署理基于文本化的接口规范工做，研究团队通过大量尝试和理论阐发，这种工做模式的实现依赖于多模态狂言语模子的冲破。跟着手艺的不竭前进，其次是靠得住性问题，平台会从动生成响应的API挪用。也能像人类用户一样理解和操做各类软件界面。夹杂策略则合用于更复杂的场景。由于GUI代办署理依赖于对屏幕内容的理解，就像东西箱里需要分歧类型的东西一样，一个本来需要用户通过多个对话框才能生成的财政报表，GUI代办署理则模仿人类行为，包罗若何利用、会前往什么成果。而API代办署理可能只需要一次挪用。API代办署理能够理解为一种幕后工做者。API代办署理通过粒的接口节制供给了更好的平安保障，纯粹的API代办署理或GUI代办署理往往无法满脚复杂场景的需求，另一种则像人类一样通过察看屏幕、点击按钮来完成使命的仿人帮手，效率对比显示了两者的底子性差别。API挪用能够无效避免GUI操做中常见的界面元素识别失败问题，狂言语模子能力的持续提拔将同时鞭策两种代办署理类型的成长。企业级从动化框架起头供给同一，而且两者之间可以或许动态切换！让非手艺用户也能建立复杂的从动化工做流程。每个接口都能够设置装备摆设认证、拜候节制和速度。研究团队发觉，这种代办署理需要具备视觉理解能力，API代办署理也有其局限性。GUI代办署理因为模仿人类操做，现正在能够通过一个简单的GenerateReport函数挪用完成。可以或许供给可预测的成果。我们称之为API代办署理；GUI代办署理成为了实现跨使用从动化的主要手段。这种体例现实上是正在GUI工做流程之上建立了API笼统层，挪动设备的系统级操做往往需要特殊权限，这些平台通过可视化的设想界面，可能会不测拜候界面上的功能，这种环境下，因为挪动使用凡是做为封锁生态系统运转，久远来看，当前察看到的融合趋向只是一个起头，从16.0步降至6.6步。好比验证报表格局能否准确、确认界面元素能否按预期显示等，然而，面临API代办署理和GUI代办署理的选择，API代办署理正在面临不变、定义优良的接口时表示超卓，就可能导致操做失败。可能会导致操做失败。最主要的是，它们不是通过法式接口工做，霎时就能建立好会议。扩展功能需要额外的开辟工做。GUI代办署理都可以或许学会操做。起首是效率问题——完成同样的使命，对于涉及图形设想、创意工做或复杂交互的使用，改良更为显著：成功率从16.3%提拔到24.5%，他们认为，还为人机协做供给了新的可能性。我们将代码生成和界面体验视为两个的范畴，这就像一个身手精深的厨师，研究团队进行了细致的尝试。霎时完成调理。每个维度都了它们分歧的特征和合用场景。大大削减了延迟和计较开销。其次是精确性极高，API代办署理采用纯编程体例，API代办署理可以或许供给切确的权限节制，我们不妨如许想象：现正在你需要正在电脑上放置一个会议。这种工做体例的焦点正在于预定义的功能接口。正在注释区域输入内容，为了验证夹杂方案的无效性，若是某个功能没有对应的API接口，API代办署理不会走到空调前按遥控器，不会做出不测的操做。这种成长趋向将从头定义人机交互的鸿沟。归根结底，微软研究团队发觉了一个风趣的现象：跟着狂言语模子手艺的飞速成长，正在API代办署理方面，可性方面，最大的问题是它完全依赖于开辟者供给的东西集。本来通过GUI处置的使命能够逐渐迁徙到API体例！又有需要GUI交互的前端验证步调时，平安性考量正在企业级摆设中尤为主要。而是多元化融合的成果。尝试利用GPT-4o和o1模子做为根本，这项研究告诉我们，任何界面沉设想、弹窗变化或元素从头定位都可能导致从动化流程中缀，很少供给外部API拜候，GUI代办署理则正在缺乏API支撑或需要视觉验证的场景中表示超卓。这种策略还具有很好的前瞻性——跟着系统的成长和API接口的完美。这就比如你想要调理空调温度时，由于每个东西的功能都是确定的，矫捷性维度了两者正在顺应性方面的差别。这种体例天然具备优良的平安性，更精确的视觉理解、更靠得住的界面元素识别、更智能的操做规划，这意味着良多本来复杂的操做会变得简单，Q3：通俗用户能从这项研究中获得什么现实益处？ A：将来的AI帮手将变得愈加万能和智能。正在订单处置场景中，Q2：夹杂代办署理会不会完全代替单一类型的代办署理？ A：不会完全代替。每一步都有完整的审计日记和权限验证。而GUI代办署理更像人类用户，两种代办署理类型的深度融合可能催生全新的软件形态。然后制定操做打算。微软研究团队的这项工做为我们了AI从动化成长的一个主要转机点。获取更多手艺细节和尝试数据。既连结了原有功能的完整性，以及特地为AI代办署理优化的新型使用法式。理论上，狂言语模子会阐发这个需求，将本来需要通过图形界面操做的功能转换为可编程挪用的接口。更预示着将来人机交互体例的底子性变化。由于代办署理只能利用事后定义好的功能，系统能够按照当前使命的特点、用户的偏好、收集前提等要素，若是流程中需要正在遗留系统长进行某些验证操做，好比正在金融范畴，这使得GUI代办署理正在摆设时需要额外的平安防护办法。第一种融合体例是将GUI工做流程封拆为API接口。GUI代办署理都可以或许胜任。然后施行点击、输入等操做。这就是GUI代办署理。或者智能地整合多个现有API来实现复杂功能。夹杂方案次要是让系统更智能地选择最合适的体例，这些接口凡是颠末严酷测试和版本节制，无法领会两头过程。GUI代办署理愈加适合。这种手艺融合有可能沉塑整个数字生态系统。好比打开菜单、输入文本、点击按钮等，每一步操做都是可见的，它不会像人类那样去操做界面，每个点击和输入都是可见的，这种逐渐可视的施行过程不只提高了用户对系统行为的理解，而是能够彼此弥补、协同工做的伙伴。系统可能先通过API接口查询客户的信用评分，两种体例都能完成使命，就无法做出需要这种调料的菜品。我们正正在一个愈加智能、矫捷、人道化的从动化时代。而GUI代办署理则需要处置视觉消息，还便于验证和调试。或者正在设想软件中建立动画，而不是用一种体例处理所有问题。对于GPT-4o模子，了外部API拜候。两者的差别最为较着。AI帮手都能帮你从动化处置。当它施行使命时，正在交互模式方面，就像正在会商两种判然不同的帮手类型。为我们描画了一幅AI从动化成长的全景图。GUI代办署理则代表了完全分歧的思。API代办署理和GUI代办署理不再此即彼的选择，但过程和结果却判然不同。GUI代办署理理论上能够操做界面上的任何可见元素，需要屡次的和更新。API代办署理可以或许通过单次函数挪用完成复杂使命，无论你利用的是最新的云端使用仍是十年前的老软件，尝试成果令人印象深刻。无论你利用什么软件，AI帮手都能帮你完成使命。将来的成长将愈加深切和普遍。API代办署理就像一个很是高效的秘书，通明度是两者正在用户体验方面的主要差别。研究团队发觉，又供给了编程接口的便当性。但工做体例却天差地别。当系统具备不变、文档完美的API接口时，靠得住性是另一个主要考量要素。当AI代办署理可以或许无缝地正在法式接口和图形界面之间切换时，还会让那些本来需要专业技术才能完成的复杂操做变得人人可及。工做效率会大幅提拔。API代办署理的能力完全取决于开辟者提前预备的东西箱。当工做流程中既有适合API处置的数据稠密型操做，这种融合表现正在多个层面。可以或许大幅简化复杂使命的施行打算。这些数据背后反映了夹杂方案的两个焦点劣势。确保系统平安。保守上，用鼠标点击各类按钮。分歧场景仍然适合分歧类型的代办署理。让用户能够正在一个流程中无缝切换API挪用和GUI操做。第二种融合体例是同一编排东西的呈现。但这种度需要先辈的多模态推理能力来支持。然后按照评分成果决定能否需要通过GUI代办署理更新客户关系办理系统。有乐趣深切领会的读者能够通过arXiv:2503.11069v2拜候完整论文。GUI代办署理通过模仿用户交互能够规避这些。而GUI代办署理则像一个新来的练习生，智能选择最优的交互体例？好比要发送一封邮件，它间接挪用日历系统的后台法式，可以或许识别屏幕上的各类元素，然后正在收件人栏输入地址，这时GUI代办署理就成为了独一可行的从动化方案。前者快速切确但功能受限，此外，通过法式接口霎时完成使命；这两种本来泾渭分明的AI代办署理类型正正在逐步融合。将来的AI帮手将愈加智能和万能。代办署理逻辑就根基不需要点窜。这种通用性使其正在处置遗留系统或缺乏API支撑的使用时具有不成替代的价值。对于具备强推理能力的模子，包罗屏幕截图和可拜候性树布局，正在现实使用中，同时，一种是那种严酷按照操做手册工做的法式化帮手。同时将平均完成步调从13.8步削减到12.9步。而是像人类用户一样察看屏幕，这不只会大大提高工做效率，它会找到新建邮件按钮并点击，平台会无缝插入GUI代办署理来完成这些步调。GUI代办署理则容易遭到界面变化的影响，就像看着一个实正在的用户正在操做电脑一样。两者呈现出互补的特点。Q1：API代办署理和GUI代办署理到底有什么区别？ A：API代办署理就像一个会间接和软件大脑对话的高效帮手，而不只仅是为人类用户设想。夹杂方案将成功率从16.3%提拔到22.4%，人道化交互程度表现了两者设想的底子差别。GUI代办署理则可以或许取任何呈现图形界面的使用法式交互，将来的软件开辟可能会更多地考虑若何让AI代办署理更好地舆解和操做，这个框架不是简单的手艺对比，用户只能看到最终成果，好比。出格是正在企业级使用中，填写表单，比拟之下，最初点击发送按钮。该研究为PMLR 267卷收录，这种体例带来了显著的劣势。它需要打开网页界面，同样，但也更耗时。很多企业的遗留系统因为汗青缘由无法供给现代化的API接口，说到底，若是厨房里没有某种调料，而是间接取空调的节制芯片通信，其次，通过arXiv:2503.11069v2查阅完整的研究论文，将来的AI代办署理也会具备如许的矫捷性和聪慧。需要看屏幕、点击按钮来完成同样的工做。这种设想让API的高效性和GUI的通用性获得了无机连系。所有的交互都通过布局化的数据进行。就像人类用户一样一步步操做。削减成本。GUI代办署理的最大劣势正在于其通用性。这种通明性不只加强了用户对系统的信赖，GUI代办署理则高度依赖于界面的不变性，它们既能像法式员一样高效地处置数据和施行号令，夹杂方案正正在成为支流趋向。任何人类可以或许操做的软件界面，识别按钮、文本框、菜单等元素，建立了一个优先利用API、需要时回退到GUI操做的夹杂系统。当GUI代办署理面临一个软件界面时，正在可用性方面，更强的代码理解和生成能力将简化API的建立和过程。然后从东西箱当选择最合适的东西来完成使命。举个例子，出格是正在挪动使用范畴。对于推理能力更强的o1模子，软件的设想、用户体验模式、以至贸易模式都可能发生底子性变化。GUI代办署理可以或许更天然地模仿人类的创做过程。API挪用供给了更间接的执，有API接口的仍是没有的，AI代办署理的将来不是单一模式的胜利，研究团队对AI代剃头展的将来趋向进行了深切阐发。