AI个人学习
和实操指南

Runner H:通过自然语言命令实现网页自动化执行任务(申请内测)

综合介绍

Runner H是一家致力于开发前沿行动模型的公司,旨在通过先进的AI能力提升工人的生产力。其旗舰产品Runner H是一款先进的人工智能代理,旨在帮助用户自动化复杂的、多步骤的任务,减少重复和手动输入。通过简单的自然语言命令,Runner H 可以设计和执行网页自动化流程,极大地提高了开发人员和团队在网页测试和流程自动化方面的效率。该平台还提供了一个名为 Studio 的开发环境,用户可以在其中创建、运行和扩展自动化任务。Runner H 的核心技术包括视觉语言模型(VLM)和大型语言模型(LLM),使其能够理解和适应用户界面的变化,并自动修复问题。

Runner H:通过自然语言命令实现网页自动化执行任务-1


 

功能列表

  • 任务自动化:通过自然语言命令自动设计网页自动化流程,消除多步骤的手动工作。
  • 决策支持:提供智能决策支持,帮助用户做出更明智的业务决策。
  • 界面适应:自动适应UI变化,减少维护选择器的复杂性。
  • 自愈功能:具备自愈能力,能够自动修复因界面变化导致的自动化中断。
  • 开发者平台:提供开发者平台Studio,支持创建、审查和编辑自动化流程。
  • API集成:通过API调用云端运行的代理,支持多种自动化需求。

 

使用帮助

安装与使用

  1. 创建自动化流程
    • 登录后,进入开发者平台Studio。
    • 在Studio中,点击“创建新流程”按钮,输入流程名称和描述。
    • 使用自然语言命令描述需要自动化的任务,例如“点击添加到购物车按钮”。
  2. 编辑与调试
    • 创建流程后,可以在Studio中查看和编辑流程的每一步。
    • 使用平台提供的调试工具,运行流程并检查是否有错误。
    • 如果流程中断,利用自愈功能自动修复或手动调整流程步骤。
  3. 运行与监控
    • 完成编辑和调试后,保存流程并点击“运行”按钮。
    • 在运行过程中,可以实时监控流程的执行情况,查看日志和结果。
  4. API调用
    • 对于需要集成到其他系统的用户,可以使用H Company提供的API。
    • 在平台上生成API密钥,并参考API文档进行集成调用。

主要功能操作流程

任务自动化

  • 描述任务:在Studio中,使用自然语言描述需要自动化的任务步骤。
  • 生成流程:系统会根据描述自动生成对应的自动化流程。
  • 调试与优化:运行流程,检查是否有错误,并进行优化调整。

决策支持

  • 数据输入:输入需要分析的数据,系统会自动生成决策建议。
  • 查看报告:系统生成的决策报告可以在平台上查看和下载。

界面适应与自愈

  • 自动适应:系统会自动适应网页界面的变化,减少手动调整的需求。
  • 自愈功能:在流程中断时,系统会自动尝试修复,确保流程顺利进行。

 

特色功能

  • 视觉语言模型(VLM):Runner H 的 VLM 能够理解和适应用户界面的变化,自动修复问题,提高自动化任务的稳定性。
  • 大型语言模型(LLM):Runner H 的 LLM 具备基本的编程和高层次决策能力,使其能够处理复杂的自动化任务。
  • 自愈功能:Runner H 能够自动修复因用户界面变化导致的问题,减少了维护自动化任务的时间和成本。

 

用 Runner H 让 AI 为你工作

浏览界面、阅读和解释文档、点击正确的组件,然后重复这些操作。目前,这些任务每天都由人类完成——有时甚至是全天。

现在不同了。

今天,我们自豪地推出了 Studio,这是一个为开发者(并最终为任何人)设计的平台,可轻松创建规模化的生产就绪和高可靠性自动化流程。Studio 具有可扩展性,将不断成长以支持多样化的自动化需求,并超越网页的范畴进行通用化。

我们的旗舰代理 Runner H 将在平台上以私有测试版形式推出。通过简单的自然语言指令,它可以自动设计网页自动化流程,消除繁琐的多步骤手动操作,彻底革新开发者和团队对网页测试和流程自动化的处理方式。

作为网页代理,Runner H 提供了最先进的性能,在公共基准 WebVoyager 上表现优于 Anthropic Computer Use(了解更多)。我们的内部基础模型——规模更小、专门化且成本更低(可能相差数量级)——在为代理提供支持时,可以超越大型通用模型。

我们很高兴看到 Runner H 引领代理时代的到来——能够可靠执行复杂任务的系统。如果你想加入我们,请注册私有测试版候补名单

Runner H:通过自然语言命令实现网页自动化-1

 

Studio 和 Runner H 0.1

网页开发者常常花费无数时间维护脆弱的选择器和修复因现代网页界面不断变化而导致的自动化中断问题。

Runner H 是我们通过 Studio 提供的 AI 网页代理,能够通过理解自然语言指令自动适应 UI 变化并实现自我修复,从而解决这些痛点。

当我们的代理在幕后处理选择器的编写和维护复杂性时,开发者可以专注于工作流和生产的语义部分,从而释放更多时间用于更高价值的开发工作。

即将推出的私有测试版包括:

  • 在云端调用即用型和托管代理的 API
  • 用于创建自动化、回顾和编辑过去及实时运行的 Studio

Runner H:通过自然语言命令实现网页自动化-1

在 Studio 中,你可以为复杂工作流创建可靠的自动化流程,例如端到端的电子商务场景测试(从产品发现到订单确认)以及金融服务的入职流程(预填写多步骤验证过程、文档上传和合规检查)。

Runner H:通过自然语言命令实现网页自动化-3

朝着宏伟愿景迈出的重要一步:规划、观察、运行和重复

与传统方法(如屏幕自动化)相比,Runner H 能更可靠地实现生产级别的自动化——高效、轻松且具有规模化能力。这得益于我们的工程和研究团队在公司成立后取得的成就:

  • 我们训练出了市场上最佳的视觉语言模型(VLM),可在给定屏幕截图和自然语言指令(如“点击添加到购物车按钮”)时预测鼠标点击的坐标,其性能在专注于用户界面操作模型的基准 Screenspot 中表现突出。
  • 我们设计出了市场上最佳的网页代理,用于开放式任务,其性能在 WebVoyager 中表现卓越。

想了解 Runner H 的基础,更多关于我们 VLM 和大语言模型(LLM)的信息请参考此处

前行之路

最终,我们设想一个未来,你可以像与同事互动一样自然地与 Runner H 交互。

接下来,我们将在以下几个方面继续推进:

  • 通过包括强化学习和蒸馏在内的大规模复杂技术,提高准确性和成本效率
  • 为 Studio 添加调试和教学功能,以便开发者可以训练 Runner H 0.1 在特定任务中表现出色
  • 通过技术内容、支持和活动,促进开发者社区的发展
  • 坚持企业级安全标准,确保 Runner H 0.1 安全、可靠地运行(更多研究内容将陆续推出)

这是我们在民主化代理之路上的第一步。在 H 公司,我们相信,减少复杂性会创造创新的空间。当我们减少琐碎任务的时间,就能专注于有意义的目标和创造力。当我们让 AI 为我们工作时,就能完成更多重要的工作。

我们期待探索更多可能性。加入我们,共同塑造网页自动化的未来。

未经允许不得转载:首席AI分享圈 » Runner H:通过自然语言命令实现网页自动化执行任务(申请内测)

首席AI分享圈

首席AI分享圈专注于人工智能学习,提供全面的AI学习内容、AI工具和实操指导。我们的目标是通过高质量的内容和实践经验分享,帮助用户掌握AI技术,一起挖掘AI的无限潜能。无论您是AI初学者还是资深专家,这里都是您获取知识、提升技能、实现创新的理想之地。

联系我们
zh_CN简体中文