ai创造营 Midscene.js: 基于AI的简化开源的UI自动化工具
字节最近开源的 Midscene.js 是一个基于多模态大语言模型（LLM）的UI自动化工具，简化了传统UI自动化脚本的复杂性。用户只需通过自然语言描述交互步骤，AI即可执行任务。它提供三种关键方法：.ai 用于执行交互，.aiQuery 提取数据，.aiAssert 进行断言。支持浏览器插件、YAML脚本、Puppeteer和Playwright集成。Midscene.js生成可视化报告，便于调试和查看中间数据。项目为开源MIT许可证，支持自定义模型配置，确保数据隐私。
官网：
源码地址：
