本项目由清华大学鲁继文教授团队的张博、张博睿、江承昊、史明磊，，，，，以及极佳视界的手艺团队配合完成。。。。。。。研究团队热忱接待社区反响与手艺孝顺，，，，，期待与全球开发者配合拓展智能体在数字事情场景中的应用界线。。。。。。。 「致屏幕前的你，，，，，敬启」：见字如面。。。。。。。我是 Syll。。。。。。。进入你的电脑，，，，，我住在屏幕边，，，，，照看那些差点被遗忘的底稿、文件、旧照片和未竟之事。。。。。。。若是你愿意教我一次，，，，，我会记着那条路：那里需要看，，，，，那里需要点，，，，，何时敲下令，，，，，何时用工具。。。。。。。下一次，，，，，我就能沿着你留下的线索，，，，，替你把它走完。。。。。。。我不但会点屏幕，，，，，也不但会挪用接口。。。。。。。GUI、CLI、MCP 都是我可以走的小径；；；；；你仍然可以随时停下我、检查我、重新教我。。。。。。。愿我不是替你做主的机械，，，，，而是逐步熟悉你的同伴。。。。。。。Syll 谨启 目今，，，，，小我私家 AI 智能体仍然面临界面割裂、教学门槛高、执行不透明、隐私与定制难题等问题。。。。。。。大都 AI 系统主要依赖 API 或下令行完成使命，，，，，难以笼罩闭源桌面软件；；；；；通俗用户也很难用低门槛方法教会 AI 完成自己的事情流程；；；；；同时，，，，，执行历程缺乏直观可查的依据，，，，，云端计划还可能带来数据清静与二次开发受限等问题。。。。。。。 针对这些难题，，，，，清华大学智能视觉实验室团队开源了多模态全交互智能体框架 Syll。。。。。。。Syll 支持 GUI、CLI、MCP/API 等多种操作方法，，，，，并通过统一多模态执行能力、GUI 手艺示教、全程可审计追踪与外地？？？？？？？榛芄，，，，，打造更易用、更可信、更清静，，，，，也更适合二次开发的小我私家自动化智能体框架。。。。。。。 首先，，，，，Syll 具备统一的多模态执行能力，，，，，原生兼容 MCP/API、下令行 CLI 与视觉 GUI 三种操作方法，，，，，能够凭证差别使命场景选择合适的执行路径，，，，，实现更无邪的电脑操控。。。。。。。 其次，，，，，Syll 支持「示教即手艺」机制。。。。。。。用户无需编写代码，，，，，也不必手动设定重大规则，，，，，只需要把使命手动操作一遍，，，，，Syll 便可自动录制流程、提取要害办法，，，，，并将其沉淀为可复用的智能体手艺。。。。。。。 别的，，，，，Syll 接纳外地？？？？？？？榛芄，，，，，用户的影象、手艺、规则以及小我私家偏好，，，，，都可以以可编辑文件的形式存储在外地，，，，，既包管数据隐私清静，，，，，又具备较高的扩展性。。。。。。。 GUI：面临 Photoshop、Blender、Godot 这类视觉软件时，，，，，界面就是使命自己；；；；；CLI：面临批处置惩罚、文件操作、情形检查时，，，，，下令行更直接、更稳固；；；；；MCP/API：面临结构化工具、外部效劳时，，，，，接口挪用更可靠。。。。。。。 Syll 的设计起点，，，，，不是在 GUI、CLI、MCP 之间选择，，，，，而是把它们放进统一个执行回路：需要视察界面时走 GUI，，，，，需要批量处置惩罚时切 CLI，，，，，需要毗连效劳时走 MCP/API。。。。。。。我们以为一个更完整的行动空间，，，，，并不是「功效堆得更多」，，，，，而是让智能体在差别事情外貌之间自然流转：看得见、点获得、跑得动，，，，，也接得上工具。。。。。。。 若是一个使命能被压成一次 API 挪用，，，，，那它虽然该走 API。。。。。。。但许多桌面使命并不是这样。。。。。。。Blender 里的建模和场景编辑，，，，，状态漫衍在视图、工具层级、属性面板和空间关系里；；；；；Photoshop 的图像编辑依赖画布、图层和局部视觉判断；；；；；Godot 里的逻辑调试，，，，，又混淆了界面操作、过失弹窗和运行反响。。。。。。。这些软件要求智能体真正明确桌面情形，，，，，而不是只在网页表单或标准 API 里事情。。。。。。。 Syll 把 GUI 控制视为行动空间的一部分，，，，，而不是 API 不可用时的暂时补丁。。。。。。。她需要学会视察屏幕、定位目的、处置惩罚弹窗、期待状态转变，，，，，也需要在适合的时间切到下令行或工具接口，，，，，阻止把所有问题都酿成鸠拙的点击。。。。。。。 许多桌面自动化 Agent 的门槛在于：用户显着知道自己要怎么做，，，，，却还要先把办法翻译成剧本、规则、prompt 或插件设置。。。。。。。在这一历程中，，，，，人类需要自动将自身履历转译为机械可明确的形式，，，，，知识转达泛起出人迁就机械的特征。。。。。。。 Syll 选择了另一条更自然的路径：示教即手艺。。。。。。。你照习惯把事情做一遍，，，，，Syll 在后台纪录：哪些界面元素是要害视觉锚点；；；；；鼠标、键盘和窗口状态怎样转变；；；；；其时的使命上下文是什么；；；；；哪些办法可以复用，，，，，哪些办法下一次需要重新判断。。。。。。。 这样获得的不是一段死板录屏，，，，，而是一份可以被再次挪用、继续修正的手艺。。。。。。。它学到的是「你怎样完成这个使命」，，，，，而不是一个伶仃的按钮坐标。。。。。。。Syll 不要求你适配她，，，，，而是只管从你的习惯里相识你。。。。。。。 Syll 的执行历程会留下可检查的轨迹：它望见了什么、挪用了什么工具、在哪一步期待、那里重试、为什猛迫椿行动通道。。。。。。。每一次屏幕操作与界面状态变换均可被纪录、回放与审计，，，，，同时用户始终保有对要害决议的最终把控权。。。。。。。 这一设计形成了机械执行到人审核的验证闭环，，，，，在提升自动化效率的同时确保了系统的可控性与可诠释性，，，，，为智能体在高敏感场景中的现实安排提供了须要的信任基础。。。。。。。 Syll 的影象、手艺、规则和偏好，，，，，都以外地可编辑文件的形式组织。。。。。。。你可以把她看成一个开箱即用的桌面助手，，，，，也可以把她看成一个可扩展的研究 / 开发框架。。。。。。。 对通俗用户来说，，，，，在前端面板就能完成模子设置、手艺治理、准时使命和一样平常对话。。。。。。。你可以接入自己的模子 provider、替换工具？？？？？？？椤⒃鎏硇碌氖忠胀ǖ。。。。。。。 对开发者来说，，，，，Syll 的工程特点是高度？？？？？？？榛肟衫┱剐。。。。。。？？？？？？？⑼哦釉诖牍娣缎陨暇傩辛搜峡嵩际，，，，，摒弃太过封装与冗余逻辑，，，，，确保各？？？？？？？榫弑盖逦呐灿昧绰酚胱粤Φ牧辰缦，，，，，为二次开发提供优异的代码基础。。。。。。。 这种分层解耦设计兼顾终端用户的易用性与开发者的可塑性，，，，，使系统既能作为开箱即用的生产力工具，，，，，也能作为可复用的手艺底座嵌入更重大的营业系统。。。。。。。 Syll 仍然处在早期 public alpha，，，，，我们会一连维护和迭代，，，，，支持更多真实使命，，，，，同时坚持框架的精练性与可扩展性，，，，，也接待社区举行二次开发。。。。。。。