AI在操作系统里复制自己，这一天还是来了
source link: https://www.qbitai.com/2024/01/113929.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
AI在操作系统里复制自己，这一天还是来了
网友：加上语音就是贾维斯
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
这一天还是来了，AI在操作系统里启动了一个自己的副本。
往小了说，不过是多模态大模型通过操纵鼠标键盘的API执行任务。
往大了说，也可以算是“AI复制自己”的雏形了。
（别被作者的蓝天白云壁纸骗到了，这其实是MacOS）
从AI这一顿眼花缭乱的操作中可以看出，核心是多模态大模型，通过截图判断屏幕上正在发生什么，生成下一步操作的计划，调用系统接口执行之后再次截图。
要按网友建议加上语音识别功能，真就能模拟钢铁侠的贾维斯了。
AI能不能复制自己，是OpenAI内部始终关注的安全测试内容之一。但GPT-4出道至今，这项测试结果一直没有公布。
如今，先不管模型本身有没有这个能力，接入GPT4V的开源项目已经可以做到了。
AI与操作系统结合
这个开源项目叫做Open Interpreter，GitHub热榜常客，半年时间已积攒3.7万星。
从名字也可以看出，最早只是一个ChatGPT代码解释器的开源升级版。
与OpenAI官方版相比，没有3小时50条对话的限制，以及可以连接网络、可以自定义预安装的Python包等等好处。
发布不久后初代作者Killian Lucas就想到，为什么一定要在虚拟沙箱环境执行代码？直接让AI接入真实系统有更大的可能性。
于是，第二个大版本就是操作系统级AI Agent了。
Open Interpreter最近更新了第三个大版本，其中接入的大模型改为多模态版本。
核心贡献者Ty Fiero展示了AI自动发送邮件。
以及更复杂的AI操作专业编曲软件作曲。
团队在这个版本设计了全新的Computer API，并且与原本的Open Interpreter分离，可以独立运作。
在新版本更新文档中，可以看出团队更大的野心：着手开发AI时代新的计算机架构，也就是语言模型计算机LMC（Language Model Computer）。
Kilian借助CES上199元的AI掌机Rabbit R1爆火的机会公开招募开发者加入，打算快速复刻一个开源版本，硬件成本不到50美元。
不到48小时，就有超过200位工程师和设计师愿意加入这个项目，评论区中还不断有人继续申请中。
不知道这个团队回复大量应聘邮件和私信，用的是不是AI。
参考链接：
[1]https://twitter.com/fieroty/status/1746639975234560101
[2]https://github.com/KillianLucas/open-interpreter
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK