计算机使用AI SDK

• 我们构建了一个控制计算机的MCP服务器。

• 你听说过OpenAI的操作员，听说过Claude的计算机使用。现在是开源替代品：来自screenpipe的Computer Use SDK。

• 它原生支持macOS——无需虚拟机，没有限制。你可以按需使用任何应用程序或网站。

• 不依赖像素识别——它依靠底层桌面渲染元素，使其比基于像素的视觉模型快得多且可靠得多。

• 现在你可以使用我们的MCP服务器和客户端，通过简单的Hello World模板开始构建自己的代理。

• 我们的MCP服务器提供了以下工具：

  • 启动应用程序
  • 读取内容
  • 单击
  • 输入文本
  • 按键

• 这些将成为计算基本单元，允许AI控制你的计算机并为你完成任务。你会构建什么？来访问我们的网站 https://screenpi.pe

示例

代理发送消息

https://github.com/user-attachments/assets/f8687500-9a8c-4a96-81b6-77562feff093

获取最新的WhatsApp消息

打开Arc浏览器

快速开始

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# 安装Rust（如果尚未安装）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 安装Node.js和npm（如果尚未安装）
# 访问 https://nodejs.org/ 或使用nvm

# 运行后端服务器
cd mcp-server-os-level
cargo run --bin server
# 保持运行

选项1：CLI界面

# 在新终端中运行CLI界面客户端（适合调试）
cd mcp-client-cli-interface
npm install  # 首先安装依赖项

# 将Anthropic API密钥设置为环境变量
export ANTHROPIC_API_KEY=sk-ant-xxxx  # 使用你的实际Anthropic API密钥替换
# 对于Windows，使用：set ANTHROPIC_API_KEY=sk-ant-xxxx
# 对于永久设置，添加到你的shell配置文件（如.bashrc, .zshrc等）

npx tsx main.ts

选项2：Web应用界面

# 在新终端中运行CLI界面客户端（适合调试）
cd mcp-client-nextjs
npm install  # 首先安装依赖项

# 通过命令行设置API密钥
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # 替换XXXXXXXX为你的实际密钥
# 或者追加以保留其他环境变量
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# 转到提供的localhost网页

我能用它做什么？

• 构建执行各种操作的自定义工作流代理
• 构建自定义UI，使用户能够轻松自动化他们的计算机工作
• 保存工作流并在cron中运行
• 结合其他MCP服务器做一些酷炫的事情，例如：根据我一天内与人交谈的历史填充谷歌表格

在GitHub问题中请求功能和端点

https://github.com/m13v/computer-use-ai-sdk/issues/new/choose