【技术文档摘要】：

ScreenPilot

MCP服务器，通过提供屏幕自动化工具包来让LLM完全控制您的设备，实现对图形用户界面的控制和交互。适用于自动化、教育和娱乐。

主要特性

• 📷 屏幕捕获和分析
• 🖱️ 鼠标控制（点击、定位）
• ⌨️ 键盘输入（打字、按键、快捷键）

观看演示

https://github.com/user-attachments/assets/c18380c0-b3dd-4b7c-925d-28ef205ca11f

安装

0. 安装Python 3.12
1. 克隆仓库：

   git clone https://github.com/Mtehabsim/ScreenPilot.git
   

2. 创建虚拟环境

python -m venv venv

3. 激活环境

venv\Scripts\activate

4. 安装所需包：

   pip install -r requirements.txt
   

5. 打开Claude AI桌面
6. 文件 -> 设置 -> 开发者 -> 编辑配置
7. 打开配置文件并粘贴以下内容

{
    "mcpServers": {
        "device-controll": {
            "command": "pathToEnv\\venv\\Scripts\\python.exe",
            "args": [
                "pathToProject\\ScreenPilot\\main.py"
            ]
        }
    }
}

8. 替换     "pathToEnv\venv\Scripts\python.exe" → 使用完整的python.exe路径     "pathToProject\ScreenPilot\main.py" → 使用完整的main.py文件路径

9. 保存配置文件。

10. 打开Claude AI桌面。

11. 转到文件 → 退出

12. 现在可以打开Claude AI桌面并享受ScreenPilot的功能了。

可用工具

• 屏幕捕获：截取屏幕并获取屏幕信息
• 鼠标控制：移动鼠标并执行点击操作
• 键盘动作：输入文本、按下按键和使用快捷键组合
• 滚动：向不同方向滚动或滚动到特定位置
• 元素检测：检查元素是否存在于屏幕上，并等待它们出现
• 动作序列：按顺序执行多个动作

贡献

欢迎贡献！请随时提交Pull Request。