WeChat Mini Program Data Capture MCP Server v2.1

🎯 项目介绍

这是一个专门为Mac版微信小程序设计的智能数据捕获系统，采用MCP（模型上下文协议）架构，结合Go后端服务和Python自动化爬虫，实现微信小程序的全自动数据收集与分析。

✨ V2.1主要更新

🔥 新功能亮点

1. 🎯 自动小程序入口检测 - 自动点击小程序入口并选择第一个小程序
2. 📱 准确的小程序截图 - 只捕捉小程序区域以避免全屏干扰
3. 🧹 智能截图清理 - 在每次爬取前自动清理旧的截图文件
4. 🏗️ 模块化架构 - 代码被拆分为多个专用模块，每个文件专注于单一功能
5. ⚡ 更好的错误处理 - 智能重试和用户友好的错误提示

🏗️ 架构重构

模块化设计

py_scripts/
├── config.py                    # 配置管理 (70行)
├── wechat_window_manager.py     # 微信窗口管理 (95行)
├── screenshot_manager.py        # 截图管理 (85行)
├── interaction_manager.py       # 交互管理 (90行)
├── analysis_client.py           # 分析客户端 (85行)
├── data_manager.py              # 数据管理 (95行)
├── crawler_core.py              # 爬虫核心 (90行)
├── main.py                      # 主程序 (75行)
└── test_modules.py              # 模块测试 (70行)

单一职责原则

• 配置管理：所有配置常量和设置
• 窗口管理：微信窗口搜索、聚焦、小程序入口处理
• 截图管理：截图、滚动截图、图像处理
• 交互管理：点击、返回等交互操作
• 分析客户端：与MCP服务器通信及图像分析
• 数据管理：数据收集、存储及报告生成
• 爬虫核心：集成所有组件的主要爬取逻辑

🆚 版本对比

功能	v2.0	v2.1
代码结构	单文件900+行	🏗️ 模块化8个文件，每个文件<100行
小程序入口	手动操作	🎯 自动检测和点击
截图清理	手动清理	🧹 自动清理旧文件
代码维护	维护困难	✨ 易于维护和扩展
功能测试	整体测试	🧪 模块测试

🚀 快速开始

1. 环境要求

• 操作系统：MacOS（特别优化）
• Go版本：1.19+
• Python版本：3.7+
• 微信：Mac版微信客户端

2. 一键安装

# 克隆项目
git clone <repository-url>
cd mcp_wechat_mini

# 安装Go依赖
go mod tidy

# 安装Python依赖（一键脚本）
./py_scripts/install_python_dependencies.sh

3. 启动服务

# 启动MCP服务器
go run main.go

4. 运行一个网络爬虫

# 使用新的模块化爬虫
python3 run_crawler.py

# 或直接运行
cd py_scripts && python3 main.py

🔧 核心功能

🤖 智能自动化

• 自动窗口检测：使用AppleScript自动查找微信窗口
• 自动小程序入口：自动点击小程序入口并选择第一个小程序
• 智能区域识别：准确定位小程序显示区域
• 自适应截图：根据小程序大小动态调整截图区域
• 智能滚动：自动检测页面底部以避免无效滚动

🧠 AI驱动分析

• 文本提取：OCR识别页面上的所有文本内容
• 按钮检测：智能识别各种类型的交互元素
• 图标分析：自动分类图标的功能和目的
• 布局分析：分析页面结构和设计模式
• 功能分类：基于内容的智能页面功能分类

📊 数据收集

• 完整的页面数据：包括截图、分析结果和功能特性
• 导航关系映射：记录页面之间的跳转关系
• 功能总结报告：生成小程序功能概览
• 结构化输出：完整的JSON格式数据

📁 项目结构

mcp_wechat_mini/
├── main.go                          # Go服务器入口
├── config/                          # 配置管理
├── logger/                          # 日志系统
├── model/                           # 数据模型
├── service/                         # 业务逻辑
├── controller/                      # API控制器
├── py_scripts/                      # Python爬虫模块
│   ├── config.py                    # 爬虫配置
│   ├── wechat_window_manager.py     # 微信窗口管理
│   ├── screenshot_manager.py        # 截图管理
│   ├── interaction_manager.py       # 交互管理
│   ├── analysis_client.py           # 分析客户端
│   ├── data_manager.py              # 数据管理
│   ├── crawler_core.py              # 爬虫核心
│   ├── main.py                      # 主程序
│   ├── test_modules.py              # 模块测试
│   └── install_python_dependencies.sh # 依赖安装
├── run_crawler.py                   # 爬虫启动脚本
├── config.yaml                      # 服务器配置
├── USAGE_GUIDE.md                   # 详细使用指南
└── README.md                        # 项目说明

🎮 使用流程

第一步：准备环境

1. 确保微信已打开并登录
2. 启动MCP服务器

第二步：运行爬虫

python3 run_crawler.py

第三步：自动化执行

• 🔍 自动检测微信窗口
• 📱 自动点击小程序入口
• 🎯 自动选择第一个小程序
• 📸 智能截图和分析
• 🖱️ 自动点击和导航
• 📊 生成完整的报告

📊 输出示例

文件输出

crawl_results/
├── screenshots/
│   ├── 主页面_normal.png
│   ├── 主页面_full_page.png
│   └── 功能页面_normal.png
├── crawl_results_1234567890.json
└── crawl_report_1234567890.txt

JSON数据结构

{
  "crawl_info": {
    "app_name": "示例小程序",
    "total_pages": 5,
    "total_buttons": 12,
    "crawl_duration": 45.6
  },
  "pages": [...],
  "navigation_map": {...},
  "feature_summary": {...}
}

🧪 测试功能

模块测试

cd py_scripts && python3 test_modules.py

测试内容

• ✅ 配置模块测试
• ✅ 微信窗口管理测试
• ✅ 截图功能测试
• ✅ MCP服务器连接测试

🛠️ 技术架构

后端服务（Go）

• Gin框架：高性能HTTP服务器
• Chromedp：无头浏览器控制
• Logrus：结构化日志系统
• YAML配置：灵活的配置管理

前端爬虫（Python）

• PyAutoGUI：自动化操作库
• OpenCV：图像处理和分析
• PIL/Pillow：图像操作和处理
• scikit-image：高级图像分析
• PyObjC：Mac系统集成

数据流

微信小程序 → 自动入口检测 → 精准截图 → AI分析 → 结构化数据 → JSON输出

🔧 配置选项

服务器配置（config.yaml）

server:
  address: ":8081"
  readTimeout: 30s
  writeTimeout: 30s

screenshot:
  max_file_size: 10485760
  analysis_timeout: 60
  supported_formats: ["png", "jpg", "jpeg"]

爬虫配置（py_scripts/config.py）

# 微信窗口配置
WECHAT_WINDOW_SIZE = (400, 700)
WECHAT_WINDOW_POSITION = (100, 100)

# 小程序区域配置
MINI_PROGRAM_BOUNDS = {
    'x': 150, 'y': 150,
    'width': 350, 'height': 500
}

# 小程序入口按钮位置
MINI_PROGRAM_ENTRY_BOUNDS = {
    'x': 30, 'y': 200,
    'width': 100, 'height': 100
}

⚠️ 注意事项

系统权限

• 需要授予Python访问屏幕录制的权限
• 可能需要授予自动化操作权限

使用建议

• 爬取时避免操作其他窗口
• 确保网络连接稳定
• 关闭系统通知以避免干扰

兼容性

• 特别优化了Mac系统
• 支持最新版本的Mac微信客户端
• 兼容多种屏幕分辨率

🛠️ 故障排除

常见问题

1. 无法找到微信窗口 → 确保微信已打开
2. 小程序入口检测失败 → 检查微信界面是否正常工作
3. 截图区域错误 → 检查小程序是否完全显示
4. 模块导入失败 → 检查Python路径设置

获取帮助

• 运行模块测试：cd py_scripts && python3 test_modules.py
• 查看详细的日志输出
• 参考用户手册文档

🔄 版本历史

V2.1（当前版本）

• ✅ 模块化架构重构
• ✅ 自动小程序入口检测
• ✅ 智能截图清理
• ✅ 单一职责原则设计
• ✅ 完整模块测试

v2.0

• ✅ 自动微信窗口定位
• ✅ 准确的小程序区域截图
• ✅ 智能坐标转换系统
• ✅ 增强的返回功能

v1.0

• ✅ 基本的截图和分析功能
• ✅ 手动操作模式
• ✅ JSON数据输出

🚀 未来计划

• 🔄 支持同时爬取多个小程序
• 🔄 增加更多手势操作支持
• 🔄 实现自定义爬取规则
• 🔄 添加实时预览功能
• 🔄 支持Windows和Linux系统

📄 许可证

该项目采用MIT许可证，详情参见LICENSE文档。

🤝 贡献

欢迎提交Issue和Pull Requests来改进项目！

---

🎯 专门针对Mac版微信小程序设计的智能爬虫系统——模块化架构，更易于维护和扩展