Scrapy MCP Server

网络爬虫的自我修复革命

MCP（模型上下文协议）服务器能够实现AI驱动的Scrapy爬虫自动修复。当网站发生变化时，您的爬虫可以自行修复。

面临的问题

网络爬虫经常出故障。网站会改变结构、部署带有不同HTML布局的A/B测试、实施新的反机器人保护措施，或者在没有任何通知的情况下更新设计。选择器失效，解析逻辑失败，数据管道中断。直到现在，修复损坏的爬虫意味着手动调试会话和紧急修复。

不再如此。

自我修复：游戏规则的改变者

scrapy-mcp-server为网络爬虫基础设施带来了自主修复功能。AI助手可以检查实时请求，分析变化，并自动修复损坏的爬虫——无需人工干预。

工作原理

scrapy-mcp-server提供了调试能力。结合监控系统和CI/CD自动化（集成未包含），工作流程变为：

1. 监控检测到爬虫失败（结果为空、错误或数据质量问题）
2. 自动触发GitHub操作（或其他CI/CD系统）
3. AI通过MCP调试爬虫——分析请求、响应和HTML结构
4. 生成修复方案——更新的选择器、解析逻辑、反机器人处理、API回退
5. 创建拉取请求，修复好的爬虫准备审核
6. 审核并合并（或自信地自动合并）

这将爬虫基础设施从脆弱且高维护性转变为具有弹性和自维持性。

经过真实场景验证

scrapy-mcp-server已经针对常见的爬虫挑战进行了验证：

• ✅ 网站结构调整——布局更新、CSS类修改
• ✅ A/B测试——随机提供多个HTML变体
• ✅ 反机器人检测——识别并适应保护机制
• ✅ API集成——需要时自动回退到Zyte API等服务

功能

使用scrapy-mcp-server的AI助手可以：

• 🔍 检查实时Scrapy请求和响应
• 🐛 调试通过分析HTML结构变化来修复损坏的爬虫
• 🔧 自动修复选择器和解析逻辑
• 🔄 自我修复整个爬虫基础设施

快速开始

安装

使用uvx运行MCP服务器：

uvx scrapy-mcp-server

配置

添加到您的MCP客户端配置（例如，Claude Desktop）：

{
  "mcpServers": {
    "scrapy-inspector": {
      "command": "uvx",
      "args": ["scrapy-mcp-server"]
    }
  }
}

使用示例

配置完成后，AI助手可以帮助修复损坏的爬虫：

# 修复Scrapy爬虫：示例数据收集

修复一个从目标网站收集数据的现有Scrapy爬虫。

## 任务

1. 检查现有代码：爬虫位于`myproject/spiders/example.py`，项目位于`myproject/items.py`
2. 运行爬虫以确认其不再收集数据：`scrapy crawl example`
3. 使用**MCP scrapy-inspector**工具调试并修复爬虫

注意：从`create_spider`工具开始，了解爬虫开发和调试逻辑。

## 环境

- **Python:** 3.13.1（带虚拟环境`.venv`）
- **Scrapy:** 2.13.3（带Scrapy项目`myproject`）

AI助手将分析爬虫，识别网站上的变化，并提供必要的修复。

使用案例

• 生产监控：当网站结构变化时自动修复爬虫
• 零停机时间爬取：在影响数据管道之前检测并修复问题
• 扩展操作：维护数百个爬虫而无需成比例增加维护开销
• 开发速度：几分钟内修复损坏的爬虫，而不是几小时
• 团队效率：所有开发者一致的调试方法

为什么这改变了所有

传统的网络爬虫需要持续的手动维护。每次网站更改、部署A/B测试或更新反机器人措施都意味着开发人员的时间、紧急修复和数据管道中断。

有了自我修复功能：

• 减少维护时间90%以上
• 在影响生产前修复问题
• 扩展爬取操作而不需扩展团队
• 自动处理A/B测试和反机器人措施

要求

• Python >= 3.8
• 兼容Windows、Linux和macOS（Intel及Apple Silicon）
• 兼容MCP的AI助手（Claude等）

为什么是MCP？

模型上下文协议提供了一种标准化方式，使AI助手能够与开发工具交互。这意味着：

• 可与任何兼容MCP的AI助手配合使用
• 安全本地执行
• 不会将数据发送到您的机器之外
• 可扩展且面向未来

许可证

版权所有 © 2015–2025 CoreDump工程。保留所有权利。