采集者-MCP

Name: 采集者-MCP
Author: Ai-Quill

作者：Ai-Quill7 星标更新：2025-03-14

安装使用来源：spider==github.com

项目介绍

Scraper.is MCP

这是一个用于 Scraper.is 的 Model Context Protocol (MCP) 集成 —— 一个强大的网络爬取工具，适用于AI助手。

此包允许AI助手通过MCP协议进行网络内容爬取，使它们能够访问来自网络的最新信息。

功能

🌐 网络爬取: 从任何网站提取内容
📸 截图: 捕获网页的视觉表示
📄 多种格式: 获取内容的markdown、HTML或JSON格式
🔄 进度更新: 在爬取操作期间实时报告进度
🔌 MCP集成: 与兼容MCP的AI助手无缝集成

安装

npm install -g scraperis-mcp

或者使用yarn：

yarn global add scraperis-mcp

先决条件

你需要一个Scraper.is API密钥来使用此包。

获取你的API密钥

在 scraper.is 注册或登录
导航到仪表板中的API密钥部分：https://www.scraper.is/dashboard/apikeys
创建一个新的API密钥或复制现有的密钥
将此密钥安全存储，因为您需要它来使用此包

使用方法

环境设置

创建一个包含您的Scraper.is API密钥的.env文件：

SCRAPERIS_API_KEY=your_api_key_here

Claude Desktop 集成

要使用此包与Claude Desktop：

全局安装该包：
```
npm install -g scraperis-mcp
```

向您的claude_desktop_config.json文件添加以下配置：

{
  "mcpServers": {
    "scraperis_scraper": {
      "command": "scraperis-mcp",
      "args": [],
      "env": {
        "SCRAPERIS_API_KEY": "your-api-key-here",
        "DEBUG": "*"
      }
    }
  }
}

将your-api-key-here替换为您实际的Scraper.is API密钥。
重启Claude Desktop以应用更改。

使用MCP Inspector运行

对于开发和测试，您可以使用MCP Inspector：

npx @modelcontextprotocol/inspector scraperis-mcp

与AI助手集成

此包旨在与支持模型上下文协议（MCP）的AI助手一起使用。当正确配置时，AI助手可以使用以下工具：

爬取工具

scrape工具允许AI从网站中提取内容。它支持各种格式：

markdown: 返回markdown格式的内容
html: 返回HTML格式的内容
screenshot: 返回网页的截图
json: 返回结构化的JSON数据

示例提示给AI：

你能从techcrunch.com抓取最新的新闻并给我总结一下吗？

API参考

工具

scrape

根据提示从网页中抓取内容。

参数：

prompt (字符串): 描述要抓取什么的提示，包括URL
format (字符串): 返回内容的格式 (markdown, html, screenshot, json, quick)

示例：

{
  "prompt": "获取producthunt.com上的前10个产品",
  "format": "markdown"
}

开发

设置

克隆仓库：

git clone https://github.com/Ai-Quill/scraperis-mcp.git
cd scraperis-mcp

安装依赖项：
```
npm install
```
构建项目：
```
npm run build
```

脚本

npm run build: 构建项目
npm run watch: 监视更改并重新构建
npm run dev: 使用MCP Inspector进行开发
npm run test: 运行测试
npm run lint: 运行ESLint