MCP-RSS-Crawler

一个MCP（消息链协议）服务器，用于抓取RSS源并将其分享给LLMs。

功能

• 抓取和缓存RSS源（使用SQLite数据库）
• 实现MCP协议以无缝集成LLMs
• 支持按类别、来源或关键词过滤源
• 提供全面的API端点管理源
  • 添加、更新和删除源
• 支持从Firecrawl抓取文章

需求

• Bun
• Firecrawl API密钥
• Claude Desktop或其他MCP客户端

设置为MCP服务器

1. 克隆此仓库
2. 根据claude_desktop_config.json.example创建一个claude_desktop_config.json文件，并添加您的配置

{
  "mcpServers": {
    "rss-crawler": {
      "command": "/path/to/bun",
      "args": ["run", "/path/to/mcp-rss-crawler/apps/mcp-server/src/mcp-cli.ts"],
      "cwd": "/path/to/mcp-rss-crawler",
      "env": {
        "PORT": "5556",
        "DB_DIR": "/path/to/mcp-rss-crawler",
        "FIRECRAWL_API_KEY": "fc-<YOUR_FIRECRAWL_API_KEY>"
      }
    }
  }
}

3. 安装依赖项：

   bun install
   

4. 启动Claude Desktop：

MCP协议

该服务器实现了消息链协议（MCP），允许LLMs访问最新的RSS源。MCP端点接受带有JSON正文的POST请求，其中包含一个消息数组，并返回一个响应，其中包含最新的源项目。

示例请求：

{
  "messages": [
    {
      "role": "user",
      "content": "我的RSS源中最新的新闻是什么？"
    }
  ]
}

示例响应：

{
  "messages": [
    {
      "role": "assistant",
      "content": "这里是从您的RSS源中的最新文章：",
      "name": "rss-mcp"
    },
    {
      "role": "tool",
      "content": "[{\"title\":\"文章标题\",\"summary\":\"文章摘要...\",\"published\":\"2025-03-16T04:30:00.000Z\",\"origin\":\"源名称\",\"link\":\"https://example.com/article\"}]",
      "name": "rss-feeds"
    }
  ]
}

配置选项

服务器可以通过环境变量或.env文件进行配置：

• PORT - 服务器端口（默认：5556）
• FIRECRAWL_API_KEY - Firecrawl API密钥
• DB_DIR - 数据库目录（默认：~/.mcp-rss-crawler）

故障排除

• 对于连接问题，请检查网络设置和防火墙配置
• 日志在控制台中可用，可用于诊断问题
• 若要获取更详细的日志，请设置DEBUG=mcp-rss:*环境变量