MCP-LLM Bridge

这是一个使用TypeScript实现的桥梁，通过Ollama连接本地的大语言模型（LLMs）到模型上下文协议（MCP）服务器。此桥梁允许开源模型使用与Claude相同的工具和功能，从而创建强大的本地AI助手。

概述

该项目将本地大语言模型与提供各种功能的MCP服务器连接起来，如：

• 文件系统操作
• Brave网络搜索
• GitHub交互
• Google Drive及Gmail集成
• 内存/存储
• 使用Flux生成图像

桥梁在LLM的输出和MCP的JSON-RPC协议之间进行转换，使任何兼容Ollama的模型都能像Claude一样使用这些工具。

当前设置

• LLM：通过Ollama使用Qwen 2.5 7B（qwen2.5-coder:7b-instruct）
• MCPs：
  • 文件系统操作（@modelcontextprotocol/server-filesystem）
  • Brave搜索（@modelcontextprotocol/server-brave-search）
  • GitHub（@modelcontextprotocol/server-github）
  • 内存（@modelcontextprotocol/server-memory）
  • Flux图像生成（@patruff/server-flux）
  • Gmail及Drive（@patruff/server-gmail-drive）

架构

• 桥梁：管理工具注册和执行的核心组件
• LLM客户端：处理Ollama交互并格式化工具调用
• MCP客户端：管理MCP服务器连接和JSON-RPC通信
• 工具路由器：根据工具类型将请求路由到适当的MCP

主要特性

• 支持多MCP和动态工具路由
• 工具调用的结构化输出验证
• 根据用户提示自动检测工具
• 强大的Ollama进程管理
• 详细的日志记录和错误处理

设置

1. 安装Ollama和所需模型：

ollama pull qwen2.5-coder:7b-instruct

2. 安装MCP服务器：

npm install -g @modelcontextprotocol/server-filesystem
npm install -g @modelcontextprotocol/server-brave-search
npm install -g @modelcontextprotocol/server-github
npm install -g @modelcontextprotocol/server-memory
npm install -g @patruff/server-flux
npm install -g @patruff/server-gmail-drive

3. 配置凭证：
   • 设置BRAVE_API_KEY用于Brave搜索
   • 设置GITHUB_PERSONAL_ACCESS_TOKEN用于GitHub
   • 设置REPLICATE_API_TOKEN用于Flux
   • 运行Gmail/Drive MCP认证：node path/to/gmail-drive/index.js auth
   • 例如：node C:\Users\patru\AppData\Roaming\npm\node_modules\@patruff\server-gmail-drive\dist\index.js auth

配置

桥梁通过bridge_config.json进行配置：

• MCP服务器定义
• LLM设置（模型、温度等）
• 工具权限和路径

示例：

{
  "mcpServers": {
    "filesystem": {
      "command": "node",
      "args": ["path/to/server-filesystem/dist/index.js"],
      "allowedDirectory": "workspace/path"
    },
    // ... 其他MCP配置
  },
  "llm": {
    "model": "qwen2.5-coder:7b-instruct",
    "baseUrl": "http://localhost:11434"
  }
}

使用

1. 启动桥梁：

npm run start

2. 可用命令：
   • list-tools：显示可用工具
   • 正常文本：发送提示给LLM
   • quit：退出程序

示例交互：

> 在网络上搜索“最新的TypeScript特性”
[使用Brave搜索MCP查找结果]

> 创建一个名为“project-docs”的新文件夹
[使用文件系统MCP创建目录]

> 给user@example.com发送邮件
[使用Gmail MCP编写并发送邮件]

技术细节

工具检测

桥梁包括基于用户输入的智能工具检测：

• 邮件操作：通过电子邮件地址和关键词检测
• 驱动器操作：通过文件/文件夹关键词检测
• 搜索操作：根据上下文路由到合适的搜索工具

响应处理

响应经过多个阶段处理：

1. LLM生成结构化的工具调用
2. 桥梁验证并路由到合适的MCP
3. MCP执行操作并返回结果
4. 桥梁格式化响应供用户使用

扩展能力

此桥梁有效地将Claude的工具能力带到了本地模型：

• 文件系统操作
• 网络搜索和研究
• 邮件和文档管理
• 代码和GitHub交互
• 图像生成
• 持久记忆

所有这些都在完全本地运行，并使用开源模型。

未来改进

• 添加对更多MCP的支持
• 实现并行工具执行
• 添加流式响应
• 增强错误恢复
• 添加对话记忆
• 支持更多的Ollama模型

相关项目

此桥梁与更广泛的Claude生态系统集成：

• 模型上下文协议（MCP）
• Claude桌面配置
• Ollama项目
• 各种MCP服务器实现

结果是一个强大的本地AI助手，可以在完全运行于您自己的硬件的同时，匹配许多Claude的能力。