仲裁者MCP服务

Name: 仲裁者MCP服务
Author: OtherVibes

作者：OtherVibes14 星标更新：2025-10-27

安装使用来源：spider==github.com

项目介绍

MCP作为裁判 ⚖️

mcp-name: io.github.OtherVibes/mcp-as-a-judge

MCP作为裁判在AI编码助手和大语言模型之间充当验证层，帮助确保更安全、更高质量的代码。

MCP作为裁判是一个行为型MCP，通过要求明确的大语言模型评估来增强AI编码助手：

研究、系统设计和规划
代码更改、测试和任务完成验证

它强制执行基于证据的研究、重用而非重新发明，并且有人类参与决策。

如果您的IDE有规则/代理（Copilot、Cursor、Claude Code），继续使用它们——这个裁判添加了可执行的审批门，用于计划、代码差异和测试。

AI编码助手和大语言模型的主要问题

将大语言模型输出视为绝对真理；跳过研究并使用过时的信息
重新发明轮子而不是重用库和现有代码
偷工减料：低于工程标准的代码和薄弱的测试
在需求模糊或计划变更时单方面做出决定
安全盲点：缺少输入验证、注入风险/攻击向量、最小权限违规以及薄弱的防御性编程

编写代码不必令人沮丧

它强制执行的内容

基于证据的研究和重用（最佳实践、库、现有代码）
首先制定计划以符合用户需求
对模糊性和阻碍的人类参与决策
对代码和测试的质量门（安全性、性能、可维护性）

关键能力

通过MCP 采样进行智能代码评估；强制执行软件工程标准并标记安全/性能/可维护性风险
全面的计划/设计审查：验证架构、研究深度、需求匹配和实现方法
通过MCP 引出驱动用户决策：澄清需求、解决障碍并保持选择透明
系统设计和代码更改中的安全验证

工具及其如何帮助

工具	解决的问题
`set_coding_task`	创建/更新任务元数据；分类任务大小；返回下一步工作流程指导
`get_current_coding_task`	恢复最新的任务ID和元数据以安全恢复工作
`judge_coding_plan`	验证计划/设计；需要库选择和内部重用图；标记风险
`judge_code_change`	审查统一的Git差异以检查正确性、重用、安全性和代码质量
`judge_testing_implementation`	使用真实的运行器输出和可选覆盖率验证测试
`judge_coding_task_completion`	最终门控确保计划、代码和测试批准后才能完成
`raise_missing_requirements`	引出缺失的细节和决策以解除进度障碍
`raise_obstacle`	让用户参与权衡、约束和强制更改

🚀 快速开始

需求与建议

MCP客户端前提条件

MCP作为裁判的核心功能严重依赖于MCP采样和MCP引出特性：

MCP采样 - 需要用于AI驱动的代码评估和判断
MCP引出 - 需要用于交互式用户决策提示

系统前提条件

Docker Desktop / Python 3.13+ - 运行MCP服务器所需

支持的AI助手

AI助手	平台	MCP支持	状态	备注
GitHub Copilot	Visual Studio Code	✅ 完整	推荐	完整的MCP集成，包括采样和引出
Claude Code	-	⚠️ 部分	需要大语言模型API密钥	采样支持功能请求<br>引出支持功能请求
Cursor	-	⚠️ 部分	需要大语言模型API密钥	MCP支持可用，但采样/引出有限
Augment	-	⚠️ 部分	需要大语言模型API密钥	MCP支持可用，但采样/引出有限
Qodo	-	⚠️ 部分	需要大语言模型API密钥	MCP支持可用，但采样/引出有限

✅ 推荐设置： GitHub Copilot + VS Code — 完整MCP采样；无需API密钥。

⚠️ 关键： 对于没有完整MCP采样的助手（如Cursor、Claude Code、Augment、Qodo），您必须设置LLM_API_KEY。否则，服务器无法评估计划或代码。参见大语言模型API配置（可选）。

💡 提示： 优先使用大型上下文模型（≥ 1M令牌）以获得更好的分析和判断。

如果MCP服务器未自动使用

对于故障排除，请访问常见问题解答部分。

🔧 MCP配置

在您的MCP启用客户端中配置MCP作为裁判：

方法1：使用Docker（推荐）

VS Code的一键安装（MCP）

注意事项：

VS Code控制采样模型；通过“MCP：列出服务器 → mcp-as-a-judge → 配置模型访问”选择它。

配置MCP设置：

将以下内容添加到您的MCP客户端配置文件中：
```
{
  "command": "docker",
  "args": ["run", "--rm", "-i", "--pull=always", "ghcr.io/othervibes/mcp-as-a-judge:latest"],
  "env": {
    "LLM_API_KEY": "your-openai-api-key-here",
    "LLM_MODEL_NAME": "gpt-4o-mini"
  }
}
```
📝 配置选项（所有可选）：
- LLM_API_KEY：对于GitHub Copilot + VS Code是可选的（内置MCP采样）
- LLM_MODEL_NAME：可选的自定义模型（参见支持的大语言模型提供商默认值）
- --pull=always 标志确保您始终自动获取最新版本
然后根据需要手动更新：
```
# 拉取最新版本
docker pull ghcr.io/othervibes/mcp-as-a-judge:latest
```

方法2：使用uv

安装包：
```
uv tool install mcp-as-a-judge
```
配置MCP设置：

您的MCP启用客户端可能会自动检测MCP服务器。

📝 注意事项：
- 对于GitHub Copilot + VS Code无需额外配置（内置MCP采样）
- LLM_API_KEY是可选的，如有需要可通过环境变量设置

更新到最新版本：

# 更新MCP作为裁判到最新版本
uv tool upgrade mcp-as-a-judge

在VS Code中选择采样模型

打开命令面板（Cmd/Ctrl+Shift+P）→ “MCP：列出服务器”
选择已配置的服务器“mcp-as-a-judge”
选择“配置模型访问”
勾选您偏好的模型以启用采样

🔑 大语言模型API配置（可选）

对于不完全支持MCP采样的AI助手，您可以配置一个大语言模型API密钥作为备用。这确保即使客户端不支持MCP采样，MCP作为裁判也能正常工作。

设置LLM_API_KEY（统一密钥）。供应商会自动检测；如有需要，可以设置LLM_MODEL_NAME以覆盖默认值。

支持的大语言模型提供商

排名	提供商	API密钥格式	默认模型	备注
1	OpenAI	`sk-...`	`gpt-4.1`	快速可靠的优化速度模型
2	Anthropic	`sk-ant-...`	`claude-sonnet-4-20250514`	高性能且具有卓越推理能力
3	Google	`AIza...`	`gemini-2.5-pro`	最先进的内置思考模型
4	Azure OpenAI	`[a-f0-9]{32}`	`gpt-4.1`	与OpenAI相同，但通过Azure
5	AWS Bedrock	AWS凭证	`anthropic.claude-sonnet-4-20250514-v1:0`	与Anthropic对齐
6	Vertex AI	服务账户JSON	`gemini-2.5-pro`	企业Gemini通过Google Cloud
7	Groq	`gsk_...`	`deepseek-r1`	最佳推理模型，具有速度优势
8	OpenRouter	`sk-or-...`	`deepseek/deepseek-r1`	最佳可用推理模型
9	xAI	`xai-...`	`grok-code-fast-1`	最新的专注于编码的模型（2025年8月）
10	Mistral	`[a-f0-9]{64}`	`pixtral-large`	最先进的模型（124B参数）

客户端特定设置

Cursor

打开Cursor设置：
- 转到文件 → 首选项 → Cursor设置
- 导航到MCP标签
- 点击+ 添加以添加一个新的MCP服务器
添加MCP服务器配置：
```
{
  "command": "uv",
  "args": ["tool", "run", "mcp-as-a-judge"],
  "env": {
    "LLM_API_KEY": "your-openai-api-key-here",
    "LLM_MODEL_NAME": "gpt-4.1"
  }
}
```
📝 配置选项：
- LLM_API_KEY：对于Cursor是必需的（MCP采样有限）
- LLM_MODEL_NAME：可选的自定义模型（参见支持的大语言模型提供商默认值）

Claude Code

通过CLI添加MCP服务器：

# 首先设置环境变量（可选模型覆盖）
export LLM_API_KEY="your_api_key_here"
export LLM_MODEL_NAME="claude-3-5-haiku"  # 可选：更快/更便宜的模型

# 添加MCP服务器
claude mcp add mcp-as-a-judge -- uv tool run mcp-as-a-judge

替代方案：手动配置：

创建或编辑~/.config/claude-code/mcp_servers.json

{
  "command": "uv",
  "args": ["tool", "run", "mcp-as-a-judge"],
  "env": {
    "LLM_API_KEY": "your-anthropic-api-key-here",
    "LLM_MODEL_NAME": "claude-3-5-haiku"
  }
}

📝 配置选项：

LLM_API_KEY：对于Claude Code是必需的（MCP采样有限）

LLM_MODEL_NAME：可选的自定义模型（参见支持的大语言模型提供商默认值）

其他MCP客户端

对于其他兼容MCP的客户端，使用标准MCP服务器配置：

{
  "command": "uv",
  "args": ["tool", "run", "mcp-as-a-judge"],
  "env": {
    "LLM_API_KEY": "your-openai-api-key-here",
    "LLM_MODEL_NAME": "gpt-5"
  }
}