MCP vLLM 性能测试工具

这是关于如何使用MCP进行交互式vLLM性能测试的概念验证。

我们对性能测试并不陌生，请参阅我们的博客：

关于vLLM的性能测试

这只是探索MCP可能性的一部分。

使用方法

1. 克隆仓库
2. 将其添加到您的MCP服务器中：

{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

然后您可以像这样提示：

为此端点执行vllm性能测试：http://10.0.101.39:8888 
测试以下模型：deepseek-ai/DeepSeek-R1-Distill-Llama-8B 
运行三次基准测试，每次使用32个提示数，然后比较结果，但忽略第一次迭代，因为那只是预热。

待办事项：

• 由于vllm的一些随机输出，可能会显示它找到了一些无效的json。我还没有真正研究过这个问题。