TheMCPCompany: 使用任务特定工具创建通用代理 [ArXiv]

自Model Context Protocol (MCP)引入以来，大型语言模型（LLMs）可用的工具数量显著增加。这些任务特定的工具集提供了不同于通用工具（如网络浏览器）的替代方案，并且比图形用户界面（GUI）更容易开发和维护。然而，当前的通用代理主要依赖于网络浏览器与环境进行交互。在这里，我们介绍了TheMCPCompany，这是一个评估工具调用代理在涉及与各种实际服务交互的任务上的基准。我们使用这些服务的REST API来创建MCP服务器，其中包括超过18,000个工具。我们还为每个任务提供了手动标注的真实工具。在我们的实验中，我们使用真实工具来展示工具调用代理在提高性能和降低成本方面的潜力，假设完美检索工具。接下来，我们通过工具检索探索代理性能，以研究基于工具的代理在现实世界中的实用性。虽然所有具有工具检索的模型表现都与基于浏览器的代理相似或更好，但较小的模型无法充分利用检索到的可用工具。另一方面，GPT-5在工具检索下的表现非常接近其使用真实工具的表现。总体而言，我们的工作表明，最先进的推理模型在发现简单环境中的工具方面是有效的，但在导航复杂的企业环境中则严重挣扎。TheMCPCompany揭示了导航数万个工具并将它们以非平凡的方式组合起来解决复杂问题仍然是当前模型面临的挑战，这需要更好的推理和检索模型。

<br> <p align="center"><img alt="TheMCPCompany" src="https://huggingface.co/datasets/BatsResearch/themcpcompany_artifacts/resolve/main/tmc.png"/></p>

运行代理

按照以下步骤运行代理：

• 设置代理与其交互的环境：
  • 对于TheAgentCompany任务，请遵循此处的官方说明来运行Docker容器。
  • 对于Azure任务，请遵循这些说明创建Azure账户和服务主体。
• 运行MCP服务器。请遵循这些说明来运行MCP服务器。对于带有浏览器工具的代理不需要此步骤。
• 按照这些说明设置OpenHands并运行评估。

引用

@misc{tmc,
      title={TheMCPCompany: 使用任务特定工具创建通用代理}, 
      author={Reza Esfandiarpoor and Vishwas Suryanarayanan and Stephen H. Bach and Vishal Chowdhary and Anthony Aue},
      year={2025},
      eprint={2210.19286},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2510.19286}, 
}