Unreal Engine 生成式AI支持插件

使用示例：

MCP 示例：

Claude 生成场景对象并控制它们的变换和材质，生成蓝图、函数、变量，添加组件，运行Python脚本等。

<img src="Docs/UnrealMcpDemo.gif" width="480"/>

API 示例：

一个名为“成为人类”的项目，其中NPC是OpenAI代理实例。使用此插件构建。

<p align="center"><img src="Docs/Repo Card - Updated.png" width="512"/></p>

每个月，各种组织都会发布数百种新的AI模型，使得跟上最新进展变得困难。

Unreal Engine 生成式AI支持插件允许您专注于游戏开发，而不必担心LLM/生成式AI集成层。

目前正在将模型控制协议（MCP）与Unreal Engine 5.5进行集成。

该项目旨在为各种前沿的LLM/生成式AI模型建立一个长期支持（LTS）插件，并围绕它建立一个社区。当前包括OpenAI的GPT-4o、Deepseek R1、Claude Sonnet 4、Claude Opus 4以及适用于Unreal Engine 5.1或更高版本的GPT-4o-mini，计划很快增加实时API、Gemini、MCP和Grok 3 API。该插件将专注于对游戏开发、评估和交互体验有用的API。欢迎所有建议和贡献。该插件也可以用于设置新的评估方法和比较模型在游戏战场上的表现。

当前进度：

[!WARNING]
该插件仍在快速开发中。

1. 不要在生产环境中使用它。⚠️
2. 不要在没有版本控制的情况下使用它。⚠️

我将继续更新这个仓库，提供最新的功能和模型。欢迎贡献。 如果您需要一个生产就绪的插件，具有更多功能和保证稳定性，请查看Gen AI Pro插件，因为测试不同模型和引擎版本的不同特性需要大量的API信用。否则，我认为这个插件对于许多用例（包括开头展示的例子）已经足够好，您可以免费使用它，永远。

目前正在解决MCP的问题（特别是节点生成问题），并为其添加更多功能。

LLM/生成式AI API支持：

• OpenAI API 支持：
  • OpenAI 聊天API ✅ (模型参考)
    • gpt-5 ✅,
    • gpt-4.1, gpt-4.1-mini, gpt-4.1-nano 模型 ✅
    • gpt-4o, gpt-4o-mini 模型 ✅
    • o4-mini 模型 ✅
    • o3, o3-pro, o3-mini, o1 模型 ✅
  • OpenAI DALL-E API (专业版可用) ☑️
  • 响应API 🛠️
  • OpenAI 视觉API [(专业版可用)](https://muddyterrain.com/t/genai-fab?utm_source=[...](https://muddyterrain.com/t/genai-fab?utm_source=github.com&utm_medium=repo-free&utm_campaign=genai-plugin) ☑️
  • OpenAI 实时API
    • gpt-4o-realtime-preview gpt-4o-mini-realtime-preview 模型 (专业版可用) ☑️
  • OpenAI 结构化输出 ✅
  • OpenAI Whisper & TTS API (专业版可用) ☑️
  • 多模态API支持 (专业版可用) ☑️
  • 文本流 (专业版可用) ☑️
• Anthropic Claude API 支持：
  • Claude 聊天API ✅
    • claude-4-latest, claude-3-7-sonnet-latest, claude-3-5-sonnet, claude-3-5-haiku-latest, claude-3-opus-latest 模型 ✅
  • 多模态/视觉API支持 (专业版可用) ☑️
• XAI (Grok 3) API 支持：
  • XAI 聊天完成API ✅
    • grok-3-latest, grok-3-mini-beta 模型 ✅
    • grok-3, grok-3-mini, grok-3-fast, grok-3-mini-fast, grok-2-vision-1212, grok-2-1212.
    • grok-4 推理API (专业版可用) ☑️
  • XAI 图像API 🚧
  • 文本流API (专业版可用) ☑️
  • 多模态API支持 (专业版可用) ☑️
• Google Gemini API 支持：
  • Gemini 聊天API
    • gemini-2.0-flash-lite, gemini-2.0-flash gemini-1.5-flash (专业版可用) ☑️
    • Gemini 2.5 Pro 模型 (专业版可用) ☑️
  • Gemini Imagen API:
    • imagen-3.0-generate-002 (专业版可用) ☑️
    • nano-banana (专业版可用) ☑️
  • Google TTS & 转录API: (专业版可用) ☑️
  • 多模态API支持 (专业版可用) ☑️
• Meta AI API 支持：
  • Llama 4 群： ❌
    • Llama 4 Behemoth, Llama 4 Maverick, Llama 4 Scout ❌
    • llama3.3-70b, llama3.1-8b 模型❌
  • 本地Llama API 🚧🤝
• Deepseek API 支持：
  • Deepseek 聊天API ✅
    • deepseek-chat (DeepSeek-V3.1) 模型 ✅
  • Deepseek 推理API, R1 ✅
    • deepseek-reasoning-r1 模型 ✅
    • deepseek-reasoning-r1 CoT 流式传输 ❌
  • 独立托管的Deepseek 模型 ❌
• 百度API 支持：
  • 百度聊天API ❌
    • baidu-chat 模型 ❌
• 3D生成模型API：
  • 由StabilityAI提供的TripoSR 🚧
• 插件文档 🛠️🤝
• 插件示例项目 🛠️ 这里
• 版本控制支持
  • Perforce 支持 🛠️
  • Git 子模块支持 ✅
• LTS 分支 🚧
  • 包含错误修复的稳定分支 🚧
  • 专门负责LTS的贡献者 🚧
• 轻量级插件（在构建中）
  • 无外部依赖 ✅
  • 构建标志以启用/禁用API 🚧
  • 按API组织的子模块 🚧
  • 在构建中排除MCP 🚧
• 测试
  • 自动测试 (专业版可用) ☑️
  • 不同平台 (专业版可用) ☑️
  • 不同引擎版本 (专业版可用) ☑️

Unreal MCP (模型控制协议)：

• 客户端支持 ✅
  • Claude 桌面应用支持 ✅
  • Cursor IDE 支持 ✅
  • OpenAI 操作员API支持 🚧
• 自动生成蓝图 🛠️
  • 创建新类型的蓝图 ✅
  • 添加新函数、函数/蓝图变量 ✅
  • 添加节点和连接 🛠️ (有bug，已打开问题)
  • 高级蓝图生成 🛠️
• LLM的级别/场景控制 🛠️
  • 生成对象和形状 ✅
  • 移动、旋转和缩放对象 ✅
  • 更改材质和颜色 ✅
  • 高级场景功能 🛠️
• 生成式AI：
  • 提示到3D模型获取和生成 🛠️
• 控制：
  • 运行Python脚本的能力 ✅
  • 运行控制台命令的能力 ✅
• 用户界面：
  • 小部件生成 🛠️
  • 用户界面蓝图生成 🛠️
• 项目文件：
  • 创建/编辑项目文件/文件夹 ️✅
  • 删除现有项目文件 ❌
• 其他：
  • 项目清理 🛠️

其中，

• ✅ - 已完成
• ☑️ - (专业版可用)
• 🛠️ - 正在进行中
• 🚧 - 计划中
• 🤝 - 需要贡献者
• ❌ - 目前不支持

目录

• 设置API密钥
  • 对于编辑器
  • 对于打包的构建
• 设置MCP
• 将插件添加到您的项目
  • 使用Git
  • 使用Perforce
  • 使用Unreal Marketplace
• 获取最新的插件更改
  • 使用Git
  • 使用Perforce
• 使用
  • OpenAI
    • 1. 聊天
    • 2. 结构化输出
  • DeepSeek API
    • 1. 聊天和推理
  • Anthropic API
    • 1. 聊天
  • XAI的Grok 3 API
    • 1. 聊天
  • 模型控制协议(MCP)
• 已知问题
• 配置窗口
• 贡献指南
  • 设置开发环境
  • 项目结构
• 参考资料

设置API密钥：

[!NOTE]
如果您仅在Claude应用中测试MCP功能，则无需设置API密钥。Anthropic密钥仅需用于Claude API。

对于编辑器：

将环境变量PS_<ORGNAME>设置为您自己的API密钥。

对于Windows：

setx PS_<ORGNAME> "your api key"

对于Linux/MacOS：

1. 在终端中运行以下命令，将yourkey替换为您的API密钥。

   echo "export PS_<ORGNAME>='yourkey'" >> ~/.zshrc
   

2. 更新shell以包含新变量：

   source ~/.zshrc
   

PS: 设置环境变量后，请记得重启编辑器和连接的IDE。

其中 <ORGNAME> 可以是： PS_OPENAIAPIKEY, PS_DEEPSEEKAPIKEY, PS_ANTHROPICAPIKEY, PS_METAAPIKEY, PS_GOOGLEAPIKEY 等。

对于打包的构建：

在打包的构建中存储API密钥存在安全风险。这是OpenAI API文档对此的说明：

"在浏览器或移动应用等客户端环境中暴露您的OpenAI API密钥，允许恶意用户获取该密钥并代表您进行请求——这可能导致意外费用或某些账户数据的泄露。请求应始终通过您自己的后端服务器路由，以便您可以安全地保存API密钥。"

了解更多详情 这里。

对于测试构建，您可以在C++或蓝图函数中调用GenSecureKey::SetGenAIApiKeyRuntime，并在打包的构建中传递您的API密钥。

设置MCP：

[!NOTE]
如果您的项目仅使用LLM API而未使用MCP，可以跳过此部分。

[!CAUTION]
声明：如果使用插件的MCP功能，它将直接让Claude桌面应用控制您的Unreal Engine项目。 请确保您了解安全风险，并仅在受控环境中使用。

在使用MCP功能之前，请备份您的项目，并使用版本控制来跟踪更改。

1. 安装以下任意一个客户端：

• 从 这里 安装Claude桌面应用。
• 从 这里 安装Cursor IDE。

2. 设置mcp配置json：

对于Claude桌面应用：

claude_desktop_config.json 文件位于Claude桌面应用的安装目录中。（可能需要询问Claude其在您平台上的位置！） 文件内容如下所示：

{
    "mcpServers": {
      "unreal-handshake": {
        "command": "python",
        "args": ["<your_project_directoy_path>/Plugins/GenerativeAISupport/Content/Python/mcp_server.py"],
        "env": {
          "UNREAL_HOST": "localhost",
          "UNREAL_PORT": "9877" 
        }
      }
    }
}

对于Cursor IDE：

.cursor/mcp.json 文件位于您的项目目录中。文件内容如下所示：

{
    "mcpServers": {
      "unreal-handshake": {
        "command": "python",
        "args": ["<your_project_directoy_path>/Plugins/GenerativeAISupport/Content/Python/mcp_server.py"],
        "env": {
          "UNREAL_HOST": "localhost",
          "UNREAL_PORT": "9877" 
        }
      }
    }
}

3. 通过pip或cv安装MCP[CLI]。

pip install mcp[cli]

4. 启用Unreal Engine中的Python插件。(编辑 -> 插件 -> Python编辑器脚本插件)

5. [可选] 启用编辑器打开时自动启动MCP服务器

<img src="Docs/Settings.png" width="782"/>

将插件添加到您的