舒适UI_大模型派对
项目介绍
Comfyui_llm_party旨在基于comfyui前端开发一套完整的节点，用于构建LLM工作流程。它允许用户快速方便地构建自己的LLM工作流程，并轻松将其集成到现有的图像工作流程中。
效果展示
https://github.com/user-attachments/assets/945493c0-92b3-4244-ba8f-0c4b2ad4eba6
项目概述
从最基本的LLM多工具调用、角色设置到快速构建自己的专属AI助手，再到行业特定词向量RAG和GraphRAG以实现行业知识库的本地化管理；从单个代理管道，到复杂代理-代理径向交互模式和环形交互模式的构建；从个人用户所需的接入其社交APP（QQ、飞书、Discord）需求，到流媒体工作者所需的一站式LLM+TTS+ComfyUI工作流程；从普通学生所需的第一个LLM应用的简单启动，到科研人员常用的各类参数调试界面、模型适配。这一切，您都可以在ComfyUI LLM Party中找到答案。
快速开始
- 如果您从未使用过ComfyUI，在安装ComfyUI中的LLM Party时遇到一些依赖问题，请点击这里下载包含LLM Party的Windows便携包。请注意，此便携包仅包含Party和Manager插件，并且仅适用于Windows操作系统。（如果您需要将LLM Party安装到已有的comfyui中，则可以跳过这一步。）
- 将以下工作流程拖入您的comfyui，然后使用comfyui-Manager安装缺失的节点。
- 使用API调用LLM：start_with_LLM_api
- 使用aisuite调用LLM：start_with_aisuite
- 使用ollama管理本地LLM：start_with_Ollama
- 在分布式格式下使用本地LLM：start_with_LLM_local
- 在GGUF格式下使用本地LLM：start_with_LLM_GGUF
- 在分布式格式下使用本地VLM：start_with_VLM_local（目前支持Llama-3.2-Vision/Qwen/Qwen2.5-VL/deepseek-ai/Janus-Pro。）
- 在GGUF格式下使用本地VLM：start_with_VLM_GGUF
- 利用API调用LLM生成SD提示和图像：start_with_VLM_API_for_SD
- 使用ollama调用minicpm生成SD提示和图像：start_with_ollama_minicpm_for_SD
- 使用本地qwen-vl生成SD提示和图像：start_with_qwen_vl_local_for_SD
- 如果您使用的是API，请填写您的
base_url（它可以是一个中继API，确保它以/v1/结尾），例如：https://api.openai.com/v1/和api_key在API LLM加载器节点中。 - 如果您使用的是ollama，请在API LLM加载器节点中打开
is_ollama选项，无需填写base_url和api_key。 - 如果您使用的是本地模型，请在本地模型加载器节点中填写您的模型路径，例如：
E:\model\Llama-3.2-1B-Instruct。您也可以在本地模型加载器节点中填写Huggingface模型仓库ID，例如：lllyasviel/omost-llama-3-8b-4bits。 - 由于该项目的使用门槛较高，即使您选择了快速开始，我也希望您能耐心阅读项目的主页。
最新更新
- LLM API节点现已实现了流式输出模式，将在控制台上实时显示API返回的文本，让您无需等待整个请求完成即可看到API的输出。
- LLM API节点增加了reasoning_content输出，可以自动分离R1模型的推理和响应。
- 仓库中新增了一个名为only_api的分支，仅包含API调用组件。这是为只需要API调用的用户设计的。要使用此分支，请在
comfyui的custom node文件夹中执行命令git clone -b only_api https://github.com/heshengtao/comfyui_LLM_party.git，然后按照项目主页提供的环境部署说明进行操作。请注意！必须确保custom node文件夹内没有其他名为comfyui_LLM_party的文件夹。 - VLM本地加载器节点现在支持deepseek-ai/Janus-Pro，示例工作流程：Janus-Pro。
- VLM本地加载器节点已经支持Qwen/Qwen2.5-VL-3B-Instruct，但您需要将transformer更新到最新版本（
pip install -U transformers），示例工作流程：qwen-vl。 - 新增了一个全新的图片托管节点，当前支持的图片托管服务有https://sm.ms（中国大陆区域域名为https://smms.app）和https://imgbb.com。未来将支持更多的图片托管服务。示例工作流程：[图片托管](workflow/图床.json)。
默认兼容的imgbb图片托管服务已更新至域名为imgbb。之前的图片托管服务因对中国大陆用户不友好而被替换。我真诚地道歉，因为看起来https://imgbb.io的图片托管API服务已被终止。因此，代码已恢复到原来的https://imgbb.com。感谢您的理解。在未来，我将更新一个支持更多图片托管服务的节点。- MCP工具已更新。您可以在party项目文件夹中的'mcp_config.json'文件中修改配置，连接到您想要的MCP服务器。您可以在modelcontextprotocol/servers中找到各种MCP服务器配置参数，您可以添加这些参数。此项目的默认配置是Everything服务器，这是一个测试MCP服务器的功能验证服务器。参考工作流程：start_with_MCP。开发者说明：MCP工具节点可以连接到您配置的MCP服务器，并将服务器上的工具转换为可以直接由LLM使用的工具。通过配置不同的本地或云端服务器，您可以体验世界上所有的LLM工具。
用户指南
视频教程
<a href="https://space.bilibili.com/26978344"> <img src="img/B.png" width="100" height="100" style="border-radius: 80%; overflow: hidden;" alt="octocat"/> </a> <a href="https://www.youtube.com/@comfyui-LLM-party"> <img src="img/YT.png" width="110" height="110" style="border-radius: 80%; overflow: hidden;" alt="octocat"/> </a>模型支持
- 支持所有OpenAI格式的API调用（结合oneapi可以调用几乎所有LLM API，也支持所有中转API），base_url选择参考config.ini.example，目前已测试如下：
- openai（完全兼容所有OpenAI模型，包括4o和o1系列！）
- ollama（推荐！如果您是本地调用，强烈建议使用ollama方法来托管您的本地模型！）
- Azure OpenAI
- llama.cpp（推荐！如果您想使用本地gguf格式模型，可以使用llama.cpp项目的API访问此项目！）
- Grok
- Tongyi Qianwen /qwen
- zhipu qingyan/glm
- deepseek
- kimi/moonshot
- doubao
- spark
- Gemini（原始的Gemini API LLM加载器节点已在新版中弃用。请使用LLM API加载器节点，base_url选择为：https://generativelanguage.googleapis.com/v1beta/openai/）
- 支持与aisuite兼容的所有API调用：
- 兼容transformer库中的大多数本地模型（本地LLM模型链节点中的模型类型已更改为LLM、VLM-GGUF和LLM-GGUF，分别对应直接加载LLM模型、加载VLM模型和加载GGUF格式的LLM模型）。如果您的VLM或GGUF格式的LLM模型报告错误，请从llama-cpp-python下载最新版本的llama-cpp-python。目前测试过的模型包括：
- ClosedCharacter/Peach-9B-8k-Roleplay（推荐！角色扮演模型）
- lllyasviel/omost-llama-3-8b-4bits（推荐！丰富的提示模型）
- meta-llama/llama-2-7b-chat-hf
- Qwen/Qwen2-7B-Instruct
- openbmb/MiniCPM-V-2_6-gguf
- lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF
- meta-llama/Llama-3.2-11B-Vision-Instruct
- Qwen/Qwen2.5-VL-3B-Instruct
- deepseek-ai/Janus-Pro
- 模型下载
下载
- 您可以在
config.ini中配置语言，目前只有中文（zh_CN）和英文（en_US），默认为您的系统语言。 - 使用以下任一方法进行安装：
方法1：
- 在comfyui manager中搜索comfyui_LLM_party并一键安装。
- 重启comfyui。
方法2：
- 导航到ComfyUI根文件夹下的
custom_nodes子文件夹。 - 使用
git clone https://github.com/heshengtao/comfyui_LLM_party.git克隆此存储库。
方法3：
- 点击右上角的
CODE。 - 点击
download zip。 - 将下载的压缩包解压到ComfyUI根文件夹下的
custom_nodes子文件夹中。
环境部署
- 导航到
comfyui_LLM_party项目文件夹。 - 在终端中输入
pip install -r requirements.txt以将项目所需的第三方库部署到comfyui环境中。请确保您是在comfyui环境中安装，并注意终端中的任何pip错误。 - 如果您使用的是comfyui启动器，您需要在终端中输入
path_in_launcher_configuration\python_embeded\python.exe -m pip install -r requirements.txt来安装。python_embeded文件夹通常与您的ComfyUI文件夹同级。 - 如果您有一些环境配置问题，可以尝试使用
requirements_fixed.txt中的依赖项。
配置
- 您可以在
config.ini中配置语言，目前只有中文（zh_CN）和英文（en_US），默认为您的系统语言。 - 在
config.ini中，您可以配置是否启用快速安装。fast_installed选项默认为False，如果您不需要使用GGUF模型，可以将其设置为True。 - APIKEY可以通过以下任一方法配置