<div align="center"> <p align="center"> <a href="https://brightdata.com/"> <img src="https://mintlify.s3.us-west-1.amazonaws.com/brightdata/logo/light.svg" width="300" alt="Bright Data Logo"> </a> </p>

基于AI的文章生成器

一个智能内容工具，从Google抓取数据，使用Bright Data MCP提取实时网络数据，并利用AI生成基于实时研究的文章。

<img src="https://img.shields.io/badge/python-3.8+-blue" /> <img src="https://img.shields.io/badge/Node.js-18+-success" /> <img src="https://img.shields.io/badge/License-MIT-blue" />

<img src="https://gips3.baidu.com/it/u=937212926,2458063543&fm=3081&app=3081&f=GIF?w=800&h=423" /> </div>

---

功能

• 🔍 搜索结果页面抓取：自动从Google搜索结果中提取相关网址
• 📄 内容提取：使用Bright Data MCP工具从网页中抓取并清理内容
• 🧠 AI分析：使用OpenAI嵌入和向量相似性搜索处理内容
• ✍️ 内容生成：使用LangChain和OpenAI创建文章大纲或全文
• 📊 研究指标：查看抓取内容的详细分析和识别的主题

预备条件

• Python 3.8+
• OpenAI API密钥
• Bright Data API令牌
• Node.js（用于MCP工具）

安装

1. 克隆仓库

   git clone <repository-url>
   cd article-generator
   

2. 安装Python依赖项

   pip install -r requirements.txt
   

3. 安装Node.js MCP工具

   npx @brightdata/mcp
   

4. 设置环境变量

   在项目根目录创建一个.env文件：

   OPENAI_API_KEY=your_openai_api_key_here
   BRIGHT_DATA_API_TOKEN=your_bright_data_api_token_here
   WEB_UNLOCKER_ZONE=your_web_unlocker_zone_here
   BROWSER_ZONE=your_browser_zone_here
   

使用方法

1. 启动应用程序

   streamlit run article_generator.py
   

2. 打开浏览器

   应用程序将在http://localhost:8501自动打开

3. 生成内容

   • 输入你的研究关键词（例如，“医疗保健中的人工智能”）
   • 在侧边栏配置设置：
     • 最大抓取源数量（5-20）
     • 输出类型（文章大纲或全文）
     • 全文的目标字数（800-3000）
   • 点击“🚀 生成内容”

工作原理

1. 搜索：抓取Google搜索结果中的关键词
2. 提取：下载并清理相关网页的内容
3. 分析：使用AI嵌入来识别关键主题和见解
4. 生成：根据研究分析创建结构化内容

配置

侧边栏选项

• 最大源数量：要抓取的网页数量（5-20）
• 输出类型：选择文章大纲或全文
• 目标字数：全文的目标长度（800-3000字）

环境变量

• OPENAI_API_KEY：用于内容生成的OpenAI API密钥
• BRIGHT_DATA_API_TOKEN：用于网络抓取的Bright Data API令牌
• WEB_UNLOCKER_ZONE：Bright Data网页解锁区（默认：mcp_unlocker）
• BROWSER_ZONE：Bright Data浏览器区（默认：scraping_browser1）

输出特性

• 研究指标：查看来源数量、内容片段、总字数和平均片段大小
• 主题分析：查看识别的关键主题及其样本见解和来源参考
• 生成内容：接收markdown格式的文章或大纲
• 下载选项：保存生成的内容为markdown文件

故障排除

• 确保所有API密钥在.env文件中正确设置
• 检查Node.js和Bright Data MCP工具是否正确安装
• 验证网络连接以确保网络抓取功能正常
• 确保OpenAI API有足够的信用额度

许可

本项目仅供教育和研究用途。 </中文翻译>