NewsCrawler

一、项目概述：给 Agent 一条 URL，直接拿到正文

NewsCrawler 是由 NanmiCoder 开发的开源多平台新闻与内容爬虫集合。它的核心理念极简而高效：给 Agent 一条 URL，直接拿到正文、图片和元数据；不启动浏览器，不把整页 DOM 塞进上下文。

与传统新闻爬虫不同，NewsCrawler 的首要产品是可迁移的 news-extractor Agent Skill——它将 12 个主流新闻与内容平台的抓取代码打包在一个自包含目录中，让 Codex、Claude Code 或其他支持 SKILL.md 的 Agent 在本地直接提取文章，返回统一的 JSON 或 Markdown 格式。

截至 2026 年 8 月，该项目在 GitHub 上已获得 488+ Stars 和 84 Forks，并持续获得更新维护。

二、支持的平台

NewsCrawler 支持 12 个主流新闻与内容平台：

此外，项目还提供了中国新闻站点专用 Skill（china-news-crawler），专门针对微信公众号、今日头条、网易新闻、搜狐新闻、腾讯新闻进行优化。

三、为什么选择 NewsCrawler？

3.1 核心优势

3.2 Token 效率：实测数据

NewsCrawler 最突出的价值在于大幅降低 AI Agent 处理新闻内容的 Token 消耗。2026 年 7 月 20 日，项目团队用一篇真实的 Detik News 文章做了对照测试：

结构化 JSON 从 59,788 tokens 降至 1,730 tokens，体积仅为浏览器 DOM 的 1/34.56。这意味着：

• 更低的 API 调用成本
• 更快的推理速度
• 把昂贵的模型上下文留给总结、检索、比较和判断

3.3 Agent工作流对比

四、安装与部署教程

4.1 方式一：Docker Compose（⭐ 推荐 — 一键部署）

系统要求：

• Docker >= 20.10
• Docker Compose >= 2.0
• 系统内存 >= 4GB（推荐）
• 磁盘空间 >= 5GB

步骤：

# 1. 克隆项目
git clone https://github.com/NanmiCoder/NewsCrawler.git
cd NewsCrawler

# 2. 一键启动所有服务
docker compose up -d

这将启动三个服务：

• Backend（FastAPI） — 端口 8000，提供新闻提取 API
• MCP Server — 端口 8765，提供 AI Agent 工具
• Frontend（Vue 3 + Nginx） — 端口 3000，提供 Web UI 界面

验证服务状态：

docker compose ps

期望输出显示三个服务均为 Up 状态。

访问服务：

• 前端界面：http://localhost:3000
• 后端 API 文档：http://localhost:8000/docs
• MCP 服务：http://localhost:8765/mcp

常用管理命令：

# 查看所有服务日志
docker compose logs -f

# 查看特定服务日志
docker compose logs -f backend

# 停止服务
docker compose down

# 代码更新后重新构建
docker compose up -d --build

4.2 方式二：Web UI（手动部署）

# 1. 安装 uv（极速 Python 包管理器）
curl -LsSf https://astral.sh/uv/install.sh | sh
# 或: pip install uv

# 2. 克隆项目
git clone https://github.com/NanmiCoder/NewsCrawler.git
cd NewsCrawler

# 3. 后续参照项目 README 完成依赖安装和启动

4.3 方式三：作为 Agent Skill 安装（适用于 Claude Code / Codex）

npx skills add NanmiCoder/NewsCrawler --skill news-extractor -g

或针对中国新闻站点：

npx skill4agent add nanmicoder/newscrawler china-news-crawler

五、使用建议

5.1 明确使用场景

NewsCrawler 最适合以下场景：

• AI 新闻聚合：为 AI 应用提供结构化的新闻数据输入
• 内容分析：批量抓取多平台文章进行舆情分析、趋势研究
• 大模型 RAG：为检索增强生成（RAG）系统提供高质量新闻语料
• 自动化内容创作：结合 AI 摘要、翻译、改写等能力构建内容流水线

5.2 注意反爬策略

⚠️ 重要提示：网站结构、登录策略和反爬规则会持续变化。遇到失败时，先确认 URL 形态、网络访问和 Cookie 要求，再检查对应的 Adapter。

建议：

• 合理设置请求间隔，避免对目标站点造成压力
• 遵守目标网站的 robots.txt 规则
• 关注项目更新，及时获取适配器修复

5.3 扩展与定制

NewsCrawler 采用模块化设计，各平台爬虫相互解耦。如需添加新平台或优化现有实现，可以：

1. 在 adapters 目录下创建新的平台适配器
2. 实现统一的 NewsItem 输出接口
3. 提交 Pull Request 回馈社区

5.4 数据持久化

Docker 部署时，提取的新闻数据默认保存在 ./data/ 目录。建议：

• 定期备份数据目录
• 如需长期存储，可配置外部数据库（如 MongoDB、Elasticsearch）

5.5 与 AI Agent 集成

NewsCrawler 原生支持 MCP（Model Context Protocol） ，可以无缝接入：

• Claude Desktop：通过 MCP 服务让 Claude 直接调用新闻提取能力
• Claude Code：在编程场景中快速获取新闻内容作为上下文
• 其他 MCP 兼容的 AI 工具：如 Cursor 等

六、总结

NewsCrawler 是一个面向 AI Agent 时代设计的新闻内容提取工具。它通过将 12 个主流平台的抓取逻辑封装为可迁移的 Agent Skill，解决了传统爬虫在 AI 工作流中的两大痛点：

1. Token 浪费：将 59,788 tokens 的 DOM 压缩至 1,730 tokens 的结构化 JSON
2. 重复劳动：让 Agent 不必每次重新理解站点结构，平台规则由 Adapter 维护、可测试、可复用

无论是通过 Docker 一键部署，还是作为 Agent Skill 直接集成，NewsCrawler 都为开发者提供了一条低成本、高效率的多平台新闻内容获取路径。