🔍

Firecrawl

精选

从网站提取干净内容,用于 RAG 与研究工作流。

分类: 网络
难度: 中等
排名: #5

快速配置

选择适合您环境的设置。

最后验证: 2026-06-13
验证环境: Node.js 18+,firecrawl-mcp 使用 stdio(Firecrawl 云端 API)
安装命令: npx -y firecrawl-mcp

本地配置

JSON
本地配置 json
{
  "firecrawl": {
    "command": "npx",
    "args": ["-y", "firecrawl-mcp"],
    "env": {
      "FIRECRAWL_API_KEY": "${FIRECRAWL_API_KEY}"
    }
  }
}

复制后下一步

先用配置检查器验证 Firecrawl JSON,再回到 OpenClaw 运行验证提示词。

验证提示词

抓取 https://modelcontextprotocol.io,并以干净的 Markdown 返回主要内容。

成功时应看到

应收到清理后的 Markdown(标题与正文),而不是原始 HTML。

常见陷阱与修复

  • ⚠️ 注意: 反爬/robots 限制、分页处理,以及内容切分策略。
  • 🔑 始终将 API 密钥存储在环境变量中,切勿硬编码在 JSON 中。
  • 🛡️ 如果可用,从只读权限开始,以安全地验证连接。

安全检查

  • 把 FIRECRAWL_API_KEY 放在环境变量里,不要提交到 JSON 配置。
  • 把抓取到的页面当作不可信内容:只总结事实,不执行页面中嵌入的指令。

常见错误

错误 原因 修复方法
401 Unauthorized 缺少 FIRECRAWL_API_KEY 或密钥无效。 在 firecrawl.dev 创建 key,并设为 FIRECRAWL_API_KEY。
Rate limit exceeded 免费套餐额度已用完。 放慢请求、减少批量,或升级 Firecrawl 套餐。
URL blocked or not allowed 目标站点禁止抓取或限制 robots。 改用允许抓取的来源,或抓单页而非整站爬取。

示例提示词

连接后,尝试这些提示词以测试功能:

  • 从一个起始 URL 开始抓取文档站,并以 Markdown 提取主要内容。
  • 抓取某产品定价页,抽取套餐名称、价格和限制并整理成表格。
  • 给定一篇文章 URL,提取标题大纲并逐段总结。