五分钟够。打开 CDX 索引服务，用 你的域名.com/* 查 Common Crawl 最新批次就行。返回里如果出现带 url、timestamp、status、filename 的 JSON 行，说明 CCBot 在那次月快照里抓到过你的页面。结果是空的？说明那个批次里没有你，属于上游可见度问题，改标题、加内链解决不了。
约 60 秒演示：curl 查最新 CDX 索引、读 JSON、看懂「无结果」；旁白全文在字幕文件。
先记住这几条
Common Crawl 不是 Google 收录，也证明不了「GPT 训练过我的首页」。但它是你不需要厂商配合、就能自己查的第一道门。
- Mozilla Roots 研究 显示，多数主流 LLM 用过经筛选的 Common Crawl 衍生语料。Derivatex 的合规解读 引过 Mozilla 数据：GPT-3 超过 80% 训练 token 来自过滤后的 CC 档案。
- 自查靠 CDX API。先从 collinfo.json 拿最新批次（比如
CC-MAIN-2026-25），再跑：curl "https://index.commoncrawl.org/CC-MAIN-2026-25-index?url=你的域名.com/*&output=json" | head。我们 2026 年 7 月测过：docusign.com有多条status:200；convertos.ai同一批次无捕获，正好当排查负例。 - 「在 CC 里」和「进了模型」是两回事。原始快照还要过 C4、FineWeb、Dolma、万卷 CC 等管线。Podrez 的说明 写过，FineWeb-Edu 质量过滤会刷掉约 92% 的 CC 数据。索引里有你，只表示有资格往下游走，不等于已被训练。
robots.txt里的CCBot是总开关。User-agent: CCBot配Disallow: /就等于主动退出 Common Crawl。纽约时报、Reddit 这么干是有意的；增长和 GEO 团队别把它当误配置，要写进策略文档。- CC 过关之后，再测 live 引用。上游正常了，用 免费 AI 可见度快照 看品牌在 ChatGPT、Perplexity 等回答里有没有被点到。
图：从 CCBot 抓取到过滤语料再到预训练。「在 CC」只是中间一步。
什么是 Common Crawl 训练数据自查？
说白了，就是查你的网站有没有进 Common Crawl 每月发布的 WARC 网页档案。很多 LLM 训练集从这里起步。你问的不是「OpenAI 有没有拿我的首页去训练」（没人公开这种清单），而是：CCBot 抓到了吗？写进公开快照了吗？ 进了 CC 衍生语料，这是必要条件，够不够用还得看后面的过滤。
Promptly Found 对 2026 年 AI 可见度实地指南的解读 把这件事放在 GEO 最上游：RAG、结构化数据、外链都排在后面，爬虫得先碰到页面。快照里没有你，后面不用急着谈。
| 术语 | 通俗解释 | 自查能证明什么 |
|---|---|---|
| Common Crawl | 非营利机构大约每两月一次的全网抓取，数据免费开放 | 某批次里有没有你的 URL |
| CCBot | Common Crawl 爬虫 UA | robots 和服务器放不放行 |
| CDX 索引 | URL 到 WARC 记录的查询表 | 不用下 PB 级数据也能定位 |
| WARC | 网页档案容器 | JSON 里 filename 指向真实存档 |
| 过滤语料库 | FineWeb、C4 等清洗后的子集 | 不能单靠 CDX 查询证实 |
| LLM 预训练 | 用 token 训练基座模型 | 闭源模型无法逐站证实 |
做 B2B SaaS、内容站、电商的同行，常拿它当「AI 数据足迹」基线：可重复、不依赖厂商内参。和技术 SEO 是两套系统，完全可能出现 Google 有收录、CC 某批次没有，或者反过来。
在 Convertos 的 GEO 专题 里，可以把它当第 0 层：抓取资格 → 语料资格（推断）→ live 回答引用 → AI 来源点击与转化。
Common Crawl 到 LLM 是怎么串起来的？
Common Crawl 大约每月发一个新批次，名字像 CC-MAIN-2026-25。CCBot 按 robots 规则抓一部分 URL（不是整站镜像），写入 WARC，再通过 CDX 索引对外查询。官方 CDXJ 文档 支持网页界面、curl、Python cdx_toolkit 三种用法。
图：index.commoncrawl.org 官方界面（保留页面原有标识）。选批次，输入 域名.com/* 搜索。
链路五步
- 抓取。 CCBot 请求 robots 允许的 URL。
- 归档。 响应写入 AWS 开放数据集上的 WARC。
- 索引。 CDX 行记下
url、timestamp、status、mime、filename。 - 过滤。 语言、质量、去重、安全分类（参见 FineWeb 构建流程）。
- 训练。 厂商把 CC 衍生文本和书籍、代码、自有数据混在一起用。
你的自查只覆盖前 3 步。第 4、5 步对闭源模型是黑箱，所以对外只能说「可能具备语料资格」，别喊「已被训练」。
JSON 字段怎么读
2026 年 7 月我们查 docusign.com，拿到过类似这样一行：
{"url": "https://www.docusign.com/", "timestamp": "20260607080852", "status": "200", "mime": "text/html", "filename": "crawl-data/CC-MAIN-2026-25/segments/.../warc/....warc.gz"}| 字段 | 含义 |
|---|---|
timestamp |
UTC 抓取时间 YYYYMMDDHHMMSS |
status |
当时 HTTP 状态（200 表示成功抓到页面） |
mime |
内容类型 |
filename |
WARC 路径，可证明已存档 |
languages |
有则参考语种 |
至少查最近三个批次，别只查一次。新站、刚放开 CCBot、刚改 CDN 规则，都可能要到下一批才露面。
5 分钟 Common Crawl 自查清单
打算花钱改「AI 训练可见度」文案之前，先把这张表跑完。有终端、能打开 robots.txt，全程大约五分钟。
| 步骤 | 操作 | 通过 | 未通过 |
|---|---|---|---|
| 1 | 打开 https://你的站.com/robots.txt |
未屏蔽 CCBot，或屏蔽已记录为策略 | CCBot + Disallow: / |
| 2 | 取最新批次 ID | curl -s https://index.commoncrawl.org/collinfo.json 有结果 |
索引服务不可达 |
| 3 | 查域名（最新批） | 关键 URL 有 status:200 的 JSON |
No Captures found 或空 |
| 4 | 再查前两个批次 | 至少一批有首页或 /blog/ |
连续三月全无 |
| 5 | 查 CDN/WAF | CCBot 未被单独拦截 | 仅 CCBot 403 |
| 6 | 记入表格 | 有 crawl ID、URL 数、样例 | 无基线无法复测 |
可直接复制的命令
把 你的域名.com 和批次 ID 换成步骤 2 里看到的值：
curl -s "https://index.commoncrawl.org/collinfo.json" | python3 -m json.tool | head -30
curl -s "https://index.commoncrawl.org/CC-MAIN-2026-25-index?url=你的域名.com/*&output=json" | head -20
curl -s "https://index.commoncrawl.org/CC-MAIN-2026-25-index?url=你的域名.com/&output=json&limit=5"
图：社媒上的技巧和官方 CDX 流程一致，都是查 域名.com/*、读 JSON 行。
零结果时按这个顺序排查
- robots。 去掉误加的 CCBot 屏蔽；合规必须屏蔽就写进文档。
- 服务器日志。 搜
CCBot，看有没有 403/503。 - CDN 机器人规则。 Cloudflare 等「已验证爬虫」列表有时不含 CCBot。
- 站龄。 新域名可能要等下一批月度抓取。
- 30–45 天后复测。 CC 不会每天把整站重爬一遍。
还关心 GPTBot、ClaudeBot、PerplexityBot 的话，可以配合 Convertos 工具箱 的 robots 校验，和手工检查一起做。
如何衡量与复测
把 Common Crawl 当基础设施监控，别查一次就发朋友圈。
| 指标 | 定义 | 频率 | 工具 |
|---|---|---|---|
| CC 捕获率 | 重点 URL 在最近 3 批中至少 1 次 200 的比例 |
每月 | CDX 脚本 |
| 抓取新鲜度 | 首页最新 timestamp |
每月 | CDX |
| robots 漂移 | CCBot 规则意外变更 | 每周 | robots diff |
| 深度覆盖 | 博客/文档 URL 与 sitemap 优先级对比 | 每季 | CDX + sitemap |
| 负面状态 | CDX 中 403/5xx 行 |
每月 | status 字段 |
| 下游代理 | 品牌在 AI 回答中出现率 | 双周 | 可见度检测 |
评分（0–100）
| 分数 | 标准 |
|---|---|
| 80–100 | 首页 + 核心产品/文档在 3/3 最近批次；CCBot 放行；无 WAF 专拦 |
| 50–79 | 首页在 ≥2 批；部分栏目缺失（如 /pricing/） |
| 20–49 | 零散 URL 或仅重定向 |
| 0–19 | 连续三批零捕获，或刻意屏蔽 CCBot |
索引服务说明 提醒过，别用 API 做整 TLD 批量查询；大规模分析走 Columnar Index 离线下载。
CC 分数稳了，再把时间花在 GEO 工作流 的引用和来源点击上。训练语料资格和 live 回答可见度有关，但不是同一个 KPI。
常见误区与纠正
| 误区 | 为什么误导 | 正确做法 |
|---|---|---|
| 「没 JSON = SEO 废了」 | CC 只抽样本；单批没有 ≠ Google 掉收录 | 查 3 个批次 + Search Console |
| 「有 JSON = ChatGPT 认识我」 | 过滤管线会丢掉绝大多数页面 | 加 live prompt 测试 |
| 只查首页 | CC 可能抓到 /blog/ 却没抓到 / |
查 域名.com/* 和 Top 20 URL |
| 用过期批次 ID | 老索引会下线 | 先读 collinfo.json |
| 忽略 301/404 行 | CDX 也存非 200 | 脚本里筛 status:200 |
| 为「安全」屏蔽 CCBot | 等于主动退出 CC | 安全策略与 GEO 策略分开文档化 |
API 批量查 *.com |
违反索引服务公平使用 | 用 Columnar Index 离线分析 |
| 以为每天重爬 | CC 约月度发布 | 按新批次发布节奏复测 |
真实负例：convertos.ai 在 CC-MAIN-2026-25
2026 年 7 月我们 live 查过，最新批次里 convertos.ai 无捕获，docusign.com 有多条记录。这不说明 Convertos SEO 差，只说明那个月快照还没扫到我们。该做的：盯 robots、等后续批次、优先让想进公开语料的页面可被 CCBot 抓到。
Podrez 的文章 也提过类似分寸：单个 URL 单批缺席，推不出「AI 完全看不见你」；多批、多重点 URL 全空，就得当红灯。
FAQ
下面这些是搜索框和社群里常问到的（含 Chris Nectiv 在 X 上流传的技巧帖）。
怎么查网站有没有进 Common Crawl？
打开 CDX 索引，查 你的域名.com/*。status: 200 的行表示该批已归档。
进了 Common Crawl 就等于训练了大模型吗？
不等于。厂商不公开逐域清单。CC 只说明公开抓取这一关过了；过滤语料仍可能把你的页面刷掉（见 Derivatex 解读）。
robots.txt 里的 CCBot 是什么？
Common Crawl 官方爬虫。Disallow: / 会退出后续 CC 快照；出版社出于版权策略刻意屏蔽也常见。
Common Crawl 和 Google 收录是一回事吗？
不是。Google 用自己的爬虫做搜索和 AI Overviews。Google 有排名、CC 某批没有，或者反过来，都正常。
Common Crawl 多久爬一次？
大约每月一个新批次，但每批只抓部分 URL，不是整站镜像。具体日期看 collinfo.json。
被抓进 CC 后还能删除吗？
政策和联系方式在 commoncrawl.org。用 robots 预防，通常比事后移除省事。
CC 自查通过后下一步做什么？
用核心业务 prompt 测 live AI 引用，补高价值 URL 的引用缺口，对关键页跑一遍 技术审核（结构化数据、可抓取性）。