AI Crawl Weekly · 2026 年第 45 周
本站访问日志 · 完整自然周 · PDF 报告可下载
brand.com 编辑部 · 发布于 2026 年 11 月 10 日 · 阅读约 8 分钟
AI 与搜索爬虫，
正在访问哪些品牌？
从 846,846 次本站请求中，识别出 190,043 份被访问的品牌、公司与组织档案。我们把访问来源、具体档案与内容类型放在一起，观察品牌信息如何被爬虫访问。
每日爬虫请求
请求数 / 次 · 各日采用相同比例，零为基线
- 11/02周一1,833
- 11/03周二1,512
- 11/04周三283,047
- 11/05周四376,524
- 11/06周五38,309
- 11/07周六75,847
- 11/08周日69,774
统计窗口：11/02 00:00 至 11/09 00:00，结束时点不计入。
从请求规模，走到具体品牌与内容。
本期作为完整自然周的基线
记录始于 10 月 28 日，前一周缺少完整数据。本期不展示周环比，不把缺失时段计作零访问。
Who is visiting
Anthropic 占 74.71%，
不同公司的访问广度也不同。
请求量回答“来了多少次”，档案数回答“覆盖了多少内容”。两者应当分开比较。
全周请求来自谁？
面积按 846,846 次请求分配；前五家单列，其余十家合并
- Anthropic632,68074.71%
- Amazon78,1869.23%
- OpenAI69,1908.17%
- Google47,3545.59%
- Perplexity12,3011.45%
- 其他10家7,1350.84%
放大看其余来源：谁排在集中抓取之后？
上方环形图呈现全周来源占比。下图单独比较其余来源的 214,166 次请求，不含 Anthropic，条长采用从零起算的线性比例。
其余来源请求排行
不含 Anthropic，共 214,166 次请求；其余九家公司合并展示 · 线性比例，从零起算
查看各公司覆盖的独立档案数
| 来源 | 独立档案数（2xx 且匹配） |
|---|---|
| Anthropic | 189,178 |
| Amazon | 33,757 |
| 8,533 | |
| Perplexity | 3,734 |
| OpenAI | 1,562 |
同一档案可被多家公司访问，各公司的档案数不能相加作为全站覆盖总数。
Breadth & overlap
19 万份档案被访问，
其中五分之一获得多来源访问。
亚马逊、谷歌在请求量与访问来源数上均居前。档案按资料库标识去重，包含品牌、公司及组织。
档案的来源多样性
- 仅1家 149,351 (78.59%)
- 恰好2家 35,706 (18.79%)
- 至少3家 4,986 (2.62%)
热门档案 × 来源公司
● 本周记录到 2xx 访问 · 本周未记录到；仅展示请求量前十的档案
| 档案 | Anthropic | Amazon | OpenAI | Perplexity | Meta | Microsoft | ByteDance | Exa | Shape | 请求数 | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 亚马逊 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | 498 |
| 谷歌 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | 380 |
| 特斯拉 | ● | ● | ● | ● | ● | ● | ● | ● | · | ● | 309 |
| 三星 | ● | ● | ● | · | ● | · | ● | · | ● | ● | 293 |
| 苹果公司 | ● | ● | ● | ● | ● | ● | ● | ● | · | ● | 260 |
| 三星电子 | ● | ● | ● | · | ● | · | ● | · | · | ● | 232 |
| Amazon Web Services | ● | ● | ● | ● | ● | · | ● | · | · | ● | 204 |
| 环球音乐集团 | ● | ● | ● | · | ● | ● | ● | ● | · | ● | 197 |
| 微软 | ● | ● | ● | ● | ● | ● | ● | ● | · | ● | 193 |
| 脸书 | ● | ● | ● | ● | ● | · | ● | ● | ● | ● | 187 |
合并同一档案的不同路径写法及相关子页。三星与三星电子等条目，保留资料库中独立实体的关系。
188,317 份档案，本周首次出现在记录中
“首次观察到”不等于首次被 AI 发现；这一指标受到采集初期的明显影响。后续将跟踪这些档案是否再次被访问，以及是否出现更多来源。
What gets fetched
争议与事件内容，
合计获得 10.50 万次请求。
本周争议路径记录 59,566 次请求，近期事件路径记录 45,419 次。访问并不局限于档案主页面。
全站内容版图
矩形面积对应请求占比；较小类型的精确数值见下方细分图
其余21.90%的请求流向
不含上方主体路径；五类合计 185,453 次，包含失败响应 · 线性比例，从零起算
全站请求分为上方主体路径与图中五组，总计 846,846 次；此图保留从零起算的线性刻度。
本期专题：六个主要已分类行业
仅列六个行业；档案须匹配资料库且有 2xx 响应 · 线性比例，从零起算
行业分布还不能解释为行业偏好
已覆盖档案中 45.09% 归为“其他”或缺少分类；各行业在库档案基数也不同。当前仅描述分布，不推断偏好或因果关系。
Quality & next questions
错误率 0.122%，
错误请求几乎都指向不存在的页面。
1,034 次错误响应中，404 占约 99.42%。下一步应排查旧链接、路径写法和爬虫对不存在地址的尝试。
错误请求的组成
仅看 1,034 次错误响应，不是全站请求占比
全站响应状态
| HTTP 状态 | 含义 | 请求数 |
|---|---|---|
| 200 | 正常响应 | 845,705 |
| 308 | 重定向 | 106 |
| 304 | 未修改 | 1 |
| 404 | 未找到 | 1,028 |
| 403 | 禁止访问 | 6 |
错误定义为状态码 ≥400；非错误响应包含重定向，不能全部解释为内容已被读取。
阅读这份报告，需要记住三个边界
完整自然周：北京时间 11/02 00:00—11/09 00:00，结束时点不计入；前周数据不完整，本期没有周环比。
两种统计口径：全站包含失败请求；档案分析只计 2xx 且能匹配资料库的访问。
访问不等于引用：按 User-Agent 识别，未保存身份校验结果；不能据此推断训练采用或业务转化。
完整统计方法、未匹配记录与数据快照
采集与匹配：网站日志经识别、去重，排除 SEO 工具；GET、HEAD 均计入。档案匹配采用提取时的资料库，匹配档案请求共 747,883 次；另有 1,650 个未匹配路径键、涉及 4,101 次请求，未纳入档案与行业分析。
历史限制：记录始于北京时间 10/28 23:17。缺少周末在库总量快照，不计算全库覆盖率。行业归类采用当前资料，不是历史快照；首次记录不代表首次被发现。
数据快照：2026/11/10 12:21 左右提取。后续去重或资料修订可能导致历史统计小幅变化。
Explore Brand Wiki
从你的品牌开始，
查看已有档案与访问统计。
本报告把访问记录关联到具体档案。你可以继续查找品牌资料，并查看档案页上已有的爬虫访问统计；档案页为累计口径，与本周快照不同。