1. 请求
服务器看到匹配爬虫标记的客户端请求了具体路径。
人工智能爬虫目录
识别请求您网站的机器人，了解它们为何抓取，并查找每个爬虫可用的验证来源。
9 个已审核爬虫，来自 3 个提供商
OpenAI
OpenAI 针对模型训练、ChatGPT 搜索、用户触发的页面获取和广告系统发布了不同的爬虫。
Anthropic
Anthropic 会区分自动模型开发抓取、搜索发现以及由 Claude 用户触发的页面获取。
Perplexity
Perplexity 记录了一个自动搜索爬虫，以及用户通过其产品请求页面时使用的独立触发式获取器。
如何理解爬虫活动
2. 验证
如果提供商发布了网络证据，它可以增强身份置信度。
3. 结果
成功响应仍不能证明页面已被索引、引用或推荐。
在您自己的流量中查看这些爬虫
开始追踪哪些人工智能爬虫访问您的网站。