可以得出的结论
- OAI-AdsBot 请求了记录的页面。
- 您可以查看路径、时间和 HTTP 结果。
- OpenAI 发布了该爬虫专用的 IP 来源。
OAI-AdsBot 是与 OpenAI 广告系统相关的爬虫,而不是模型训练或搜索索引爬虫。
Talivia 将 OAI-AdsBot 归入“其他用途”,避免其请求被解释为训练、搜索或用户触发的回答获取。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbotTalivia 在规范化的 User-Agent 中查找稳定标记 OAI-AdsBot。
User-agent: OAI-AdsBot
Allow: /
# To block instead:
# Disallow: /使用 robots.txt 表达允许或阻止的抓取偏好。
当集成提供来自可信网络边界的来源 IP 时,Talivia 可以将其与提供商发布的范围进行比较。
查看官方来源在网站设置中开启收集。
从受信任的服务器或中间件发送最小事件。
查看页面、状态、趋势和验证置信度。
Talivia 首先匹配 OAI-AdsBot User-Agent 标记。当可信来源 IP 与提供商发布的范围匹配时,请求可获得更高的验证置信度。
在 robots.txt 中为 OAI-AdsBot 添加规则,并根据提供商的官方文档检查行为。robots.txt 表达抓取偏好,但不是访问控制或身份验证机制。
Talivia 保存主机名、清理后的路径、方法、User-Agent、可选状态码、分类和验证结果。它不会保存页面正文、Cookie、授权头、查询字符串或原始 IP 地址。
使用服务器端追踪开始记录真实请求。
添加您的网站