经过几年的测试,微软现在已经停止使用旧的 BingBot 用户代理。
微软的 Fabrice Canel 今早证实,新的 Bingbot 用户代理现已 100% 上线。新的 Bingbot 通常用于抓取 100% 的网站,除非出现问题,Bing必须回退到之前的 Bingbot 用户代理。
Bing 确认。Fabrice Canel 在 Twitter 上发帖称:“是的,今天 100% 确定。我们会在适当的情况下恢复使用以前的用户代理。”
他链接到了更新后的Bing 爬虫用户代理页面,该页面之前将此列为用户代理:
Mozilla/5.0(兼容;bingbot/2.0;+http://www.bing.com/bingbot.htm)
Mozilla/5.0 AppleWebKit/537.36(KHTML,如 Gecko;兼容;bingbot/2.0;+http://www. bing.com/bingbot.htm)Chrome/WXYZ Safari/537.36
Mozilla/5.0 (Linux;Android 6.0.1;Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML,如 Gecko) Chrome/WXYZ Mobile Safari/537.36 (兼容;bingbot/2.0;+http://www.bing.com/bingbot.htm)
新的用户代理记录如下:
Mozilla/5.0 AppleWebKit/537.36 (KHTML,类似 Gecko;兼容;bingbot/2.0;+http://www.bing.com/bingbot.htm) Chrome/
Mozilla/5.0(兼容;bingbot/2.0;+http://www.bing.com/bingbot.htm)
WXYZ Safari/537.36Mozilla/5.0 (Linux;Android 6.0.1;Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML,如 Gecko) Chrome/WXYZ Mobile Safari/537.36 (兼容;bingbot/2.0;+http://www.bing.com/bingbot.htm)
一些历史。2019 年,微软Bing 宣布了 新的 Bingbot 用户代理名称,该名称与其经久不衰的 Bingbot 抓取和渲染服务 更加契合 。然后在 2022 年 4 月,微软宣布更改BingBot 的名称,即用户代理名称更改。12 月,微软告诉我们,新的 Bingbot 用户代理将在 2023 年 1 月前 100% 上线。
旧用户代理。 微软表示,将在 2022 年秋季停止使用其历史用户代理。该用户代理如下所示:
Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)
新用户代理。Bing 将使用识别正在抓取您网站的特定 Microsoft Edge 版本的用户代理。以下是桌面和移动设备的格式:
桌面 – Mozilla/5.0 AppleWebKit/537.36(KHTML,如 Gecko;兼容;bingbot/2.0;+https://www.bing.com/bingbot.htm)Chrome/WXYZ Safari/537.36
移动 – Mozilla/5.0(Linux;Android 6.0.1;Nexus 5X Build/MMB29P)AppleWebKit/537.36(KHTML,如 Gecko)Chrome/WXYZ Mobile Safari/537.36(兼容;bingbot/2.0;+https://www.bing.com/bingbot.htm)
“WXYZ” 将被替换为 Bing 正在使用的最新 Microsoft Edge 版本,例如“100.0.4896.127”。
我们为什么关心。 自 2019 年宣布这一变化以来,您可能就应该做好了准备。但无论如何,如果您有任何针对 BingBot 的用户代理检测方法,此更改可能会影响您的网站。请务必测试您的网站以查看它是否支持新的用户代理。大多数网站可能不需要担心这一点,但如果您已经进行了任何高级机器人检测,则可能需要采取措施更新这些脚本。
看来,如果您没有做出必要的更改,那么 Bing 将使用旧的用户代理作为后备。