Microsoft Bing 将更多地依赖 XML 站点地图文件中的 lastmod 日期进行抓取


微软还发布了一些有关 XML 站点地图文件中 lastmod 日期的有趣统计数据。

Microsoft Bing 很快将更多地依赖您在 XML 站点地图中的 lastmod 字段中指定的日期进行抓取。Microsoft Bing 首席产品经理 Fabrice Canel表示,从 2023 年 6 月开始,Bing 将改进其“抓取调度堆栈,以更好地利用站点地图中“lastmod”标签提供的信息。”

lastmod 是什么。lastmod字段是您的 XML 站点地图文件中指定的页面的最后修改日期。它不一定是 URL 的创建日期,而是该页面最后修改的日期。

Bing 表示 lastmod 至关重要。微软 Bing 表示 lastmod 日期是“您可以包含在站点地图中的最关键标签之一”。该公司表示,它可以帮助 Bing 更有效地抓取内容,并将在未来帮助 Bing 抓取更多内容。Fabrice Canel 写道:“这将通过减少对未更改内容的不必要抓取并优先处理最近更新的内容来提高我们的抓取效率。”

再次强调,lastmod 抓取更改应在 2023 年 6 月之前全面生效。

Bing 如何使用 lastmod。Bing写道:“lastmod 标签用于指示站点地图链接的网页上次修改的时间。搜索引擎会使用此信息来确定抓取您网站的频率,并决定索引哪些页面以及忽略哪些页面。在您的站点地图中包含 lastmod 标签至关重要,因为它允许搜索引擎轻松确定页面的最后更新时间。如果没有它,搜索引擎可能会延迟抓取更新的内容或过度抓取您的网站,因为它们无法准确确定内容是否已被修改。”

Lastmod 使用情况统计。微软 Bing 还进行了一项研究,展示了 lastmod 字段在 XML 站点地图文件中的整个网络使用情况。以下是该日期的重点内容,请注意,这是基于 Bing 的抓取数据。

  • 58%的主机至少有一个XML站点地图。
    • 其中 84% 的站点地图都设置了 lastmod 属性。
      • 79%的lastmod值正确。
      • 18%的 lastmod 值设置不正确。
      • 3% 仅对部分 URL 具有 lastmod 值。
    • 其中 16% 的站点地图没有设置 lastmod 属性。
  • 42%的主机没有XML站点地图

他们发现的最大问题是 XML 站点地图中的 lastmod 日期与文件中列出的所有 URL 相同。这意味着 Bing 注意到 lastmod 字段的日期被设置为站点地图的生成日期,而不是内容修改日期。这当然是可能的,但与 XML 站点地图文件中列出的每个 URL 的情况非常不同。

changefreq 字段。Bing也像 Google 一样,大多会忽略 XML 站点地图中的 changefreq 字段。Google 过去曾表示,它会忽略 XML 站点地图文件中的 lastmod 日期,但后来表示他们确实会读取它,但可能并不完全信任它。当前文档称,Google“如果该值始终准确且可验证(例如通过与页面的最后修改进行比较),则会使用该值。”

IndexNow。此建议并非要取代微软的IndexNow 计划,Fabrice Canel 写道,他们“强烈建议采用IndexNow来即时通知搜索引擎您网站上的最新内容变化。”

我们为什么关心。展望未来,如果您还没有认真考虑过 XML 站点地图文件中的 lastmod 日期,那么现在您应该考虑了。通过这样做,您应该能够提高搜索引擎(尤其是 Bing)的抓取效率。这应该可以提高抓取速度,并可能提高索引和排名,以及您的服务器资源。


发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注