一名男子正在用笔记本电脑输入谷歌搜索引擎

Rina7R@kelenson

Google 更改爬虫文档
Google 爬虫的所有技术文档最近都已完全重建。该文档更加详尽并提供更多信息。乍一看，结构上发生了变化，现在基本上缺少概述部分。然而，出现了三个新的、更详细的部分。

Google 爬虫是不断搜索互联网的自动机器人。据估计，它们可能占所有网络流量的四分之一。每个搜索引擎都有自己的机器人。最受欢迎的 Google 爬虫是Googlebot，它可以分析网页、监控网页更新、检查可访问性并参与索引过程。爬虫的工作原理是使用 11 和 2 等协议下载页面并分析其内容。爬虫向服务器发送  请求，接收页面数据并进行处理，包括解析 HTML、CSS、JavaScript 和其他资源，以了解页面的结构、链接和内容。该分析确定了爬虫访问网站的频率以及索引新网站的速度。爬虫的活动可以通过以下方式限制：通过 robotstxt 文件。

谷歌正在做出哪些改变？
谷歌的变更日志只提到了两项变更，但实际上还有更多变更。爬虫文档最重要 香港ws球迷 的变化包括：

改变文档结构，
为 GoogleProducer 爬虫添加更新编号，
添加有关如何编码内容的信息，
引入专门介绍爬虫技术特性的新部分。
技术特征部分包含全新的内容，这也可能解释决定进行更改的原因。很难指望谷歌改变其文档只是为了清理它并以更直观的方式呈现内容。虽然爬虫的工作方式没有改变，但将文档分成三个独立的主题页面使得 Google 能够在概述中提供更多信息，同时缩短主概述页面。

还有有关内容压缩的新信息，这在有关技术网站优化的讨论中尤为重要。 Google 的一份文档指出：“ Google 爬虫和获取器支持以下压缩方法：gzip、deflate 和 Brotli (br)。每个 Google 用户代理都会在随每个请求发送的 AcceptEncoding 标头中告知我们其支持的压缩方法。例如：“AcceptEncoding: gzip, deflate”。此外，还有关于在 11 和 2 协议中抓取的全新信息，以及 Google 的目标是在不增加网站服务器负担的情况下索引尽可能多的网页的声明。