您可以访问我们系列的第1部分，包括页面上的SEO概念，以及第2部分，解释必要的链接术语和相关的搜索引擎指令。
爬行
简单来说，“可抓取性”是指搜索引擎机器人（或像Googlebot这样的“机器人”）可以轻松地“抓取”网站进行索引页面的工作以构建搜索引擎结果页面（SERP）。
网站管理员和开发人员可以使用多种工具和最佳实践来优化搜索引擎机器人的网站 – 换句话说，最大限度地提高其可抓取性 – 以及最大限度地减少通常的抓取错误。网站可抓取性的最终目标是加快机器人抓取和索引单个页面的速度和准确性。
基本搜索引擎指令
用户代理是代表用户或程序及其相应的Web浏览器或身份（例如，Chrome，Internet Explorer，Firefox）的软件的通用术语。
Web开发人员和SEO使用用户代理切换器，在测试网站在被不同搜索引擎机器人抓取时的呈现方式时，会更改浏览器的用户代理（例如Chrome，Internet Explorer，Firefox）。更改浏览器的用户代理是一种通常为品牌“极客小队”保留的高级方法。
Web开发人员还可以应用大量用户代理和切换器来查看不同浏览器在移动设备上的工作方式。Web开发人员可以选择使用自定义用户代理; 对于更大，更复杂的网站，这是一种更常见的做法。
另一组搜索引擎指令以重定向为中心，将网页URL转发到新的网页地址，将网站访问者和搜索引擎机器人指向不同的网页。通常使用两种重定向：永久（301）和临时（302）。
- 301表示永久重定向，反映网页的HTTP（超文本传输协议）状态代码（HTTP状态代码在下面进一步讨论）。它是网页重定向的推荐方法，因为它将原始页面的大部分PageRank状态传递给新页面。
- 302表示临时重定向。它没有通过PageRank，通常不推荐。
错误和最佳实践
有几个常见且看似持久的问题会影响网站的性能，导致用户体验不佳。更典型的问题包括Web服务器故障，错误重定向，链接断开，页面速度慢，重复内容和多个URL。
幸运的是，网站管理员和开发人员可以采取对策来解决这些问题。在这里，我们定义了最常遇到的问题和阻止它们的最佳实践。
错误是HTTP响应状态代码，范围从1xx到5xx，表示对搜索查询的五类标准化响应。
最常见的是3xx重定向（前面描述），4xx客户端（网站所有者）错误，5xx服务器错误 和444无响应。
您很可能熟悉404未找到错误消息，该消息仅表示无法找到所请求的页面URL。这通常是链接断开或失效的结果。最佳做法是开发自定义404页面以向（可能是受挫的）搜索者显示，以非技术语言提供帮助或指导。
第二个常见的4xx错误是444无响应，表明服务器无法返回信息并关闭连接。这通常用于抵御恶意软件。
5xx服务器错误响应代码表示服务器知道错误，并且无法执行用户的请求。有18个5xx响应，范围从500内部服务器错误到504网关超时。
规范链接元素和规范HTTP标头：如果网页内容可以通过多个HTTP标头（URL）访问，具有在其他地方发布的联合内容，或者以其他方式重复，则建议使用规范化。规范化意味着为您的内容定义单个首选网页URL，从而整合并加强链接和排名信号，以提高搜索可见性。
有几种方法可以做到这一点，例如在HTTP标题中为可下载的白皮书和PDF 指定规范链接，所有这些都可以通过Google的网站站长帮助论坛找到。
了解我们自己的ContentIQ如何抓取您的网站以检测4xx和5xx错误，并指导您修复它们。
网站速度
网站速度是谷歌搜索排名算法的一个主要信号，搜索巨头继续通过其移动友好计划推动更快的互联网体验，鼓励网站管理员改善页面加载时间。虽然富媒体是一种可以接受的媒介，但重要的是要注意图像的大小和视频的 “庞大” ，因为它们可能会显着减慢上传时间。
站点地图
XML Sitemaps使用XML标记在文件中列出网站的Web页面，这些标记使用“可扩展标记语言”（即XML）模式详细说明了您网站的组织。建议最佳做法是向搜索引擎提交XML站点地图，以帮助搜索引擎机器人快速准确地抓取和索引站点的页面。您可以从BrightEdge博客上的文章中了解有关XML Sitemaps的更多信息。
资源和工具
对于SEO词汇表的目的，我们只是在如何优化您的网站以获取可抓取性方面。有几种资源可以进一步深入，包括BrightEdge的ContentIQ，Google网站管理员工具和网站站长中心帮助论坛。
我们希望您已经发现我们对基本SEO概念的介绍很有帮助！我们是北京EO优化，希望我们分享的所有文章对您有帮助，也能让您了解到我们的服务，如果有什么需要可以联系我们。
