AhrefsBot :
AhrefsBot 是一个 Web 爬虫，为 Ahrefs 在线营销工具集的 12 万亿链接数据库提供支持。它不断抓取网络以使用新链接填充我们的数据库并检查以前找到的数据的状态，以便为我们的用户提供最全面和最新的数据。
Googlebot
谷歌的网页抓取机器人，类似于中国的Baiduspider（百度蜘蛛）Googlebot和Mediapartners-Google 是非常勤奋的机器人，如果他们影响到你服务器的承受力，你可以通过 robots.txt 文件加以制止。
YisouSpider
神马搜索根据网站规模、服务能力、页面质量、更新速度等因素决定对网站的访问频率。通常更新快、质量高的网站Yisouspider访问频率相对较高。如果您发现Yisouspider非正常抓取您的网站，请反馈给神马搜索，并请尽量给出Yisouspider的访问日志便于跟踪处理。
SemrushBot （类似 AhrefsBot ）
SemrushBot是SEMrush的服务器搜索蜘蛛，不过很多公司看到日志里有这个SemrushBot蜘蛛，中文是选择直接屏蔽掉，SEMrush是一个强大的、全面的在线营销竞争情报平台,其中包括SEO、PPC、社交媒体和视频广告研究。
BLEXBot (类似百度词条)
BLEXBot是urban dictionary的蜘蛛，是一个专供网友来发表对一些特殊的单词或短语的解释的网站。
Baiduspider (不用多解释大家都知道)
百度蜘蛛，是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
Bytespider （今日头条） Adsbot （访问广告链接）
为用户和广告客户提供优质的广告服务是我们的重要目标。为此，我们对审核及衡量目标网页质量的方式进行了改进。AdWords 系统会对广告客户的目标网页进行检索，以便于我们从整体上更好地把握 AdWords 广告的相关性和质量。
DotBot (属于moz)
Moz 是来自美国的一个软件开发公司，由 Rand Fishkin 和 Gillian Muessig 创立于 2004 年，现总部位于华盛顿州西雅图市。起初，该公司是一个咨询公司，于 2010 年转型为软件开发公司，其官方网站上有一个在线社区和一些与营销有关的工具。此外，在 SEO 工具箱这页中还有包括术语提取器（Term Extractor）等在内的多个 SEO 工具。
bingbot
bingbot是一种网络抓取机器人 (网络机器人（英语：internet bot）的一种)，由 Microsoft 部署以提供 Bing。它从网上收集文件以为 Bing 建立一个可搜索的索引。
360Spider （360公司，很懒的一个爬虫） YandexBot （俄罗斯引擎爬虫）
以上就是比较常见的搜索引擎机器人，当然如果网站只是需要国内的流量就屏蔽掉国外的搜索引擎机器人即可。
