各种SEO服务及搜索引擎蜘蛛大全
1、AhrefsBot
AhrefsBot是一个国外的搜索引擎蜘蛛。一个营销网站的爬取蜘蛛，负责分析网站的链接信息提供seo服务，这个工具对于国内用户来说没有用。
2、Dotbot&Rogerbot
Dotbot是Moz的web爬虫程序，它为Moz链接索引收集web数据。作用是提供seo服务的蜘蛛，通过Dotbot收集的这些数据可以在mozpro活动、linkexplorer和Moz Links API的Links部分找到。Dotbot不同于Rogerbot，Rogerbot是我们用于Moz Pro活动的站点审计爬虫。给中文站点带来流量的几率很小。
3、SemrushBot，这是semrush下面的一个蜘蛛，是一家做搜索引擎优化的公司，因此它抓取网页的目的就很明显了。这种蜘蛛对网站没有任何用处，好在它还遵循robots协议，因此可以直接在robots屏蔽。
3、MJ12bot，这是英国的一个搜索引擎蜘蛛，但是对中文站站点就没有用处了，遵循robots协议。
4、MegaIndex.ru，这是一个提供反向链接查询的网站的蜘蛛，因此它爬网站主要是分析链接，并没有什么作用。遵循robots协议。
5、BLEXBot, 这个是webmeup下面的蜘蛛，作用是收集网站上面的链接，对我们来说并没有用处。遵循robots协议
6、PetalBot华为的搜索引擎蜘蛛——花瓣蜘蛛。目前的情况来看，华为的PetalBot蜘蛛对我们的网站作用是不大，如果你的网站服务器性能比较差，这个PetalBot蜘蛛可能会拖慢你的网站速度，可以暂时屏蔽蜘蛛抓取。
7、Bytespider字节跳动的蜘蛛爬虫程序，现在很饥饿，爬取频繁，如果服务器配置不高也可以暂时屏蔽。