DotBot蜘蛛是国外Moz旗下链接分析网站opensiteexplorer的,DotBot蜘蛛专门用来分析网站的外链数据。
DotBot蜘蛛有用吗?
DotBot蜘蛛主要还是给国外网站服务的,如果你的网站是做外贸的,那么DotBot蜘蛛对你的网站可能还有点用处,如果你的网站是中文网站,用户也主要是国内的,那么DotBot蜘蛛对你基本是没有用处的,也不要指望DotBot蜘蛛能够为你的网站带来流量,它对你来说就是一个垃圾蜘蛛。DotBot蜘蛛需要屏蔽吗?
DotBot蜘蛛的存在感其实比较低,一般对网站的影响也几乎没有,所以我们完全可以不用管它,它要抓取就让它抓取好了。如果你的网站服务器性能比较差,担心DotBot蜘蛛对你的速度产生负面影响,那么你可以选择把它屏蔽。DotBot蜘蛛屏蔽方法如下:
在你的网站robot.txt文件中添加如下内容User-agent: DotBot
Disallow: /