English | 简体中文 | 繁體中文

DOCOMO Sprider

DOCOMO Spider是日本最大的移动运营商之一NTT DoCoMo的网络爬虫程序。这个网络爬虫主要用于抓取和索引网页内容,以支持NTT DoCoMo的移动搜索引擎和其他相关服务。

DOCOMO Spider会定期访问网站上的页面,抓取其中的文本内容、链接等信息,并将这些信息存储在数据库中供搜索引擎使用。通过这种方式,用户可以在NTT DoCoMo的移动搜索引擎上搜索并访问相关的网页内容。

不过对于国内网站来说不会带来什么流量,可以选择robots.txt协议禁止。

User-agent: DOCOMO Sprider

Disallow: /

如果还是禁止不了,可以选择nginx规则禁止访问,如下:

if ($http_user_agent ~* "DOCOMO Sprider") {

 return 403;

}

补充纠错
上一蜘蛛: Teoma
下一蜘蛛: hubspot