MSNBot-Academic是微软公司的网络爬虫,用于收集和索引学术文献和研究内容。它是专门针对学术领域的搜索引擎蜘蛛,用于帮助用户在学术研究中查找相关信息。 MSNBot-Academic会定期访问学术网站和数据库,收录其中的学术论文、期刊文章等内容,并通过微软的学术搜索引擎展示给用户。
不过对于国内网站来说不会带来什么流量,可以选择robots.txt协议禁止。
User-agent: MSNBot-Academic
Disallow: /
如果还是禁止不了,可以选择nginx规则禁止访问,如下:
if ($http_user_agent ~* "MSNBot-Academic") {
return 403;
}