爬虫蜘蛛User Agent

User Agent：是代表访客身份的字符串标识符，简称：UA，中文译名：用户代理。

网络爬虫蜘蛛User Agent大全，收集整理了当今互联网上常见的搜索引擎蜘蛛UA标识和非恶意的或有恶意意图的网络爬虫UA标识。一般情况下，参考这些User Agent标识符，可以判断访客身份，然后可以根据实际需求屏蔽无用的、甚至是有害的爬虫蜘蛛。这样能保证SEO优化不受影响的同时，还能确保服务器的性能、安全等不受干扰。

不一定准确，User Agent是可以被伪造的。但是，对于正常的网络爬虫、蜘蛛，它们一般都会使用自己特有的UA标识，不会刻意去伪造另一个，搜索引擎蜘蛛和网络爬虫的User Agent标识信息一般只可能被别有用心的黑客、攻击者用来做伪装，所以User-Agent不应作为唯一的判定依据。

我们一般都应该将那些有“流氓”行为的采集爬虫或蜘蛛拒之门外，屏蔽拦截网络爬虫的方法很多，建议使用以下两种方法：

1、使用使用robots.txt文件阻止不友好的网络爬虫

robots.txt是爬虫协议文件，可以“拒绝”或“允许”网络爬虫进来，但前提是爬虫必须遵守robots协议。事实上不是所有爬虫的遵守协议的，表面上都声称自己的爬虫遵守协议，实则有可能并非如此。所以这个方法，只适合应对遵守约定的“真君子”。

2、根据User Agent来阻止不友好的网络爬虫

可以在Linux或者Apache下配置拦截规则，例如阻拦User Agent为空的以及DotBot、Spawning-AI：

#根据user-Agent反爬虫
if ($http_user_agent ~* "^$|Spawning-AI|DotBot") {
    rewrite "^/(.*)$" /error/403.php last;
}
                    

也可以使用动态语言脚本实现反爬虫的功能，例如使用PHP：

$UA = $_SERVER['HTTP_USER_AGENT'];
if(preg_match('[MJ12bot|Scrapy]i', $UA)){
    die('403');
}