欢迎进入广州凡科互联网科技有限公司网站
全国服务热线
4000-399-000
怎样分辨IP不是是百度搜索搜索引擎蜘蛛
时间: 2020-11-22 13:27 浏览次数:
网站网站站长常常会出现那样的苦恼:查询网络服务器系统日志时,常常发觉许多IP经常爬取网站,但又不确定性是不是是百度搜索的搜索引擎蜘蛛。下边,网站工作中室依据百度搜索
网站网站站长常常会出现那样的苦恼:查询网络服务器系统日志时,常常发觉许多IP经常爬取网站,但又不确定性是不是是百度搜索的搜索引擎蜘蛛。
下边,网站工作中室依据百度搜索官方网的表述做一下普及化。
最先,百度搜索搜索引擎蜘蛛的User-Agent非常容易分辨,仅有带BaiduSpider字眼的UA才算是百度搜索搜索引擎蜘蛛,不然必定并不是。 次之,User-Agent包括BaiduSpider都不一定便是百度搜索搜索引擎蜘蛛,将会有仿冒的状况。怎样鉴别仿冒,方式以下。 1. 在Windows服务平台下,根据"cmd"指令提醒符运作“nslookup IP详细地址” 查询服务器名的方法查询:
c:\users\Jason\nslookup 123.125.66.120
网络服务器: 
Address: 114.114.114.114
名字: baiduspider-123-125-66-120.
Address: 123.125.66.120
能看出服务器名(末尾。
2. 在Linux服务平台下,根据“host IP详细地址”指令查询服务器名。
$ host 123.125.66.120 
120.66.125.123.in-addr.arpa domain name pointer 
baiduspider-123-125-66-120..
末尾。 或baidu.jp,那麼能够判断为仿冒百度搜索搜索引擎蜘蛛。
大量百度搜索搜索引擎蜘蛛有关的专业知识请查询:wiki/161



Copyright © 广州凡科互联网科技有限公司 版权所有 粤ICP备10235580号
全国服务电话:4000-399-000   传真:021-45545458
公司地址:广州市海珠区工业大道北67号凤凰创意园