ChatGPT专员099 发表于 2023-8-24 19:11:05

百度蜘蛛ip大全下载安装手机版(百度蜘蛛抓取js)

<p data-track="1" style="text-indent: 2em;">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    搜索引擎蜘蛛会定期来抓取网站内容，以便收录网页，站长们是非常欢迎蜘蛛来爬的，但是却有人经常伪造蜘蛛IP进行恶意采集内容，还有很多DDOS攻击也会伪造成蜘蛛的User Agent来攻击，我查看过一位站长朋友被DDOS攻击的日志，里面大概20%的国外IP伪造成Googlebot来访问，这样会对我们的网站造成影响。我们必须要揪出这些假蜘蛛，拒绝他们访问网页，这时候我们只能通过IP来识别了，因为User-agent是可以伪造的，只有IP才能准确判断。
   </span>
</p><p class="pgc-img-caption">
</p><p data-track="2" style="text-indent: 2em;">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    下面是站长大本营最近收集的各大搜索引擎蜘蛛IP数据，数据没办法保证完全准确，因为搜索引擎官方是不公开IP段的，且IP都会变，我对比过多个数据和自己核验，下面的数据还是挺可靠的，有遗漏的下面还会有解决方案。
   </span>
</p><p data-track="3">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    百度蜘蛛IP段：
   </span>
</p><p data-track="4">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    61.135.0.0/16
    <br/>
    123.125.0.0/16
    <br/>
    111.206.0.0/16
    <br/>
    180.76.0.0/20
    <br/>
    180.149.128.0/19
    <br/>
    220.181.0.0/16
    <br/>
    36.110.128.0/17
    <br/>
    124.164.0.0/14
    <br/>
    116.179.0.0/16
    <br/>
    180.97.0.0/18
   </span>
</p><p data-track="5">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    Google中国蜘蛛IP段：
   </span>
</p><p data-track="6">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    203.208.32.0/19
    <br/>
    203.208.60.0/24
    <br/>
    74.125.0.0/16
    <br/>
    72.14.192.0/18
    <br/>
    64.233.160.0/19
    <br/>
    66.249.64.0/19
    <br/>
    66.102.0.0/20
    <br/>
    64.68.64.0/19
    <br/>
    66.249.90.0/24
    <br/>
    66.249.91.0/24
    <br/>
    66.249.92.0/24
   </span>
</p><p data-track="7">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    搜狗蜘蛛IP段：
   </span>
</p><p data-track="8">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    118.184.176.0/22
    <br/>
    123.180.0.0/14
    <br/>
    123.125.0.0/16
    <br/>
    61.135.0.0/16
    <br/>
    123.126.64.0/18
    <br/>
    111.202.0.0/16
    <br/>
    36.110.128.0/19
    <br/>
    220.181.0.0/16
    <br/>
    106.120.128.0/17
    <br/>
    49.7.0.0/18
    <br/>
    218.30.96.0/19
    <br/>
    106.38.0.0/16
    <br/>
    111.13.0.0/16
    <br/>
    58.250.0.0/16
    <br/>
    183.36.96.0/19
    <br/>
    49.7.64.0/18
    <br/>
    必应蜘蛛IP段：
   </span>
</p><p data-track="9">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    103.25.156.0/24
    <br/>
    111.221.16.0/20
    <br/>
    157.56.0.0/16
    <br/>
    199.30.16.0/20
    <br/>
    65.52.0.0/14
    <br/>
    13.64.0.0/11
    <br/>
    157.55.0.0/16
    <br/>
    207.46.0.0/16
    <br/>
    40.64.0.0/10
    <br/>
    52.224.0.0/11
    <br/>
    40.76.0.0/14
    <br/>
    40.80.0.0/12
    <br/>
    52.160.0.0/11
    <br/>
</span>
<br/>
</p><p data-track="10">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    360搜索蜘蛛IP段：（这是官方提供的，非常准确）
   </span>
</p><p data-track="11">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    180.153.0.0/16
    <br/>
    180.163.128.0/17
    <br/>
    42.224.0.0/12
   </span>
</p><p data-track="12">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    头条搜索蜘蛛IP段：
   </span>
</p><p data-track="13">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    110.249.201.0/24
    <br/>
    110.249.202.0/24
    <br/>
    111.225.148.0/24
    <br/>
    111.225.149.0/24
    <br/>
    220.243.135.0/24
    <br/>
    220.243.136.0/24
    <br/>
    111.224.0.0/14
    <br/>
    60.8.0.0/15
    <br/>
    110.240.0.0/12
    <br/>
    220.243.128.0/18
   </span>
</p><p data-track="14">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    神马搜索蜘蛛IP段：
   </span>
</p><p data-track="15">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    42.156.128.0/17
    <br/>
    42.120.128.0/17
    <br/>
    106.11.144.0/20
   </span>
</p><p data-track="17" style="text-indent: 2em;">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    以上IP段可能未来还会新增，而且新增的IP段我们也无法获取到，这时候我们就需要另外一种方案来核实了，那就是DNS反查，我们可以通过反查来访的蜘蛛IP，查到对应的域名地址即可核实。
   </span>
</p><p data-track="19" style="text-indent: 2em;">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    通过DNS反查IP用的是一种代码指令，不同的操作平台使用的指令也是不同的，比如：linux、windows、Mac OS这三个操作平台，使用的指令为host、nslookup、dig，查询的格式为：host ip（ip=ip地址）、nslookupip（ip=ip地址）、digip（ip=ip地址）。例如：host 111.222.XXX.XXX 或 nslookup 111.222.XXX.XXX 或 dig host 111.222.XXX.XXX，如果是用PHP可以使用 gethostbyaddr("IP")来获取，不同的蜘蛛IP对应的域名是不一样的，我们只要核实是哪家的蜘蛛就OK了。
   </span>
</p><p data-track="20">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    下面我把各大搜索引擎蜘蛛的域名分享下：
   </span>
</p><p data-track="21">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    百度蜘蛛IP对应的域名（例子）：baiduspider-116-179-32-216.crawl.baidu.com
   </span>
</p><p data-track="22">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    谷歌蜘蛛IP对应的域名（例子）：crawl-203-208-60-60.googlebot.com
   </span>
</p><p data-track="23">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    必应蜘蛛IP对应的域名（例子）：msnbot-40-77-167-2.search.msn.com
   </span>
</p><p data-track="24">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    搜狗蜘蛛IP对应的域名（例子）：sogouspider-123-126-113-79.crawl.sogou.com
   </span>
</p><p data-track="25">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    头条蜘蛛IP对应的域名（例子）：bytespider-111-225-149-71.crawl.bytedance.com
   </span>
</p><p data-track="26">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    神马蜘蛛IP对应的域名（例子）：shenmaspider-42-156-137-55.crawl.sm.cn
   </span>
</p><p data-track="27">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    360搜索官方说是禁止反查的，所以我们只用官方给出的IP段判断就OK了。
   </span>
</p><p data-track="28">
<span style="color: #333333; --tt-darkmode-color: #A3A3A3;">
    通过以上IP反查可以得到域名，判断域名是否是这些域名结尾就可以核实，这样我们在防御上就不会将搜索引擎蜘蛛误杀了。
   </span>
</p><p data-track="30">
   以后还会继续分享有价值的站长相关资源，感谢您的浏览！
</p>

mkyrN982402 发表于 2023-8-24 20:20:14

有点意思，谢谢楼主的无私分享！！！

W1DMU232094 发表于 2023-8-24 20:33:08

沙发！沙发！

ELvyf88766 发表于 2023-8-24 20:33:08

谢谢楼主，共同发展

1gUFg252567 发表于 2023-8-26 11:23:51

不错不错，楼主您辛苦了。。。

RVWSZ68749 发表于 2023-8-26 13:25:16

好好 学习了 确实不错

obTEB388535 发表于 2024-2-20 14:48:03

不错，支持下楼主

BBZNr531779 发表于 2024-2-20 14:52:33

学习了，不错，讲得太有道理了

1BUqy504737 发表于 2024-3-20 15:39:55

前排支持下

f4gql114516 发表于 2024-3-20 16:10:30

好帖，来顶下
页: [1] 2 3
查看完整版本: 百度蜘蛛ip大全下载安装手机版(百度蜘蛛抓取js)