ChatGPT专员099 发表于 2023-8-24 08:02:09

百度蜘蛛池原理图解大全(免费蜘蛛池)

<p data-track="1">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    最近帮一位徒弟搭建了蜘蛛池、本身蜘蛛稳定在3万左右了，可是好景不长、没2天蜘蛛量突然急剧下降，徒弟过来找我，说服务器非常慢，一看原来是运行堵塞，于是开始研究起来，并且解决问题。
   </span>
</p><p class="pgc-img-caption">
</p><p data-track="2">
<span style="color: #888888; --tt-darkmode-color: #888888;">
    运行堵塞
   </span>
</p><p data-track="3">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    我们在宝塔里，通过top指令，查看到占用CPU的是php，而php能让我想到的，肯定是有其他爬虫或是有人恶意访问我们的网站，频率非常高，从而使php不断工作，导致运行堵塞，通过查看网站日志，发现一些IP访问的频次非常的高，如下图:
   </span>
</p><p class="pgc-img-caption">
</p><p data-track="4">
<span style="color: #888888; --tt-darkmode-color: #888888;">
    日志
   </span>
</p><p data-track="5">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    真正导致服务器慢的原因，是因为这些IP不断访问页面，而PHP要不断解析页面，从而使PHP占用了CPU，导致了运行堵塞，既然我们知道了原理，我们就开始想办法屏蔽这些爬虫：
   </span>
</p><p data-track="6">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    1、从蜘蛛池的层面，因为目前用的是【某旋风】，我们直接禁止游客访问，如下图：
   </span>
</p><p class="pgc-img-caption">
</p><p data-track="7">
<span style="color: #888888; --tt-darkmode-color: #888888;">
    屏蔽游客访问
   </span>
</p><p data-track="8">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    通过游客访问屏蔽，着实快了不少，因为就算这些IP访问，我们也不用PHP解析页面给他，就不会影响服务器方面的性能。而且这样做的好处是，并不影响蜘蛛访问。
   </span>
</p><p data-track="9">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    2、从宝塔防火墙的层面屏蔽IP
   </span>
</p><p class="pgc-img-caption">
</p><p data-track="10">
<span style="color: #888888; --tt-darkmode-color: #888888;">
    Nginx防火墙
   </span>
</p><p data-track="11">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    Nginx防火墙提供IP/URL/UA屏蔽，根据本人实战的结果来讲，不建议用IP屏蔽，因为IP屏蔽的话，他们不仅是C段不同，前面的也会不同，治标不治本。
   </span>
</p><p data-track="12">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    通过日志，我们不难发现，他们的UA中基本就分为2类，一类带有Android，一类带有Dalvik，于是，我们把带有这两个字符串的UA屏蔽即可，如下图：
   </span>
</p><p class="pgc-img-caption">
</p><p data-track="13">
<span style="color: #888888; --tt-darkmode-color: #888888;">
    UA黑名单
   </span>
</p><p data-track="14">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    通过对UA的屏蔽，终于，我们的宝塔变绿了，运行也不卡了：
   </span>
</p><p class="pgc-img-caption">
</p><p data-track="15">
<span style="color: #888888; --tt-darkmode-color: #888888;">
    恢复
   </span>
</p><p class="pgc-img-caption">
</p><p data-track="16">
<span style="color: #888888; --tt-darkmode-color: #888888;">
    蜘蛛池
   </span>
</p><p data-track="17">
<span style="color: #000000; --tt-darkmode-color: #A3A3A3;">
    蜘蛛池也基本开始恢复，前2天掉蜘蛛，是因为蜘蛛来到显示502，或是无法打开页面，导致蜘蛛无法循环，从而掉了蜘蛛，
   </span>
</p>

Y7Qmf978520 发表于 2023-8-26 05:35:39

学习了，不错，讲得太有道理了

zjtZQ691765 发表于 2023-8-26 11:24:48

前排支持下

LFowE922072 发表于 2023-8-26 13:26:13

小手一抖，积分到手！

dmrHI444572 发表于 2024-2-18 11:47:40

好帖，来顶下

ythxw389058 发表于 2024-4-22 06:53:46

大佬牛逼，学习了

9AuMl356788 发表于 2024-5-13 21:10:20

这真是不错，顶给需要的人

ldql0407432 发表于 2024-5-26 02:23:49

谢谢楼主，共同发展

47I7512028 发表于 2024-5-26 02:33:42

好好 学习了 确实不错

H7hMT165981 发表于 2024-5-26 02:33:44

我是个凑数的。。。
页: [1] 2 3
查看完整版本: 百度蜘蛛池原理图解大全(免费蜘蛛池)