spider_178_383 发表于 2023-9-21 19:45:02

百度蜘蛛不来新网站怎么回事(百度蜘蛛不来)

<p>
<img image_type="1" img_height="361" img_width="500" mime_type="image/jpeg" src="https://p3-sign.toutiaoimg.com/18b1000326480b03e402~tplv-tt-origin-asy1:5aS05p2hQOeugOS4iuivu-S5pg==.image?_iz=58558&amp;from=article.pc_detail&amp;x-expires=1693833357&amp;x-signature=mbeNwBlweZh7GlkoYsQSPPl%2B1zw%3D" web_uri="18b1000326480b03e402"/>
</p><p>
    网站是服务用户的，一般情况下网站没有什么特别大的问题的话，用户都是可以访问的，但是有些情况下，网站我们是可以访问的，但是蜘蛛就是访问不了，这就是抓取异常。
   </p><p>
    那么抓取异常都有什么原因呢？该怎么解决？
   </p><p>
<strong>
   1.服务器的问题
    </strong>
</p><p>
    服务器不稳定的情况下会造成网站终端访问不了，无法链接。或者出现一直连接不上的情况，针对这种情况就只能换好的服务器了，千万不贪图小便宜，最终害了网站。
   </p><p>
<strong>
   2.运营商的问题
    </strong>
</p><p>
    国内正常情况下都使用的是电信和联通这两种，一般用的是双线服务，如果使用了单线服务造成的网站无法访问，那么最好升级国双线服务或者使用CND服务等方法解决。
   </p><p>
<strong>
   3.DNS异常
    </strong>
</p><p>
    当蜘蛛无法解析你网站的IP的时候，就会出现DNS异常或者DNS错误问题，可能是服务商把蜘蛛设置封禁了，或者网站IP的地址不正确造成的。可使用工具检查域名是否解析正确，如果不正确或者无法解析，那么联系域名商更新IP解决即可。
   </p><p>
<strong>
   4.禁止蜘蛛抓取
    </strong>
</p><p>
    这个就要看查看相关的代码设置，是否有禁止Baiduspider抓取设置，或者robots协议的设置问题等。
   </p><p>
<img image_type="1" img_height="367" img_width="500" mime_type="image/jpeg" src="https://p26-sign.toutiaoimg.com/191a00011aecba697127~tplv-tt-origin-asy1:5aS05p2hQOeugOS4iuivu-S5pg==.image?_iz=58558&amp;from=article.pc_detail&amp;x-expires=1693833357&amp;x-signature=QoqKX6Zz8aK5pImgNFE6PnKWm6Y%3D" web_uri="191a00011aecba697127"/>
</p><p>
<strong>
   5.UA封禁
    </strong>
</p><p>
    UA是用户代理（User-Agent），服务器通过UA识别访问者的身份，返回异常页面（如403，500）或跳转到其他页面的情况，即为UA封禁。
   </p><p>
    当网站不希望Baiduspider访问的时候，需要设置对应的访问权限。
   </p><p>
<strong>
   6.死链
    </strong>
</p><p>
    死链是网站中的无效页面，没有任何价值并且出现访问无效的情况。有协议死链和内容死链。
   </p><p>
    对于死链问题，通过采用404页面制作或统计好404页面向百度站长平台提交数据即可。
   </p><p>
<strong>
   7.异常跳转
    </strong>
</p><p>
    异常跳转也就是当前的无效页面比如死链、已经删除的页面通过301直接跳转到首页或相关目录页面的情况。
   </p><p>
    或者是跳转到出错、无效的页面上。
   </p><p>
    这些情况都需要重视。主要还是301协议的问题，没有必要的建议不要设置即可。
   </p><p>
<strong>
   8.其它情况
    </strong>
</p><p>
    a．JS代码问题，JS代码与搜索引擎并不友好，也不是重点识别的对象，如果JS代码蜘蛛识别不了，那么也会现问题异常。
   </p><p>
    ｂ.百度会根据网站的内容、规模、访问情况等自动设定一个合理的抓取压力。但是异常情况下，压力控制失常的话，会导致服务器负荷作出自我保护的突发性封禁情况。
   </p><p>
    蜘蛛在恢复正常情况后，继续来尝试抓取，一般情况下都会成功抓取的。
   </p><p>
    更多干货请关注简行自媒www.xin4jie.com 微信号：jwiseo
   </p>

NtsWi404472 发表于 2023-11-26 09:46:20

难得一见的好帖

kxSCh479884 发表于 2023-12-18 16:50:40

不错不错，楼主您辛苦了。。。

Dist6437813 发表于 2023-12-18 16:50:42

沙发！沙发！

cKESi39190 发表于 2023-12-20 20:14:59

路过，支持一下啦

ENkWO359592 发表于 2023-12-20 20:15:01

有点意思，谢谢楼主的无私分享！！！

280Fj985097 发表于 2023-12-20 20:15:04

看帖回帖是美德！:lol

sm6IS987563 发表于 2023-12-20 20:15:23

好帖，来顶下

hx6RC843008 发表于 2023-12-20 22:05:19

学习了，不错，讲得太有道理了

tc22b262025 发表于 2023-12-21 08:11:58

学习了，谢谢分享、、、
页: [1] 2 3
查看完整版本: 百度蜘蛛不来新网站怎么回事(百度蜘蛛不来)