ChatGPT专员099 发表于 2023-8-24 09:03:04

百度蜘蛛ip反查工具在哪里(如何识别百度蜘蛛)

<p>
<br/>
</p><p>
   大家好，我是润森
</p><p>
   网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。（来源： 百度百科）
</p><p>
   Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
</p><p>
   robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。（来源： 百度百科）
</p><p>
   目标：爬取百度的图片，并保存电脑中
</p><p>
   首先数据是否公开？能不能下载？
</p><p class="pgc-img-caption">
</p><p>
   从图中可以看出，百度的图片是完全可以下载，说明了图片可以爬取
</p><p>
   首先，明白图片是什么？
</p><p>
    ?
   </p><p>
    有形式的事物，我们看到的，是图画、照片、拓片等的统称。图是技术制图中的基础术语，指用点、线、符号、文字和数字等描绘事物几何特征、形态、位置及大小的一种形式。随着数字采集技术和信号处理理论的发展，越来越多的图片以数字形式存储。
   </p><p>
    ”
   </p><p>
   然后需要图片在哪里？
</p><p>
    ?
   </p><p>
    图片是在云服务器的数据库中的保存起来的
   </p><p>
    ”
   </p><p>
   每张图片都有对应的url，通过requests模块来发起请求，在用文件的wb+方式来保存起来
</p><p>
    ?
   </p><p>
    但是有谁为了爬一张图片去写代码，还不如直接去下载 。爬虫是目的就是为了达到批量下载的目的，这才是真正的爬虫
   </p><p>
    ”
   </p><p>
   首先了解json
</p><p>
    ?
   </p><p>
    JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。它基于 ECMAScript (欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。
   </p><p>
    ”
   </p><p>
<strong>
    json 就是js 的对象，就是来存取数据的东西
   </strong>
</p><p>
   JSON字符串
</p><p>
   Python字典
</p><p>
    ?
   </p><p>
    但是在python中不可以直接通过键值对来取得值，所以不得不谈谈python中的字典
   </p><p>
    ”
   </p><p>
<strong>
    导入python 中json，通过json.loads(s) --&gt;将json数据转换为python的数据（字典）
   </strong>
</p><p>
    ?
   </p><p>
    Ajax 即“Asynchronous Javascript And XML”（异步 JavaScript 和 XML），是指一种创建交互式网页应用的网页开发技术。
   </p><p>
    ”
   </p><p>
   图片是通过ajax 方法来加载的，也就是当我下拉，图片会自动加载，是因为网站自动发起了请求，
</p><p class="pgc-img-caption">
</p><p class="pgc-img-caption">
</p><p class="pgc-img-caption">
</p><p>
<strong>
    构造ajax的url请求，来将json转化为字典，在通过字典的键值对来取值，得到图片对应的url
   </strong>
</p><p class="pgc-img-caption">
</p><p>
    ?
   </p><p>
    在一个json 的有30张图片，所以发起一个json的请求，我们可以爬去30张图片，但是还是不够。
   </p><p>
    ”
   </p><p>
   首先分析不同的json中发起的请求
</p><p>
   其实可以发现，当再次发起请求时，关键就是那个 pn在不断的变动
</p><p class="pgc-img-caption">
</p><p>
   最后封装代码，一个列表来定义生产者来存储不断的生成图片url，另一个列表来定义消费者来保存图片
</p><p class="pgc-img-caption">
</p><p class="pgc-img-caption">
</p><p>
</p>

dzaJy671176 发表于 2023-8-26 03:45:00

谢谢楼主，共同发展

N8br5595700 发表于 2023-8-26 05:35:34

难得一见的好帖

hfQBb573917 发表于 2023-8-26 11:24:42

有竞争才有进步嘛

LycVK438323 发表于 2023-8-26 13:26:08

不错不错，楼主您辛苦了。。。

9AuMl356788 发表于 2023-8-28 00:37:59

路过，支持一下啦

AgTIu24074 发表于 2023-8-28 22:59:52

不错，支持下楼主

NqvDv630353 发表于 2023-8-29 14:48:10

大佬牛逼，学习了

69kIV668871 发表于 2023-9-20 21:57:44

看帖回帖是美德！:lol

kalTI806270 发表于 2023-9-22 04:41:41

好帖，来顶下
页: [1] 2 3
查看完整版本: 百度蜘蛛ip反查工具在哪里(如何识别百度蜘蛛)