spider_178_383 发表于 2023-9-22 08:14:21

蜘蛛软件 爬虫软件是干嘛的(爬虫软件干嘛用)

<p data-track="2">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    爬虫程序就是获取网页的信息,提取自己需要的,并保存下来,而且全程可以自动化运行的程序.
   </span>
</p><p data-track="3">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    网络爬虫可以用于数据挖掘、搜索引擎优化、信息监控等领域。
   </span>
</p><p data-track="4">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    但是，网络爬虫也可能会对网站造成负面影响，如过度访问导致服务器负载过高等问题。
   </span>
</p><p data-track="5">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    因此，在使用网络爬虫时需要遵守相关法律法规和网站的使用协议。
   </span>
</p><p data-track="7">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    其原理是通过模拟浏览器行为，访问网站并解析网页内容，从而获取所需的数据。
   </span>
</p><p data-track="8">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    互联网可以想象为一张蜘蛛网,丝线就相当于网页与网页间的链接关系,多根丝线相交的那些节点就相当于一个个网页.
   </span>
</p><p data-track="9">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    而我们的爬虫就是蜘蛛,沿着丝线爬到节点就相当于访问了该网页,获取了它的信息,然后蜘蛛继续沿着丝线爬到下一个节点,继续获取信息,这样整个网站的信息就被获取了.
   </span>
</p><p data-track="11">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    在网页中有很多各种各样的信息
   </span>
</p><p data-track="12">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    有常规的网页HTML源代码
   </span>
</p><p data-track="13">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    有CSS、JavaScript文件
   </span>
</p><p data-track="14">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    有图片、视频等二进制文件
   </span>
</p><p data-track="15">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    还有很多API接口类的信息像JSON类信息等
   </span>
</p><p data-track="16">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    都是可以爬取的.
   </span>
</p><p data-track="17">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    总的来说只要是基于HTTP和HTTPS协议传输的数据都可以爬取.
   </span>
</p><p data-track="20">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    前面讲了请求和响应的概念,我们对指定的网址发送一个请求,网址服务器返回响应体的数据,就是我们需要的网页源代码.
   </span>
</p><p data-track="21">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    我们怎么去自动实现这个过程,并截取网页信息呢?
   </span>
</p><p data-track="22">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    这时,我们就需要使用python代码库,像requests、urllib等来帮助我们自动实现请求操作,获取网站源代码了.
   </span>
</p><p data-track="24">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    这个源代码中就包含了我们需要的信息,可以手动提取出来,但是数据很多的话,工作量太大了,太麻烦了.
   </span>
</p><p data-track="25">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    我们同样可以用提取信息的python代码库,像Beautiful Soup、lxml等来快速提取网页中的信息,文字、图片等.
   </span>
</p><p data-track="27">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    提取需要的数据后,可以保存为json和txt文本,也可以保存到数据库中,像MongoDB、Redis、Mysql等,还可以保存到远程的服务器中.
   </span>
</p><p data-track="28">
<span style="color: #121212; --tt-darkmode-color: #A3A3A3;">
    下面是抓取网站图片并保存在images文件夹下的python代码:
   </span>
</p><p class="pgc-img-caption">
    抓取网站图片并保存在images文件夹下
   </p>

hxY93664720 发表于 2023-9-23 13:40:17

沙发！沙发！

UiHyT533363 发表于 2023-11-1 12:25:52

不错不错，楼主您辛苦了。。。

i8SqL539656 发表于 2023-11-2 05:35:18

我是个凑数的。。。

bNri219505 发表于 2023-11-2 07:55:59

不错，支持下楼主

b8LJh370844 发表于 2023-11-2 09:53:50

有竞争才有进步嘛

icZ5X645936 发表于 2023-11-24 17:29:53

难得一见的好帖

x6X02864810 发表于 2023-11-24 17:30:31

学习了，不错，讲得太有道理了

HnVIy995096 发表于 2023-11-24 17:30:35

前排支持下

c8Aht825676 发表于 2023-11-29 13:41:34

看帖回帖是美德！:lol
页: [1] 2 3
查看完整版本: 蜘蛛软件 爬虫软件是干嘛的(爬虫软件干嘛用)