什么是爬虫？其本质是什么？_什么是爬虫爬虫可以做什么

1.什么是爬虫以及爬虫的功能

网络爬虫按其实现方式的不同，主要分为以下两种类型：爬虫种类描述通用网络爬虫需要有一个初始URL，在抓取过程中，不断获取新的URL以进行数据抓取聚焦网络爬虫聚焦于特定的主题进行数据抓取通用网络爬虫，顾名思义，以通用目的为主的网络爬虫。

2.简述什么是爬虫

这类爬虫，需要有一个初始URL先将初始URL对应的网页抓取下来，然后解析网页中的URL，将新URL加入到抓取队列当中，再进行下一轮的抓取。通用网络爬虫的抓取过程，详见下图：

3.什么是爬虫、爬虫的用途是?

而聚焦网络爬虫，顾名思义，系聚焦于特定的主题进行数据抓取它需要在通用网络爬虫的基础上进行主题的定义和抓取过程中的主题筛选，以保证抓取的是特定主题的内容在通用网络爬虫和聚焦网络爬虫之外，还有增量式网络爬虫。

4.什么是爬虫技术,作用是什么

和深层网络爬虫我们在学习网络爬虫的类型时，需着重理解每一种爬虫的抓取过程，然后尝试用代码进行模拟和实现，这样方可彻底的理解进一步理解爬虫的机制，需掌握爬虫的核心原理:Python爬虫教程-爬虫的核心原理-薯条老师的博客，提供高质量Python自学教程。

5.什么是爬虫类

​chipscoco.com/?id=173

6.什么叫爬虫技术

快速入门Python爬虫，推荐薯条老师写的这套Python爬虫的基础教程：第一章: 初学乍练-Python快速入门 1.1节: 搭建Python开发环境 (2021-02-02) 1.2节: 快速入门Python

7.什么是爬虫?爬虫的基本流程是什么

(2021-02-05) 第二章: 初窥门径-从全局把握网络爬虫 2.1节: 网络爬虫核心原理 (2021-02-05) 2.2节: 轻松入门HTTP协议 (2021-02-06) 2.3节: 使用requests发起HTTP请求

8.什么是爬虫最重要的应用领域

(2021-02-07) 第三章: 爬虫数据-网页与JSON 3.1节：超文本标记语言HTML (2021-02-08) 3.2节：层叠样式表CSS (2021-02-16) 3.3节：数据交换格式JSON

9.啥是爬虫

(2021-02-17) 第四章: 爬虫核心-HTTP协议 4.1节: 爬虫与浏览器 (2021-02-19) 4.2节: HTTP是无状态协议 (2021-02-19) 4.3节: 爬虫之匿-HTTP代理

10.什么是爬虫?一般分为几部分

(2021-02-20) 4.4节: 加密数据传输HTTPS (2021-02-22) 第五章: 手到擒来-数据的抓包 5.1节: 使用chrome浏览器抓包 (2021-02-23) 5.2节: 抓包神器FiddlerEverywhere

(2021-03-01) 第六章: 利刃出鞘-HTTP请求库 6.1节: 抓包后的请求模拟 (2021-03-03) 6.2节: URL的读取与解析-urllib (2021-03-05) 6.3节: 高效的HTTP请求库：requests

(2021-03-08) 第七章: 尘埃落定-数据的解析 7.1节：使用正则表达式解析网页 (2021-03-09) 7.2节：使用lxml解析网页 (2021-03-15) 7.3节：使用BeautifulSoup解析网页

(2021-03-15) 7.4节：爬虫实战-模拟github登录 (2021-06-17) 第八章: 逆向初探-JS逆向 8.1节：前端常用加密算法 (2021-03-15) 8.2节：浅析JS逆向

(2021-03-15) 8.3节：爬虫实战-模拟CSDN登陆 (2021-06-21) 第九章: 爬虫进阶-Selenium, 中间人拦截 9.1节：爬虫利器-Selenium (2021-06-21)

9.2节：HTTP拦截-mitmproxy (2021-06-22) 第十章：斗转星移-常用的反爬策略及应对方法 10.1节：针对HTTP请求头的反爬 (2021-06-22) 10.2节：对爬虫IP进行封禁

(2021-06-24) 10.3节：使用验证码进行反爬 (2021-06-24) 10.4节：针对selenium的指纹识别 (2021-06-24)