什么是爬虫：

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据
爬虫可以做什么？
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。
爬虫的本质是什么？
模拟浏览器打开网页，获取网页中我们想要的那部分数据
浏览器打开网页的过程：
当你在浏览器中输入地址后，经过DNS服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括html,js,css等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，从中获取我们想要资源。

怎么开始爬虫：

1.新建环境变量

2.环境里安装requests库

pip install requests

3.打开pycharm  新建一个python文件

4.文件里这样：

 我们看看控制台，打印出很多的HTML代码，这就表示我们成功获取了网页代码

requests库的基本理解：

get请求还可以传递参数：

上面代码向服务器发送的请求中包含了两个参数key1和key2，以及两个参数的值。实际上它构造成了如下网址：
http://httpbin.org/get?key1=value1&key2=value2

POST请求

post请求多用来提交表单数据，即填写一堆输入框，然后提交。

 其他请求

其他一些请求例如put请求、delete请求、head请求、option请求等其实都是类似的。但是平时用的不多，就不仔细介绍了。有用到的可以去看官网文档哦。阅读官方文档是必备技能！

使用BeautifulSoup模块来从HTML文本中提取我们想要的数据  

安装

 安装lxml，这是一个解析器，BeautifulSoup可以使用它来解析HTML，然后提取内容

 python3.5安装lxml库，保错，需要参考这篇文章

https://blog.csdn.net/qq_33279781/article/details/52026806