Python 爬虫入门的教程(2小时快速入门、简单易懂、快速上手)_python爬虫快速入门-程序员宅基地

技术标签: python爬虫  

http://c.biancheng.net/view/2011.html

这是一篇详细介绍 Python 爬虫入门的教程,从实战出发,适合初学者。读者只需在阅读过程紧跟文章思路,理清相应的实现代码,30 分钟即可学会编写简单的 Python 爬虫。

这篇 Python 爬虫教程主要讲解以下 5 部分内容:

  1. 了解网页;
  2. 使用 requests 库抓取网站数据;
  3. 使用 Beautiful Soup 解析网页;
  4. 清洗和组织数据;
  5. 爬虫攻防战;

了解网页

以中国旅游网首页(http://www.cntour.cn/)为例,抓取中国旅游网首页首条信息(标题和链接),数据以明文的形式出面在源码中。在中国旅游网首页,按快捷键【Ctrl+U】打开源码页面,如图 1 所示。



图 1 中国旅游网首页源码

认识网页结构

网页一般由三部分组成,分别是 HTML(超文本标记语言)、CSS(层叠样式表)和 JScript(活动脚本语言)。

HTML

HTML 是整个网页的结构,相当于整个网站的框架。带“<”、“>”符号的都是属于 HTML 的标签,并且标签都是成对出现的。

常见的标签如下:

<html>..</html> 表示标记中间的元素是网页
<body>..</body> 表示用户可见的内容
<div>..</div> 表示框架
<p>..</p> 表示段落
<li>..</li>表示列表
<img>..</img>表示图片
<h1>..</h1>表示标题
<a href="">..</a>表示超链接

CSS

CSS 表示样式,图 1 中第 13 行<style type="text/css">表示下面引用一个 CSS,在 CSS 中定义了外观。

JScript

JScript 表示功能。交互的内容和各种特效都在 JScript 中,JScript 描述了网站中的各种功能。

如果用人体来比喻,HTML 是人的骨架,并且定义了人的嘴巴、眼睛、耳朵等要长在哪里。CSS 是人的外观细节,如嘴巴长什么样子,眼睛是双眼皮还是单眼皮,是大眼睛还是小眼睛,皮肤是黑色的还是白色的等。JScript 表示人的技能,例如跳舞、唱歌或者演奏乐器等。

写一个简单的 HTML

通过编写和修改 HTML,可以更好地理解 HTML。首先打开一个记事本,然后输入下面的内容:

<html>
<head>
    <title> Python 3 爬虫与数据清洗入门与实战</title>
</head>
<body>
    <div>
        <p>Python 3爬虫与数据清洗入门与实战</p>
    </div>
    <div>
        <ul>
            <li><a href="http://c.biancheng.net">爬虫</a></li>
            <li>数据清洗</li>
        </ul>
    </div>
</body>

输入代码后,保存记事本,然后修改文件名和后缀名为"HTML.html";

运行该文件后的效果,如图 2 所示。



图 2


这段代码只是用到了 HTML,读者可以自行修改代码中的中文,然后观察其变化。

关于爬虫的合法性

几乎每一个网站都有一个名为 robots.txt 的文档,当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据,也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档,就要判断是否有禁止访客获取的数据。

以淘宝网为例,在浏览器中访问 https://www.taobao.com/robots.txt,如图  3 所示。



图 3 淘宝网的robots.txt文件内容


淘宝网允许部分爬虫访问它的部分路径,而对于没有得到允许的用户,则全部禁止爬取,代码如下:

User-Agent:*
Disallow:/

这一句代码的意思是除前面指定的爬虫外,不允许其他爬虫爬取任何数据。

使用 requests 库请求网站

安装 requests 库

首先在 PyCharm 中安装 requests 库,为此打开 PyCharm,单击“File”(文件)菜单,选择“Setting for New Projects...”命令,如图 4 所示。



图 4


选择“Project Interpreter”(项目编译器)命令,确认当前选择的编译器,然后单击右上角的加号,如图 5 所示。



图 5


在搜索框输入:requests(注意,一定要输入完整,不然容易出错),然后单击左下角的“Install Package”(安装库)按钮。如图 6 所示:



图 6


安装完成后,会在 Install Package 上显示“Package‘requests’ installed successfully”(库的请求已成功安装),如图 7 所示;如果安装不成功将会显示提示信息。



图 7 安装成功

爬虫的基本原理

网页请求的过程分为两个环节:

  1. Request (请求):每一个展示在用户面前的网页都必须经过这一步,也就是向服务器发送访问请求。
  2. Response(响应):服务器在接收到用户的请求后,会验证请求的有效性,然后向用户(客户端)发送响应的内容,客户端接收服务器响应的内容,将内容展示出来,就是我们所熟悉的网页请求,如图 8 所示。


图 8 Response相应


网页请求的方式也分为两种:

  1. GET:最常见的方式,一般用于获取或者查询资源信息,也是大多数网站使用的方式,响应速度快。
  2. POST:相比 GET 方式,多了以表单形式上传参数的功能,因此除查询信息外,还可以修改信息。


所以,在写爬虫前要先确定向谁发送请求,用什么方式发送。

使用 GET 方式抓取数据

复制任意一条首页首条新闻的标题,在源码页面按【Ctrl+F】组合键调出搜索框,将标题粘贴在搜索框中,然后按【Enter】键。

如图 8 所示,标题可以在源码中搜索到,请求对象是www.cntour.cn,请求方式是GET(所有在源码中的数据请求方式都是GET),如图 9 所示。



图 9(点此查看高清大图

确定好请求对象和方式后,在 PyCharm 中输入以下代码:

 
  1. import requests #导入requests包
  2. url = 'http://www.cntour.cn/'
  3. strhtml = requests.get(url) #Get方式获取网页数据
  4. print(strhtml.text)

运行结果如图 10 所示:


图 10 运行结果效果图(点此查看高清大图


加载库使用的语句是 import+库的名字。在上述过程中,加载 requests 库的语句是:import requests。

用 GET 方式获取数据需要调用 requests 库中的 get 方法,使用方法是在 requests 后输入英文点号,如下所示:

requests.get

将获取到的数据存到 strhtml 变量中,代码如下:

strhtml = request.get(url)

这个时候 strhtml 是一个 URL 对象,它代表整个网页,但此时只需要网页中的源码,下面的语句表示网页源码:

strhtml.text

使用 POST 方式抓取数据

首先输入有道翻译的网址:http://fanyi.youdao.com/,进入有道翻译页面。

按快捷键 F12,进入开发者模式,单击 Network,此时内容为空,如图 11 所示:



图 11


在有道翻译中输入“我爱中国”,单击“翻译”按钮,如图 12 所示:



图 12


在开发者模式中,依次单击“Network”按钮和“XHR”按钮,找到翻译数据,如图 13 所示:



图 13


单击 Headers,发现请求数据的方式为 POST。如图 14 所示:



图 14


找到数据所在之处并且明确请求方式之后,接下来开始撰写爬虫。

首先,将 Headers 中的 URL 复制出来,并赋值给 url,代码如下:

url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

POST 的请求获取数据的方式不同于 GET,POST 请求数据必须构建请求头才可以。

Form Data 中的请求参数如图 15 所示:



图 15


将其复制并构建一个新字典:

From_data={'i':'我愛中國','from':'zh-CHS','to':'en','smartresult':'dict','client':'fanyideskweb','salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604','ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTIME','typoResult':'false'}

接下来使用 requests.post 方法请求表单数据,代码如下:

import requests        #导入requests包
response = requests.post(url,data=payload)

将字符串格式的数据转换成 JSON 格式数据,并根据数据结构,提取数据,并将翻译结果打印出来,代码如下:

 
  1. import json
  2. content = json.loads(response.text)
  3. print(content['translateResult'][0][0]['tgt'])

使用 requests.post 方法抓取有道翻译结果的完整代码如下:

 
  1. import requests #导入requests包
  2. import json
  3. def get_translate_date(word=None):
  4. url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
  5. From_data={'i':word,'from':'zh-CHS','to':'en','smartresult':'dict','client':'fanyideskweb','salt':'15477056211258','sign':'b3589f32c38bc9e3876a570b8a992604','ts':'1547705621125','bv':'b33a2f3f9d09bde064c9275bcb33d94e','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTIME','typoResult':'false'}
  6. #请求表单数据
  7. response = requests.post(url,data=From_data)
  8. #将Json格式字符串转字典
  9. content = json.loads(response.text)
  10. print(content)
  11. #打印翻译后的数据
  12. #print(content['translateResult'][0][0]['tgt'])
  13. if __name__=='__main__':
  14. get_translate_date('我爱中国')

使用 Beautiful Soup 解析网页

通过 requests 库已经可以抓到网页源码,接下来要从源码中找到并提取数据。Beautiful Soup 是 python 的一个库,其最主要的功能是从网页中抓取数据。Beautiful Soup 目前已经被移植到 bs4 库中,也就是说在导入 Beautiful Soup 时需要先安装 bs4 库。

安装 bs4 库的方式如图 16 所示:



图 16


安装好 bs4 库以后,还需安装 lxml 库。如果我们不安装 lxml 库,就会使用 Python 默认的解析器。尽管 Beautiful Soup 既支持 Python 标准库中的 HTML 解析器又支持一些第三方解析器,但是 lxml 库具有功能更加强大、速度更快的特点,因此笔者推荐安装 lxml 库。

安装 Python 第三方库后,输入下面的代码,即可开启 Beautiful Soup 之旅:

 
  1. import requests #导入requests包
  2. from bs4 import BeautifulSoup
  3. url='http://www.cntour.cn/'
  4. strhtml=requests.get(url)
  5. soup=BeautifulSoup(strhtml.text,'lxml')
  6. data = soup.select('#main>div>div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a')
  7. print(data)

代码运行结果如图 17 所示。



图 17(点此查看高清大图


Beautiful Soup 库能够轻松解析网页信息,它被集成在 bs4 库中,需要时可以从 bs4 库中调用。其表达语句如下:

from bs4 import BeautifulSoup

首先,HTML 文档将被转换成 Unicode 编码格式,然后 Beautiful Soup 选择最合适的解析器来解析这段文档,此处指定 lxml 解析器进行解析。解析后便将复杂的 HTML 文档转换成树形结构,并且每个节点都是 Python 对象。这里将解析后的文档存储到新建的变量 soup 中,代码如下:

soup=BeautifulSoup(strhtml.text,'lxml')

接下来用 select(选择器)定位数据,定位数据时需要使用浏览器的开发者模式,将鼠标光标停留在对应的数据位置并右击,然后在快捷菜单中选择“检查”命令,如图 18 所示:



图 18


随后在浏览器右侧会弹出开发者界面,右侧高亮的代码(参见图  19(b))对应着左侧高亮的数据文本(参见图 19(a))。右击右侧高亮数据,在弹出的快捷菜单中选择“Copy”➔“Copy Selector”命令,便可以自动复制路径。



图 19 复制路径

将路径粘贴在文档中,代码如下:

#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li:nth-child(1) > a

由于这条路径是选中的第一条的路径,而我们需要获取所有的头条新闻,因此将 li:nth-child(1)中冒号(包含冒号)后面的部分删掉,代码如下:

#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a

使用 soup.select 引用这个路径,代码如下:

data = soup.select('#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a')

清洗和组织数据

至此,获得了一段目标的 HTML 代码,但还没有把数据提取出来,接下来在 PyCharm 中输入以下代码:

 
  1. for item in data:
  2. result={
  3. 'title':item.get_text(),
  4. 'link':item.get('href')
  5. }
  6. print(result)

代码运行结果如图 20 所示:


图 20(点此查看高清大图


首先明确要提取的数据是标题和链接,标题在<a>标签中,提取标签的正文用 get_text() 方法。链接在<a>标签的 href 属性中,提取标签中的 href 属性用 get() 方法,在括号中指定要提取的属性数据,即 get('href')。

从图 20 中可以发现,文章的链接中有一个数字 ID。下面用正则表达式提取这个 ID。需要使用的正则符号如下:

\d匹配数字
+匹配前一个字符1次或多次

在 Python 中调用正则表达式时使用 re 库,这个库不用安装,可以直接调用。在 PyCharm 中输入以下代码:

 
  1. import re
  2. for item in data:
  3. result={
  4. "title":item.get_text(),
  5. "link":item.get('href'),
  6. 'ID':re.findall('\d+',item.get('href'))
  7. }
  8. print(result)

运行结果如图 21 所示:



图 21


这里使用 re 库的 findall 方法,第一个参数表示正则表达式,第二个参数表示要提取的文本。

爬虫攻防战

爬虫是模拟人的浏览访问行为,进行数据的批量抓取。当抓取的数据量逐渐增大时,会给被访问的服务器造成很大的压力,甚至有可能崩溃。换句话就是说,服务器是不喜欢有人抓取自己的数据的。那么,网站方面就会针对这些爬虫者,采取一些反爬策略。

服务器第一种识别爬虫的方式就是通过检查连接的 useragent 来识别到底是浏览器访问,还是代码访问的。如果是代码访问的话,访问量增大时,服务器会直接封掉来访 IP。

那么应对这种初级的反爬机制,我们应该采取何种举措?

还是以前面创建好的爬虫为例。在进行访问时,我们在开发者环境下不仅可以找到 URL、Form Data,还可以在 Request headers 中构造浏览器的请求头,封装自己。服务器识别浏览器访问的方法就是判断 keyword 是否为 Request headers 下的 User-Agent,如图 22 所示。



图 22


因此,我们只需要构造这个请求头的参数。创建请求头部信息即可,代码如下:

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'}
response = request.get(url,headers=headers)

写到这里,很多读者会认为修改 User-Agent 很太简单。确实很简单,但是正常人1秒看一个图,而个爬虫1秒可以抓取好多张图,比如 1 秒抓取上百张图,那么服务器的压力必然会增大。也就是说,如果在一个 IP 下批量访问下载图片,这个行为不符合正常人类的行为,肯定要被封 IP。

其原理也很简单,就是统计每个IP的访问频率,该频率超过阈值,就会返回一个验证码,如果真的是用户访问的话,用户就会填写,然后继续访问,如果是代码访问的话,就会被封 IP。

这个问题的解决方案有两个,第一个就是常用的增设延时,每 3 秒钟抓取一次,代码如下:

import time
time.sleep(3)

但是,我们写爬虫的目的是为了高效批量抓取数据,这里设置 3 秒钟抓取一次,效率未免太低。其实,还有一个更重要的解决办法,那就是从本质上解决问题。

不管如何访问,服务器的目的就是查出哪些为代码访问,然后封锁 IP。解决办法:为避免被封 IP,在数据采集时经常会使用代理。当然,requests 也有相应的 proxies 属性。

首先,构建自己的代理 IP 池,将其以字典的形式赋值给 proxies,然后传输给 requests,代码如下:

 
  1. proxies={
  2. "http":"http://10.10.1.10:3128",
  3. "https":"http://10.10.1.10:1080",
  4. }
  5. response = requests.get(url, proxies=proxies)
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_28760063/article/details/100166449

智能推荐

余弦相似度和欧氏距离_欧氏距离和余弦相似度-程序员宅基地

文章浏览阅读365次。余弦相似度和欧氏距离Photo by Markus Winkler on Unsplash Markus Winkler在Unsplash上拍摄的照片 This is a quick and straight to the point introduction to Euclidean distance and cosine similarity with a focus on NLP. 这是对欧..._in the graph below

解决Flutter 中的 Android sdkmanager tool not found 问题_flutter android sdkmanager not found-程序员宅基地

文章浏览阅读2.7k次。解决 Flutter 中的 Android sdkmanager tool not found 问题1. 问题2.解决1. 问题1.1 flutter doctorPS C:\Windows\system32> flutter doctorDoctor summary (to see all details, run flutter doctor -v):[√] Flutter (..._flutter android sdkmanager not found

区块链的应用_传统证明体系受权威机构人为影响较大-程序员宅基地

文章浏览阅读3.4k次。一,资产及其区块链化1,资产的核心要素包括:控制权,价值,流动性。2,传统资产管控体系与模式存在问题:资产所有权失控流动性缺失品质保证依赖品牌供需失衡区块链与传统信任,物联网的有机结合,可解决区块链链上资产与链下资产的一一匹配。二,商业模式与区块链三,区块链存证传统证明体系具有如下问题:1,受权威机构人为影响较大2,假证泛滥3,证明成本较高4,防伪成本高,携带不便。5,假冒,借用。区块链存证具有:防伪性,便捷性,低廉性,安全性的优点。区_传统证明体系受权威机构人为影响较大

坎坎坷坷的深度学习之路(三)-Hello world(2)-------MNIST数据集1-MNIST格式_mnist-1, mnist-2, mnist-3-程序员宅基地

文章浏览阅读358次。上一次说了些来自官网,无聊透顶的tf介绍,这次开始研究MNIST。识别之前先来关注一下MNIST的文件格式。MNIST的数据集可以从 官网 处下载,一共包含4个文件(点击下面的文件名可直接下载)train-images-idx3-ubyte.gz: training set images (9912422 bytes) train-labels-idx1-ubyte.gz: tr_mnist-1, mnist-2, mnist-3

Linux修改用户名(主机名)-程序员宅基地

文章浏览阅读1.2k次,点赞2次,收藏7次。centos 7修改方式:hostnamectl set-hostname james_bobo reboot 或者直接vi /etc/hostname添加内容:james_bobo 检查修改效果

(五)比赛中的CV算法(上)cv基础知识和opencv的api-程序员宅基地

文章浏览阅读5.6k次,点赞18次,收藏64次。5.比赛中的CV算法讲了这么多,视觉组的重头戏——算法终于来了。在大部分时候我们都不需要设计底层的算法,而是直接调用封装好的API,设计更具体的应用于特定问题的算法。当然,有必要了解一下造轮子(底层算法的实现)的过程,这能够让我们深入理解算法内部的构造,从而更好地使用这些算法,出错的时候也能更快定位问题。如果只是调用API而不了解原理,那么只是简单的缝合+搭积木,对于提升自我的思考能力和逻辑思维没有任何帮助。应当要有“使用科技的黑箱会使我惶惶不安” 的觉悟。我们最常用的OpenCV和一些神经网_cv算法

随便推点

Java8通过Function获取字段名称_sfunction java-程序员宅基地

文章浏览阅读2.0k次,点赞2次,收藏5次。Java8通过Function获取字段名称_sfunction java

利用LNMP环境搭建属于自己的第一个个人博客_lnmp部署个人博客网站,要求提交个人博客首页在线-程序员宅基地

文章浏览阅读600次。利用LNMP环境搭建属于自己的个人博客一.引子:相对与LAMP,LNMP环境搭建就显得简单的多了,其中不同便是Apache和Nginx服务的不同,接下来笔者会重点整理我们网络服务的重点Apache和Nginx服务。现在让我们愉快地搭建属于我们的第二个技术博客吧。记得准备换下面环境的软件哦,可以去官网下载,我们还是进行源码包安装。二.搭建博客第一步:Nginx 安装:1.下载LNMP镜像:rz -e2.创建挂载目录:mkdir /mut/iso -p3.挂载:mount -o loop L_lnmp部署个人博客网站,要求提交个人博客首页在线

《深入理解C++11》笔记–右值引用:移动语义和完美转发_深入理解c++11 is_lvalue_reference-程序员宅基地

文章浏览阅读5.4k次,点赞9次,收藏56次。上一篇:《深入理解C++11》笔记–构造函数 这篇文章介绍的了第三章中右值引用相关的内容。在介绍该内容之前,会对一些相关问题进行解释,便于理解后面的内容。 指针成员和拷贝构造 当一个类中含有指针成员时,由于默认的拷贝构造函数只会进行浅拷贝,所以当我们写出一下代码时:class Base{public: Base():data(new int(0)){} //Base..._深入理解c++11 is_lvalue_reference

华南X79 在Windows server 2022下HyperV启用 SRIOV_hyper sriov-程序员宅基地

文章浏览阅读195次。华南X79 在Windows server 2022下HyperV启用 SRIOV_hyper sriov

SLO 落地方案:VALET_google valet模式定义slis指标集; valet : volume、availabili-程序员宅基地

文章浏览阅读1.4k次。1、VALET 定义1.1 容量(流量,Volume)服务可以处理多少业务量?处理的记录数量1.2 可用性(Availability)服务是否在需要时可用?在一定时间内完成工作的频率(百分比)1.3 延迟(Latency)在使用服务时,它是否快速响应?任务运行所需的时间1.4 错误(Errors)在使用服务时,是否会出错?无法处理的记录1.5 工单(Tickets)该服务请求是否需要人工干预才能完成?操作员必须手动修复数据和重新处理任务的次数2、SLO 落_google valet模式定义slis指标集; valet : volume、availability、latency、error

网页宽度自动适应手机屏幕宽度的方法_怎么让width设置为800px在手机上显示完整-程序员宅基地

文章浏览阅读10w+次,点赞10次,收藏34次。在网页的中增加以上这句话,可以让网页的宽度自动适应手机屏幕的宽度。其中:width=device-width :表示宽度是设备屏幕的宽度initial-scale=1.0:表示初始的缩放比例minimum-scale=0.5:表示最小的缩放比例maximum-scale=2.0:表示最大的缩放比例user-scalable=yes:表示用户是否可以调整缩放比例 如果_怎么让width设置为800px在手机上显示完整