前言： 从国外新闻网站卫报 <the Guardian>上爬取各类新闻文本，构建文本分类训练的数据集。这次爬取内容较多，且包含两次爬取：先从主网站爬取文章对应的URL，然后再根据获取的URL爬取其对应的文本内容 。

按照以往单线程爬取，每类型新闻爬取数量预计 >2000 篇，效率十分低，慢到崩溃。野生自编使用多线程处理。代码惨不忍睹，便重拾 scrapy 爬虫框架，发现思路跟自编爬虫思路差不多。

1. 野生自编程

• 网页分析 <the Guardian>
  最初考虑爬取谷歌新闻，但分析网页后发现，谷歌新闻都是爬取其他新闻网站的内容。因此会有一个问题，即从谷歌新闻上获取文章Url后，会引导到不同的新闻网站，但不同网站会有不同网页代码结构。
  最后考虑用卫报。
  

比较让人欣喜的一点时，网站没有使用动态加载方式，因此不需要抓包分析网址加载过程中传输的动态数据，而且网页代码层次十分分明，预定使用 beautifulsoup 进行网页解析分析。

• 极其不严谨和规范的编程实现

import requests as rt
import threading as td
import os
import time
from bs4 import BeautifulSoup

class googleNews():
	
	def __init__(self):
		self.initialize()
        # 一些预设，对防防扒的一些尊重0.0
		self.agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'	
		self.header = {
    
			'user-agent': self.agent,
			'referer': 'https://guardian.ng/'
			}
	
	# 初始化，在运行目录下，生成theGuardianNews文件夹，保存获取的各类别文章
	def initialize(self):
		try:
			os.mkdir('./theGuardianNews/')
		except:
			pass

	# 从主网站获取文章地址url池，并保存到txt文件中（减少内存占用，相当于临时文件，后面会再删除）
	def getUrl(self, url):
		resp = rt.get(url, headers = self.header)
		soup = BeautifulSoup(resp.content, 'html.parser')
		content = soup.body.main.find_all(class_ = 'cell')
		pUrl = []
		for item in content:
			pUrl.append(item.a.get('href'))
		print('getUrlNum:', len(pUrl))
		return pUrl
		
	# 爬取url对应网页文章内容，并分类保存
	def write(self, url):
		r = rt.get(url, headers = self.header, timeout = 5)
		bs = BeautifulSoup(r.content, 'html.parser')
		
		category = bs.body.find(class_ = 'category-header').a.string	# 所属类别
		title = bs.body.find(class_ = 'after-category').string	# 文章标题
		article = bs.main.article.find_all('p')	# 文章
        
		contentList = []
		for a in article:
			if(a.string!= None and a.string != '\xa0'):
				contentList.append(a.string)
		content = '\n'.join(contentList)

		# 将获取的内容保存到当前目录下的 ./theGuardianNews/[Category] 下
		urlSplit = [x for x in url.split('/') if x != '']
		base_path = os.getcwd()
		filename = urlSplit[-1]

		if(not os.path.exists('theGuardianNews/%s'% category)):
			os.mkdir('./theGuardianNews/%s'% category)
		save_path = os.path.join(base_path, 'theGuardianNews', category, filename)
		with open(save_path, 'w+') as f:
			f.write(title)
			f.write('\n')
			f.write(content)
		print(category,'(write): ', title)

	# 线程函数，多线程获取
	def batchGet(self, index, down, up):
        # 新闻不同类别对应网址
		categoryDict = {
    
			'world/Africa': 'https://guardian.ng/category/news/world/africa/',	
			'world/Asia': 'https://guardian.ng/category/news/world/asia/',	
			'world/Europe': 'https://guardian.ng/category/news/world/europe/',	
			'world/US': 'https://guardian.ng/category/news/world/us/',	
			'politics': 'https://guardian.ng/category/politics/',
			'sport/football': 'https://guardian.ng/category/sport/football/',
			'sport/boxing': 'https://guardian.ng/category/sport/boxing/',
			'sport/athletics': 'https://guardian.ng/category/sport/athletics/',
			'sport/tennis': 'https://guardian.ng/category/sport/tennis/',
			'sport/other': 'https://guardian.ng/category/sport/other/',
			'opinion': 'https://guardian.ng/category/opinion/',
			'business': 'https://guardian.ng/category/business-services/business/',
			'technology': 'https://guardian.ng/category/technology/c55-technology/',
			'features/health': 'https://guardian.ng/category/features/health/',
			'features/education': 'https://guardian.ng/category/features/education/'
			}
		dic = {
    }
		if (index == -1):
			dic = categoryDict
		else:
			dic[index] = categoryDict[index]

		for category in dic:
			url = dic[category]
			for num in range(down, up):
				url1 = os.path.join(url, 'page', str(num))
				try:
					url2 = self.getUrl(url1)
					for u in url2:
						self.write(u)
				except:
					continue

	# go! go! go!
	def go(self):
		#t1 = td.Thread(target = self.batchGet, args = (0))
		#t2 = td.Thread(target = self.batchGet, args = (1))
		# 新闻类别和网址页数范围
        t3 = td.Thread(target = self.batchGet, args = ('features/education',1,200,))
		t4 = td.Thread(target = self.batchGet, args = ('features/health',1,200,))
		t5 = td.Thread(target = self.batchGet, args = ('business',100,200,))
		t6 = td.Thread(target = self.batchGet, args = ('technology',100,200,))
		#t1.start()
		#t2.start()
		t3.start()
		t4.start()
		t5.start()
		t6.start()

if __name__ == '__main__':
	News = googleNews()
	News.go()

• 结果(部分数据)

  ./theGuardianNews/：
  

• 心得

  • 卫报官网对于爬虫的限制好像几乎没有，可能这是网站属性决定的，新闻就是用于爬虫爬取传播的。因此其实不用设置网站请求间隔，ip代理池等措施。

  • 真正编程实现时，分析网址url规律的时候才发现，卫报官网新闻分类类别异常的多，并非显示的那些，而且大类里面包含小类。沿用了起初使用字典的方式存储不同类别时的起始url。

  • 最初预想是分两步爬取，即爬取文章url，然后进入文章url爬取具体文章信息。如果使用单线程，按步骤执行，会出现问题。

    一是因为爬取文章较多，效率奇慢；二是因为先获取url，需要保存url供后面用（全存在一个字典里，太占内存了，一旦第一步失败或断网，就需要从头再来）。针对一，使用多线程可以解决，同时进行两步的爬取；针对二，将第一步获取的url保存起来，数据量还行，自己就直接保存为 txt ，也可使用数据库mysql存储。<编程完成后，想到可以合并，泪目>

    还有种方法是，两步的爬取，可以归到一起，即在主网站获取到文章url后就访问，获取文章内容。

  • 多线程写的忒随意了，惨不忍睹，让代码规范些，想到了scrapy框架。框架也是主要包含上述几个步骤：网址请求，（中间文件存储，对应最初分两步的方法），内容获取/处理，文本保存等。

2. scrapy爬虫框架使用

• 框架流程
  

• 实际应用

  主要包含以下文件：

  |—spider

  ​ |—spider

  ​ |—__init__.py

  ​ |— items.py 需要提取的数据，对应本例就是文本

  ​ |— middlewares.py 对网页的请求和响应

  ​ |— pipelines.py 对item中提取的数据进行处理，对应本例就是保存

  ​ |— __pycache__

  ​ |— settings.py 项目的配置文件

  ​ |— spiders 放置自己的爬虫代码

这框架跟 django 的配置过程挺像的。
复习 __init__.py和__pycache__的用处和Python编译执行原理和过程。本例具体代码，用scrapy框架实现起来不复杂。