import json
import time
from requests_html import HTMLSession
# 爬取阳光高考院校库
def get_school_data():
# 开启会话
session = HTMLSession()
# 初始化院校列表
school_list = []
# 分页参数,起始位置
start = 1
# 分页参数,每页条数,阳光高考院校库默认为20条/页
limit = 10
# 开始执行时的时间
start_time = time.time()
print("阳光高考院校库爬取任务")
print("开始执行...")
# 分页循环获取
while True:
# 阳光高考院校库查询网址
# url = 'https://gaokao.chsi.com.cn/sch/search.do?searchType=1&start=' + str(start)
url = 'https://gaokao.xdf.cn/college/china/searchSchool/_____'+str(start)
# 获取请求到的html
r = session.get(url)
# 从中获取到院校库的table中的所有文字
result = r.html.find("body > div.main > div.container > div.main-table > table > tbody > tr")
# 初始化本次循环的数据列表
this_list = []
for res in result:
text = res.text
# 通过.将字符串拆分为数组,对本次循环获取到的分页数据进行循环处理
# 每一条数据通过换行符拆分为数组
arr = text.split("\n")
# 初始化院校信息
school = {}
# 如果长度为1,则为通过.拆分时的最后一条无用信息,直接跳过
if len(arr) == 1:
continue
if len(arr) == 9:
school.update({"name": arr[0], "area": arr[1], "property": arr[2], "type": arr[3], "level": arr[4], "attrs": arr[5]})
else:
school.update({"name": arr[0], "area": arr[1], "property": "", "type": "", "level": "", "attrs": ""})
# property = ""
# if not arr[2]:
# property = arr[2]
#
# type = ""
# if not arr[3]:
# type = arr[3]
#
# level = ""
# if not arr[4]:
# level = arr[4]
#
# attrs = ""
# if not arr[5]:
# attrs = arr[5]
#
# if property is None:
# property = ""
#
# if type is None:
# type = ""
#
# if level is None:
# level = ""
#
# if attrs is None:
# attrs = ""
# 将院校追加到本次循环结果的数组中
this_list.append(school)
# 将院校追加到总的结果中
school_list.append(school)
print("爬取第 " + str(int(start)) + " 页,本页获取到 " + str(len(this_list)) + " 条数据")
# 如果本次分页循环的长度小于分页的每页长度,说明本次为最后一页数据,数据读取完毕,终止循环
if len(this_list) < limit:
break
# 否则起始位置需要加上一页
start += 1
# 执行完毕时的时间
end_time = time.time()
print("执行完毕,耗时 " + str(round(end_time - start_time, 2)) + " 秒,共获取到 " + str(len(school_list)) + " 条数据")
# 关闭会话
session.close()
# 返回结果
return school_list
# 保存为JSON数组
def save_json_data(school_list):
data = open('./data.json', 'w')
data.write(json.dumps(school_list, ensure_ascii=False, ).encode("utf8").decode())
print("已保存为JSON数组(./data.json)")
# 保存为SQL可执行文件
def save_sql_file(school_list):
school_sql = "insert into ant_user_school(name,area,property,type,level,attrs) values "
for school in school_list:
school_sql += "('" + school["name"] + "','" + school["area"] + "','" + school["property"] + "','" + school["type"] + "','" + school["level"] + "','" + school["attrs"] + "'),"
if school_sql.endswith(","):
school_sql = school_sql[0:-1]
data = open('./data.sql', 'w')
data.write(school_sql)
print("已保存为SQL可执行文件(./data.sql)")
data = get_school_data()
# save_json_data(data)
save_sql_file(data)
文章浏览阅读2.1k次。原文链接先说说编解码问题编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。 Eg:str1.decode('gb2312') #将gb2312编码的字符串转换成unicode编码str2.encode('gb2312') #将unicode编码..._python中encode在什么模块
文章浏览阅读949次,点赞21次,收藏15次。本文介绍了Java中的数据输入流(DataInputStream)和数据输出流(DataOutputStream)的使用方法。
文章浏览阅读111次。ie无法兼容_ie 浏览器 newdate
文章浏览阅读239次。这篇文章把 Docker 和 K8s 的关系给大家做了一个解答,希望还在迟疑自己现有的知识储备能不能直接学 K8s 的,赶紧行动起来,K8s 是典型的入门有点难,后面越用越香。
文章浏览阅读561次。ADI中文手册获取方法_adi 如何查看数据手册
文章浏览阅读1k次,点赞4次,收藏3次。React 获取接口数据实现分页效果以拼多多接口为例实现思路加载前 加载动画加载后 判断有内容的时候 无内容的时候用到的知识点1、动画效果(用在加载前,加载之后就隐藏或关闭,用开关效果即可)2、axios请求3、map渲染页面4、分页插件(antd)代码实现import React, { Component } from 'react';//引入axiosimport axios from 'axios';//引入antd插件import { Pagination }_react 分页
文章浏览阅读449次,点赞9次,收藏7次。这个变量与验签过程中的SignatureVerificationFilter::PUT_MESSAGE这个宏是对应的,SignatureVerificationFilter::PUT_MESSAGE,如果在签名过程中putMessage设置为true,则在验签过程中需要添加SignatureVerificationFilter::PUT_MESSAGE。项目中使用到了CryPtopp库进行RSA签名与验签,但是在使用过程中反复提示无效的数字签名。否则就会出现文章开头出现的数字签名无效。_cryptopp 签名
文章浏览阅读848次。新闻稿是新闻从业者经常使用的一种文体,它的格式与内容都有着一定的规范。本文将从新闻稿的格式和范文两个方面进行介绍,以帮助读者更好地了解新闻稿的写作_新闻稿时间应该放在什么位置
文章浏览阅读1.7k次。Java中的转换器设计模式 在这篇文章中,我们将讨论 Java / J2EE项目中最常用的 Converter Design Pattern。由于Java8 功能不仅提供了相应类型之间的通用双向转换方式,而且还提供了转换相同类型对象集合的常用方法,从而将样板代码减少到绝对最小值。我们使用Java8 功能编写了..._java转换器模式
文章浏览阅读150次。1,kubectl run创建pods[root@master ~]# kubectl run nginx-deploy --image=nginx:1.14-alpine --port=80 --replicas=1[root@master ~]# kubectl get podsNAME READY STATUS REST...
文章浏览阅读128次。PAT菜鸡进化史_乙级_1003“答案正确”是自动判题系统给出的最令人欢喜的回复。本题属于 PAT 的“答案正确”大派送 —— 只要读入的字符串满足下列条件,系统就输出“答案正确”,否则输出“答案错误”。得到“答案正确”的条件是: 1. 字符串中必须仅有 P、 A、 T这三种字符,不可以包含其它字符; 2. 任意形如 xPATx 的字符串都可以获得“答案正确”,其中 x 或者是空字符串,或..._1003 pat乙级 最优
文章浏览阅读5.6k次。CH340与Android串口通信为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio移植的具体步骤CH340串口通信驱动函数通信过程中重难点还存在的问题为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio为了在这个工程基础上进行改动,验证串口的数据和配置串口的参数,我首先在Eclipse上配置了安卓开发环境,注意在配置环境是..._340串口小板 安卓给安卓发指令