python爬取json简单吗_python爬虫之json数据处理_weixin_40003233的博客-程序员秘密

技术标签： python爬取json简单吗

# -*- coding: utf-8 -*-

# @Time : 2019/11/5 23:18

# @Author : AForever

# @Site :

# @File : Spider_05.py

# @Software: PyCharm

# 处理json数据

from urllib import request

import json

def get_data():

url = ‘https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=400&page_start=0‘

headers = {

‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36‘

}

req = request.Request(url, headers=headers)

response = request.urlopen(req)

if response.getcode() == 200:

result = response.read()

# print(type(result)) # bytes类型

# print(result)

result = str(result, encoding=‘utf8‘)

print(result)

return result

def parse_data(html):

# 将字符串形式的json转换为dict字典

data = json.loads(html)

movies = data[‘subjects‘]

for movie in movies:

print(movie[‘title‘], movie[‘rate‘])

if __name__ == ‘__main__‘:

# get_data()

parse_data(get_data())

本文链接：https://blog.csdn.net/weixin_40003233/article/details/110488993

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

如何将echarts图例与曲线显示顺序不一致_chengpin0431的博客-程序员秘密

关于图例跟数据错开问题：谁要展示在最前面，谁的数据最后加载即可。效果图：代码在效果图中转载于:https://my.oschina.net/u/3473845/blog/15...

MobLink网页跳转app指定界面技术简介之 URL Scheme_chuanan2133的博客-程序员秘密

URL Scheme是什么　　由于苹果的app都是在沙盒中，相互是不能访问数据的。但是苹果还是给出了一个可以在app之间跳转的方法：URL Scheme。简单的说，URL Scheme就是一个可以让app相互之间可以跳转的协议。每个app的URL Scheme都是不一样的，如果存在一样的...

浅谈C\C++代码优化中的一些小技巧_c++代码优化论文_connor_lele的博客-程序员秘密

编辑Markdown浅谈C\C++代码优化中的一些小技巧编写C\C++程序快两年，对于代码优化有很深的感触。个人认为，代码优化是一门很深的学问，而作为码农，我们总是在实践中不断更新自己对它的认识和理解。对于这个很大很深的问题，我只是根据自己的所学所见以及所悟来谈谈代码优化中的效率问题，希望对初学者有一些帮助，如有不对的地方还望指正。一、定义所谓代码优化是指在

android开发直播将yvu420顺时针逆时针各旋转90度_安卓原始帧yuv420 选择90度_China-Mr的博客-程序员秘密

做android手机直播的时候遇到在Camera的回到onPreviewFrame获得的数据帧传输到jni层，但是视频方向是有问题的，所以在网上找了许多yuv分量旋转的代码，最后适用的这两个还是比较不错的， /** * 视频顺时针旋转90 * */ private byte[] rotateYUV420Degree90(byte[] data,

stata生成脉冲响应图怎么导出_GIF 动态图：我用 Stata 来制作！_weixin_39928648的博客-程序员秘密

连享会最新专题直播连享会-知乎推文列表Note: 助教招聘信息请进入「课程主页」查看。因果推断-内生性专题 2020.11.12-15 主讲：王存同 (中央财经大学)；司继春(上海对外经贸大学) 课程主页：https://gitee.com/arlionn/YG | 微信版 http://qr32.cn/BlTL43 (二维码自动识别) 空间计量...

普通CDN和云漫网络的高防CDN有什么区别？哪个更有优势？_chuwo0959的博客-程序员秘密

众所周知CDN的防御是集群防御，单个节点防御并不高，使网站服务器很容易受到网络攻击的影响，而TTCDN却是单个节点都有防御的对应防御，除非是攻击数值超过了套餐防御，要不然，网站是不会受到影响普通的CDN： 1、本地Cache加速提高了用户站点的访问速度，提高站点的稳定性 2、远程访问的用...