python个人数据脱敏_基于Python的数据脱敏与可视化分析_weixin_39938746的博客-程序员秘密

技术标签: python个人数据脱敏  

龙源期刊网

http://www.qikan.com.cn

基于

Python

的数据脱敏与可视化分析

作者:尹诗玉

陈小奎

师琳

来源:《电脑知识与技术》

2019

年第

06

摘要:为分析高校教学质量,并对其进行评价,本文基于

python

语言对教务系统导出的

原数据进行处理和分析,主要从数据导入,数据预处理,及数据分析三个层面结合实例进行分

析。首先利用

tkinter

库设计出数据导入的界面;其次阐述数据清洗、分组、集成以及脱敏等数

据预处理的常用算法,并结合高校教学评价这一实际案例进行了演示,借助

pandas

库中的

dataframe

数据类型实现了对

脏数据

的清洗,以及对教师姓名的脱敏;最后利用

matplotlib

对处理好的数据进行数据可视化,并结合所得图像对各专业班级及教师的学习和教学状况进行

分析与评价。通过本文的数据处理,实现了对教师姓名的脱敏,保护了教师的隐私,并利用图

形直观地反映出各教师和班级近几年的成绩分布,使得高校绩效考核更加的方便。

关键词:

Python

pandas

;数据预处理;数据脱敏;数据可视化

中图分类号:

TP391

文献标识码:

A

文章编号:

1009-3044

2019

06-0014-04

Data Desensitization and Visual Analysis Based on Python

YIN Shi-yu

CHEN Xiao-kui

SHI Lin

Anhui University of Science and Technology Institute of Mathematics and Big Date

Huainan 232001

China

Abstract

In order to analyze the quality of college teaching and evaluate it

this paper based

on Python language to process and analyze the original data derived from the educational system

mainly from three aspects

data import

data preprocessing

and data analysis. Firstly

the

tkinter library is used to design the interface of data import. Secondly

the common algorithms for

data preprocessing such as data cleaning

grouping

integration and desensitization are described.

The actual case of college teaching evaluation is demonstrated. The dataframe data in the pandas

library is used. The type realizes the cleaning of “dirty data” and the desensitization of the teacher's

name. Finally

the matplotlib library is used to visualize the processed data

and the obtained

images are used to analyze the learning and teaching status of each professional class and teachers.

Through the data processing of this paper

the desensitization of the teacher's name is realized

the

privacy of the teacher is protected

and the distribution of the scores of teachers and classes in recent

years is visually reflected by the graph

which makes the performance appraisal of the university

more convenient.

Key words

Python

pandas

data preprocessing

data desensitization

data visualization

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_39938746/article/details/110271033

智能推荐

mysql_清风日的博客-程序员秘密

MySQL常用的四种引擎的介绍(1):MyISAM存储引擎:不支持事务、也不支持外键,优势是访问速度快,对事务完整性没有 要求或者以select,insert为主的应用基本上可以用这个引擎来创建表支持3种不同的存储格式,分别是:静态表;动态表;压缩表静态表:表中的字段都是非变长字段,这样每个记录都是固定长度的,优点存储非常迅速,容易缓存,出现故障容易恢复;缺点是占用...

markdown编辑器与富文本编辑器优缺点比较,哪个更好用_豆豆技术派的博客-程序员秘密_markdown和富文本模式哪个更方便

markdown编辑器与富文本编辑器优缺点比较,哪个更好用其实对于用户来说,Markdown编辑器和富文本编辑器的作用是一样的,功能上也没有什么区别,在Markdown诞生之前大家都是用富文本编辑器的,也没见什么功能不能实现的,两者主要区别在于他们的使用方法上,以及不同技术所带来的行业上的影响。下面就让我们来看看详细的比较。什么是markdown编辑器,什么是富文本编辑器Markdown是...

蓝桥杯 -- 历届试题 最大子阵 【DP】_AC_Dreameng的博客-程序员秘密

和POJ1050差不多,转化成一维的,再用HDU1003的方法解决。

mingw64 乱码以及 window10 下Java 乱码解决_qq_734449600的博客-程序员秘密_mingw64乱码

文章目录mingw64 乱码window10 下Java 乱码mingw64 乱码永久修改,修改注册表。在运行中输入"regedit",找到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Command Processor然后“右键-新建”,选择“字符串值”,“名称”列填写“autorun”, 数值数据填写“chcp 65001”window10 ...

阿里系技术博客原力觉醒,首批36支梦之队亮相云栖社区!_云栖社区的博客-程序员秘密

2016,我们来了。阿里系技术博客原力觉醒,首批15支梦之队亮相云栖社区。他们是:阿里云持续交付平台阿里云数据库AliCloudDB阿里云-iDST-智能语音交互阿里云移动服务阿里云容器服务阿里云存储服务阿里云E-MapReduce阿里云资源编排服务阿里云分析型数据库阿里云大数据计算服务 ODPS阿里云 DataV 数据可视化阿里云网络产品阿里云CDN阿里云云盾阿里云规

StringUtils使用方法_付明寿的博客-程序员秘密

实际开发中经常会对字符串进行一些处理、判断、截取等等,本文主要介绍Apache 的StringUtils,实际开发中笔者推荐优先使用Spring的StringUtils(可以不用额外引用依赖),当然这个就是仁者见仁智者见智了【Maven依赖】本文以3.7版本为例:<dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId&.

随便推点

SpringMVC自定义处理多种日期格式的格式转换器_二木成林的博客-程序员秘密_springmvc自定义日期转换

问题引入如果不配置日期格式转换器,那么默认可以自动转换“2012/12/23”这种格式的日期。但是无法转换"2012-12-23"这种格式的日期,会报错:问题解决所以我们需要自定义一个日期转换器来处理问题。自定义日期格式转换器的步骤如下:第一步,定义转换器类实现Converter接口需要一个类实现Converter<S,T>接口,其中泛型中前者表示原数据类型,也就是输入的数据类型,而后者表示要转换成的新数据类型,比如说将一个日期字符串转换成一个Date类型。

10个简单的技巧让你的 vue.js 代码更优雅_普通网友的博客-程序员秘密

来源 | https://juejin.im/post/6854573215969181703前言作为深度代码洁癖,我们都希望能写出简单高效的代码,让我们的代码看起来更加优雅,让我们抛弃...

linux复制粘贴部分字符_Kblacksmith的博客-程序员秘密_linux 复制几个字符

复制某一行中的4个字符办法一:4yl复制光标后的   4yh用后复制光标前的,l 和 h是用来指明方向方法二:在命令行下按"v"进入可视模式,然后按"H"或"L"移动光标,选中要复制的字符,       然后按一次"y"。。。这样就复制下来了,如果要剪切就按“d“       然后在需要的地方按"p"_1671465600

js中日期转字符串,字符串转日期,日期的用法_爱人间的博客-程序员秘密_js日期转字符串

目录创建日期指定月最后一天当day为负数的时候,就表示的是指定月的最后一天的向前偏移量。当前日期加一天日期转字符串字符串转日期创建日期new Date(year, month, day)然后简单使用一下Date对象提供的构造函数。var newDate = new Date(2019, 10, 9).Format('yyyy-MM-dd'); // 2019-09-09指定月最后一天当day为0的时候,就表示的是指定月的最后一天。var new.

OpenCV 无法启动此程序,因为计算机中丢失opencv_core249d.dll或者opencv_highgui249d.dll。请尝试重新安装改程序已解决此问题_小白白打酱油的博客-程序员秘密

我使用的是vs2012+opencv2.4.9 笔记本是64位的 我按照的是(http://blog.csdn.net/qingdujun/article/details/25163405)进行的各种配置,所有配置都是正确的,最后还是抛出了“无法启动此程序,因为计算机中丢失opencv_core249d.dll和opencv_highgui249d.dll” 最后网上搜了好多方法,比如

Let’s Encrypt是如何工作的_zx8813443的博客-程序员秘密

第一次写博客,最近工作需要了解免费证书申请,所以翻译了一下官网资料,不通顺之处,大家海涵!Let's Encrypt是一个CA,官网介绍了其详细工作原理,我按照自己的理解复述一下:通过为https://example.com/设置证书管理代理这个过程(该代理需支持Let's Encrypt),我们可以了解Let's Encrypt是如何工作的。这个过程分两步:首先,代理向CA证明web服务器拥有域...

推荐文章

热门文章

相关标签