技术标签: python
一、使用python导入的原因
1、csv文件为从文件数据库导出的数据文件,一个一个的导入到数据库效率就比较低下;
2、日期形式的字段会存在特殊的字符或者字段中包含了单引号就会报错。
二、操作
1、循环读取选定文件夹下的文件
'''
读取文件夹下的csv文件
'''
def readAllFiles(filePath):
fileList = os.listdir(filePath)
for file in fileList:
path = os.path.join(filePath, file)
if os.path.isfile(path):
file = open(path, 'r', encoding='utf-8')
print(path)
#流程记录信息
if path.find("workflow") != -1:
analysisWorkflowCsv(file)
pass
#意见信息
elif path.find("opinion") != -1:
analysisOpinionCsv(file)
pass
#发文数据
elif path.find("wd_24") != -1:
analysisWd24Csv(file)
pass
#收文数据
elif path.find("wd_25") != -1:
analysisWd25Csv(file)
pass
else:
readAllFiles(path)
2、解析文件内容,首行为标题栏需要跳过。入库操作每满1000条commit一次主要是python频繁提交执行次数达到1000+就会报错。1000条commit一次可以避免错误并缓解内存压力。
'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:778463939
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
def analysisWorkflowCsv(file):
csvFile = csv.reader(file)
# 读取一行,下面的reader中已经没有该行了
head_row = next(csvFile)
# print(head_row)
__conn = getConnect_old()
counter = 0
for row in csvFile:
workflow = {
}
workflow['UUID'] = row[0]
workflow['subject'] = row[1]
workflow['signdate'] = row[2]
workflow['U_UnitName'] = row[3]
workflow['U_UnitUser'] = row[4]
workflow['U_UnitUserTitle'] = row[5]
workflow['U_UnitEndTime'] = row[6]
workflow['U_UnitAction'] = row[7]
workflow['U_UnitToTitle'] = row[8]
if insertWorkflows(__conn, workflow):
counter += 1
if counter % 1000 == 0:
__conn.commitData()
print("已经插入工作流数据: %d 条。"%counter)
__conn.commitData()
__conn.closeConn()
2、解析文件内容,首行为标题栏需要跳过。入库操作每满1000条commit一次主要是python频繁提交执行次数达到1000+就会报错。1000条commit一次可以避免错误并缓解内存压力。
'''
解析文件
'''
def analysisWorkflowCsv(file):
csvFile = csv.reader(file)
# 读取一行,下面的reader中已经没有该行了
head_row = next(csvFile)
# print(head_row)
__conn = getConnect_old()
counter = 0
for row in csvFile:
workflow = {
}
workflow['UUID'] = row[0]
workflow['subject'] = row[1]
workflow['signdate'] = row[2]
workflow['U_UnitName'] = row[3]
workflow['U_UnitUser'] = row[4]
workflow['U_UnitUserTitle'] = row[5]
workflow['U_UnitEndTime'] = row[6]
workflow['U_UnitAction'] = row[7]
workflow['U_UnitToTitle'] = row[8]
if insertWorkflows(__conn, workflow):
counter += 1
if counter % 1000 == 0:
__conn.commitData()
print("已经插入工作流数据: %d 条。"%counter)
__conn.commitData()
__conn.closeConn()
3、数据入库
'''
插入工作流程数据
'''
def insertWorkflows(__conn, workflow):
__sql = '''
INSERT INTO workflows (
UUID, U_UnitName, U_UnitUser, U_UnitUserTitle, U_UnitEndTime, U_UnitAction, U_UnitToTitle, subject, signdate
) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s)
'''
__params = (
workflow['UUID'], workflow['U_UnitName'], workflow['U_UnitUser'], workflow['U_UnitUserTitle'],
workflow['U_UnitEndTime'], workflow['U_UnitAction'], workflow['U_UnitToTitle'], workflow['subject'],
workflow['signdate']
)
# print(__sql % __params)
return __conn.mssql_exe_sql(__sql, __params)
4、python操作sqlserver代码
'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:778463939
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
import pymssql
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
'''
数据库连接
'''
class ConnectionDatabase(object):
# 连接mysql数据库
def __init__(self, ip, user_name, passwd, db, char='utf8'):
self.ip = ip
# self.port = port
self.username = user_name
self.passwd = passwd
self.mysqldb = db
self.char = char
self.MsSQL_db = pymssql.connect(
host=self.ip,
user=self.username,
password=self.passwd,
database=self.mysqldb,
charset=self.char)
# 查询数据(sqlserver)
def mssql_findList(self, sql):
cursor = self.MsSQL_db.cursor()
MsSQL_sql = sql
results = None
if not cursor:
raise (NameError,"数据库连接失败")
try:
# 执行SQL语句
cursor.execute(MsSQL_sql)
# 获取所有记录列表
results = cursor.fetchall()
except Exception as e:
print(e)
self.MsSQL_db.close()
if results:
return results
else:
return None
# 数据增删改查(sqlserver)
def mssql_exe_sql(self, sql, params):
cursor = self.MsSQL_db.cursor()
MsSQL_sql = sql
result = 0
if not cursor:
raise (NameError,"数据库连接失败")
try:
# 执行SQL语句
cursor.execute(MsSQL_sql, params)
result = cursor.rowcount
except Exception as e:
print(e)
self.MsSQL_db.rollback()
self.MsSQL_db.close()
return result>0
'''
提交数据集
'''
def commitData(self):
try:
self.MsSQL_db.commit()
except Exception as e:
print(e)
'''
关闭数据库连接
'''
def closeConn(self):
if self.MsSQL_db:
self.MsSQL_db.close()
5、执行代码
if __name__ == "__main__":
#文件所在的文件夹父路径
# testFilePath = "G:\数据解析\csv\workflowcsv"
testFilePath = "G:\数据解析\csv\wd25csv"
readAllFiles(testFilePath)
遇到的问题及解决方式:
(1)以上代码执行时如果有时间类型的字段需要对字符串进行转换;
re.sub('[^0-9 | \- | : ]', '', timestr)
利用正则表达式将时间字符串中的特殊字符去掉,再转换为时间字符串,避免代码执行时类型转换错误。
(2)数据库插入数据的sql语句最好使用的是带参数的执行方式,不要使用sql占位符拼接的方式,这样可能出现单引号“’”导致sql执行失败。
文章浏览阅读3.6k次,点赞2次,收藏2次。DELL7080台式机两块硬盘。_没有u盘怎么装ubuntu
文章浏览阅读32次。题面Bessie wants to navigate her spaceship through a dangerous asteroid field in the shape of an N x N grid (1 <= N <= 500). The grid contains K asteroids (1 <= K <= 10,000), which are conv...
文章浏览阅读2.6w次,点赞21次,收藏112次。机器视觉则主要是指工业领域视觉的应用研究,例如自主机器人的视觉,用于检测和测量的视觉系统等。它通过在工业领域将图像感知、图像处理、控制理论与软件、硬件紧密结合,并研究解决图像处理和计算机视觉理论在实际应用过程中的问题,以实现高效的运动控制或各种实时操作。_工业机器视觉系统的构成与开发过程(理论篇—1
文章浏览阅读5.9w次,点赞32次,收藏58次。legend 传奇、图例。plt.legend()的作用:在plt.plot() 定义后plt.legend() 会显示该 label 的内容,否则会报error: No handles with labels found to put in legend.plt.plot(result_price, color = 'red', label = 'Training Loss') legend作用位置:下图红圈处。..._plt.legend
文章浏览阅读2.2k次,点赞3次,收藏11次。深入理解 C# .NET Core 中 async await 异步编程思想引言一、什么是异步?1.1 简单实例(WatchTV并行CookCoffee)二、深入理解(异步)2.1 当我需要异步返回值时,怎么处理?2.2 充分利用异步并行的高效性async await的秘密引言很久没来CSDN了,快小半年了一直在闲置,也写不出一些带有思想和深度的文章;之前就写过一篇关于async await 的异步理解 ,现在回顾,真的不要太浅和太陋,让人不忍直视!好了,废话不再啰嗦,直入主题:一、什么是异步?_netcore async await
文章浏览阅读6.5w次,点赞166次,收藏309次。当我看到别人的类上面的多行注释是是这样的:这样的:这样的:好装X啊!我也想要!怎么办呢?往下瞅:跟着我左手右手一个慢动作~~~File--->Settings---->Editor---->File and Code Templates --->Includes--->File Header:之后点applay--..._idea作者和日期等注释
文章浏览阅读175次。Netperf是一种网络性能的测量工具,主要针对基于TCP或UDP的传输。Netperf根据应用的不同,可以进行不同模式的网络性能测试,即批量数据传输(bulk data transfer)模式和请求/应答(request/reponse)模式。工作原理Netperf工具以client/server方式工作。server端是netserver,用来侦听来自client端的连接,c..._netperf 麒麟
文章浏览阅读1.1k次,点赞2次,收藏3次。作者| qcrao责编 | 屠敏出品 | 程序员宅基地刚开始写这篇文章的时候,目标非常大,想要探索 Go 程序的一生:编码、编译、汇编、链接、运行、退出。它的每一步具体如何进行,力图弄清 Go 程序的这一生。在这个过程中,我又复习了一遍《程序员的自我修养》。这是一本讲编译、链接的书,非常详细,值得一看!数年前,我第一次看到这本书的书名,就非常喜欢。因为它模仿了周星驰喜剧..._go run 每次都要编译吗
文章浏览阅读1.4k次,点赞4次,收藏2次。0、C++的输入输出分为三种:(1)基于控制台的I/O (2)基于文件的I/O (3)基于字符串的I/O 1、头文件[cpp] view plaincopyprint?#include 2、作用istringstream类用于执行C++风格的字符串流的输入操作。 ostringstream类用_c++ istringstream a >> string
文章浏览阅读2k次,点赞3次,收藏14次。我们在每个修改的地方都记录一条对应的 redo 日志显然是不现实的,因此实现方式是用时间换空间,我们在数据库崩了之后用日志还原数据时,在执行这条日志之前,数据库应该是一个一致性状态,我们用对应的参数,执行固定的步骤,修改对应的数据。1,MySQL 就是通过 undolog 回滚日志来保证事务原子性的,在异常发生时,对已经执行的操作进行回滚,回滚日志会先于数据持久化到磁盘上(因为它记录的数据比较少,所以持久化的速度快),当用户再次启动数据库的时候,数据库能够通过查询回滚日志来回滚将之前未完成的事务。_binglog
文章浏览阅读3k次。概述之前介绍过 移动Web开发基础-flex弹性布局(兼容写法) 里面有提到过想做一个Chrome插件,来生成flexbox布局的css代码直接拷贝出来用。最近把这个想法实现了,给大家分享下。play-flexbox插件介绍play-flexbox一秒搞定flexbox布局,可直接预览效果,拷贝CSS代码快速用于页面重构。 你也可以通过点击以下链接(codepen示例)查_chrome css布局插件
文章浏览阅读308次。我自己的配置是GeForce GTX 1660 +CUDA10.0+CUDNN7.6.0 + TensorFlow-GPU 1.14.0Win10系统安装tensorflow-gpu(按照步骤一次成功)https://blog.csdn.net/zqxdsy/article/details/103152190环境配置——win10下TensorFlow-GPU安装(GTX1660 SUPER+CUDA10+CUDNN7.4)https://blog.csdn.net/jiDxiaohuo/arti