使用python读取csv文件快速插入postgres数据库 下面为完整代码
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys
reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')
engine = create_engine(
'postgresql+psycopg2://'数据库连接)
filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='
print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'
print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)
connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'
文章浏览阅读503次。ylbtech-杂项-安全：容灾系统容灾系统，对于IT而言，就是为计算机信息系统提供的一个能应付各种灾难的环境。当计算机系统在遭受如火灾、水灾、地震、战争等不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、硬件/软件错误和人为操作错误等人为灾难时，容灾系统将保证用户数据的安全性（数据容灾），甚至，一个更加完善的容灾系统，还能提供不间断的应用服务（应用容..._备中心不影响主中心性能,
文章浏览阅读490次。*1. strlen函数：**计算的是字符串str的长度，从字符的首地址开始遍历，以 ‘\0’ 为结束标志，然后将计算的长度返回，计算的长度并不包含’\0’。当我们遇到“\0"时我们就要停止读取，此时“\0"前字符的个数就是字符串的长度，注意：这里的“\0"只是结束标志，仅仅告诉我们strlen函数读取到这里就要停止了，“\0"不算做一个字符！！！**2. sizeof函数：**相比strlen函数，sizeof就简单多了，sizeof其实就是一个运算符，主要用来计算所占空间字节的大小。
文章浏览阅读438次。一梦江湖12月3日更新了什么体验优化调整一、更新内容1、面对面交易新增更新后，时装·十里荼蘼开放面对面交易。2、晓风开染色优化修正了晓风开·冠染白两鬓露黑的问题。3、白重预览优化修正了预览挂件·白重时的挂件角度错误问题。4、纸玩法开放材料购买为弘扬民间剪纸艺术，阴如穆决定放开手中杂货的门派购买限制，太阴以外的侠士也可在他那里购买用于剪纸的白纸、炭笔和染料了！5、神机万象修复修复了主动篆铭技的冷却时...
文章浏览阅读5.4k次，点赞8次，收藏38次。Python自动化操作(pywinauto)_python pywinauto
文章浏览阅读7.8w次，点赞28次，收藏169次。 很多人在使用虚拟机系统的时候，经常对虚拟机的运行速度不甚满意，甚至经常很恼火。虚拟机速度慢有很多原因，每个人需要根据自己的情况具体分析，本文根据笔者的使用经验将从17个方面进行分析和总结，以期能尽量优化虚拟机的运行速度。 本文是本专题的第二篇文章，上一篇文章请戳这里《vmware虚拟机运行速度卡慢原因分析及解决办法大全（一）》6、分辨率 显示性能也是影响虚拟机速度的重要因素，在不影响工作的..._虚拟机打开主机2文件很慢怎么办
文章浏览阅读475次，点赞6次，收藏5次。问题记录。转义字符 \ 、文件读写。_(unicode error) 'unicodeescape' codec can't decode bytes in position 12-13:
文章浏览阅读1.8k次，点赞6次，收藏38次。好，我们一一对应上之后，我们以上海到北京的高铁为例，假设全上海的人都要坐高铁去北京，为了达到最高效率，那就是上海到北京的铁轨上高铁首尾相接，从上海虹桥排到北京南站，这些首位相接的高铁还都以310Km/h的速度前进（这里我们不考虑高铁停在北京南站下客减速的时间哈）。大家都知道AXI是ARM AMBA协议家族的一员，AXI的很多特性，例如分离的读写通道、Burst传输，Interleaving、乱序返回等特，显著提升了SOC互连的性能。和高铁列数的计算类似，我们首先需要确定AXI Master 在需要的场景。_dma outstanding
文章浏览阅读1k次，点赞18次，收藏19次。从清华大学到天谋科技：一名 IoTDB 深度参与者的转换与成长。自 2020 年以来，在数字化、国产化浪潮叠加下，中国信创产业得以高速发展，从基础硬件到基础软件、应用软件再到信息安全层面均涌现出一批领先的项目和厂商。聚焦到基础软件层面，以 IoTDB 为代表的国产时序数据库正为工业、制造业等国家支柱行业的数字化转型、国产化替代筑基。作为一款从“0”到“1”自主研发的国产时序数据库，IoTDB 刚刚...
文章浏览阅读666次，点赞4次，收藏7次。条件判断switch-case-otherwise-end语句_matlab中判断条件切换
文章浏览阅读606次。本次测试使用的 MySQL 版本是 5.7.26，随着 MySQL 版本的更新某些特性可能会发生改变，本文不代表所述观点和结论于 MySQL 所有版本均准确无误，版本差异请自行甄别。原文：https://www.guitu18.com/post/2019/11/24/61.html前言数据库优化是一个任重而道远的任务，想要做优化必须深入理解数据库的各种特性。在开发过程中我们经常会遇到一些原因很简单但造成的后果却很严重的疑难杂症，这类问题往往还不容易定位，排查费时费力最后发现是一个很小的疏忽造成的，._数据库隐式转换 索引失效
文章浏览阅读3.3k次，点赞4次，收藏9次。终于开始攻克并行这一块了，有点小兴奋，来看看网络上R语言并行办法有哪些： 赵鹏老师（R与并行计算）做的总结已经很到位。现在并行可以分为： 隐式并行：隐式计算对用户隐藏了大部分细节，用户不需要知道具体数据分配方式 ，算法的实现或者底层的硬件资源分配。系统会根据当前的硬件资源来自动启动计算核心。显然，这种模式对于大多数用户来说是最喜闻乐见的。 显性并行：显式计算则要求用户能够自己..._clusterexport
文章浏览阅读2.9k次，点赞2次，收藏3次。exe文件：electron设置窗口默认最大化(默认全屏)_electron窗口最大化