前几天在博客园首页看到这个2000W数据的消息，刚好这个学期正在SQL入门，加上好奇心的驱使，把这个下载下来。
一个是600多M的CSV文件，还有一个是1.7G的SQL Server的备份文件，解压后都接近8G了，试着在sql server2000上导入一下，貌似直接就说太多了……汗
所以，只好先看看这个CSV文件了，这个解压后也接近2G了，一般的文本编辑器似乎都没辙了，excel之类的东西更是别指望了，好吧，我先承认我的电脑很差，80G的硬盘，并口，ATA/133……呃
我用HEX编辑软件查看了一下，居然是UTF8的编码，那就先用Python简单写段查询，看看有没有村里人中枪吧，哈哈
# -*- coding: utf-8 -*-
def cn(s):
return s.decode("utf8").encode("gbk")
try:
fp=file("2000w.csv","r")
while 1:
fp.seek(0)
word=raw_input(cn("查询关键词:"))
fout=file(word+".txt","w")
#sline=int(raw_input(cn("起始行:")))
if word=='exit':break
word=word.decode("gbk").encode("utf8")
i=0
print "start..."
while 1:
i=i+1
datl=fp.readline()
if datl=="":break
if i%10000==0:print i
#if i<sline:continue
if datl.find(word)>0:
tstr=cn("【Line:%d】%s"%(i,datl))
print tstr,
print>>fout,tstr,
#pmt=raw_input(cn("是否继续(y/n):"))
#if pmt=='n':break
print "end"
fout.close()
finally:
fp.close()
fout.close()
顺便把查询记录也保存为一个文件，结果……似乎没发现认识的人，看来他们的保密措施做的不错，哈哈。
终归还是为了练习SQL的，所以还是要将数据导入到sql server先。
在此吐槽一下微软的东西，安装包越做越大，装个软件好几个小时，记得去年装个VS2012Express居然花了整整一上午！！！
所以，对于我这种偏执狂以及标准穷屌丝来说，VC用6.0，sql server用2000的，还是云端版，才几十M，入门学习足够了，哈哈。
回正题，我试着将CSV文件导入到SQL Server里去，发现编码方式只能选择ANSI或者Unicode之类的，选Unicode后英文字符都不正确了，ANSI的话中文肯定乱码，所以还是用Python将编码转成UTF8，插了下资料，UTF8的文本文件有个3字节的文件头，EFBBBF，我直接把它忽略了，哈哈
#MAXLIST=1000
frp=file("2000w_utf8.csv","r")
fwp=file("2000w_ansi.csv","w")
i=1
dat=frp.readline()
fwp.write(dat[3:])
try:
while 1:
i=i+1
if i%10000==0:print i
dat=frp.readline()
if dat=="":break
#if i>MAXLIST:break
else:
try:
dat_w=dat.decode("utf8").encode("gbk")
except UnicodeEncodeError:
print "gbk encode error"
fwp.write(dat)
fwp.write(dat_w)
except Exception,e:
print e
finally:
frp.close()
fwp.close()
print "ok"
这样，导入SQLServer就正确了。
PS：我的数据似乎只有1200多万，没有2000W啊，不知是不是没有下载到完整版，嘿嘿
转载于:https://www.cnblogs.com/fwindpeak/p/3392955.html
今天的文章关于2000W数据分享到此就结束了，感谢您的阅读。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/23798.html
