Python按行分割大文件
Python按行分割大文件
程序猿之小菜鸟 发表于1年前
Python按行分割大文件
  • 发表于 1年前
  • 阅读 211
  • 收藏 2
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

import os

def splitfile(filepath,linesize=3000):
    filedir,name = os.path.split(filepath)
    name,ext = os.path.splitext(name)
    filedir = os.path.join(filedir,name)
    if not os.path.exists(filedir):
        os.mkdir(filedir)
         
    partno = 0
    stream = open(filepath,'r', encoding='utf-8')
    while True:
        partfilename = os.path.join(filedir,name + '_' + str(partno) + ext)
        print('write start %s' % partfilename)
        part_stream = open(partfilename,'w', encoding='utf-8')
 
        read_count = 0
        while read_count < linesize:
            read_content = stream.readline()
            if read_content:
                part_stream.write(read_content)
            else:
                break
            read_count += 1
          
        part_stream.close()
        if(read_count < linesize) :
            break
        partno += 1
 
    print('done')
 
 
if __name__ == '__main__':
    splitfile(r'D:\工作资料\统计数据\equipmentinfo\equipmentinfo.sql',6000)

上面代码实现了将一个大文件按照6000行一个文件分割,写入到不同的文件中。

共有 人打赏支持
粉丝 5
博文 53
码字总数 8515
×
程序猿之小菜鸟
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: