文档章节

Python按行分割大文件

程序猿之小菜鸟
 程序猿之小菜鸟
发布于 2016/08/17 10:45
字数 135
阅读 424
收藏 3
import os

def splitfile(filepath,linesize=3000):
    filedir,name = os.path.split(filepath)
    name,ext = os.path.splitext(name)
    filedir = os.path.join(filedir,name)
    if not os.path.exists(filedir):
        os.mkdir(filedir)
         
    partno = 0
    stream = open(filepath,'r', encoding='utf-8')
    while True:
        partfilename = os.path.join(filedir,name + '_' + str(partno) + ext)
        print('write start %s' % partfilename)
        part_stream = open(partfilename,'w', encoding='utf-8')
 
        read_count = 0
        while read_count < linesize:
            read_content = stream.readline()
            if read_content:
                part_stream.write(read_content)
            else:
                break
            read_count += 1
          
        part_stream.close()
        if(read_count < linesize) :
            break
        partno += 1
 
    print('done')
 
 
if __name__ == '__main__':
    splitfile(r'D:\工作资料\统计数据\equipmentinfo\equipmentinfo.sql',6000)

上面代码实现了将一个大文件按照6000行一个文件分割,写入到不同的文件中。

© 著作权归作者所有

共有 人打赏支持
程序猿之小菜鸟
粉丝 5
博文 56
码字总数 8876
作品 0
青岛
程序员
Python Coding Rule

介绍 这篇文档所给出的编码约定适用于在主要的Python发布版本中组成标准库的Python 代码.请查阅相关的关于在Python的C实现中C代码风格指南的描述. 这篇文档改编自Guido最初的《Python风格指南...

索隆
2012/04/24
0
0
1. 文本处理加速(利用多核优势进行文本的并列处理)

人生苦短,我用Python!然后学学使用Shell。 任务要求 在写爬虫或是做文本数据清洗的时候,有的时候发现我们用python写的处理程序会遇到速度过慢的问题,造成这个的原因可能如下: Python 自...

北静王
08/13
0
0
Python Split函数的用法总结(持续更新中。。。)

字符串的split用法 说明: Python中没有字符类型的说法,只有字符串,这里所说的字符就是只包含一个字符的字符串!!! 这里这样写的原因只是为了方便理解,仅此而已。 由于敢接触Python,所...

赵西元
2013/07/23
0
3
Using the Python Interpret 之 Invoking the Interp

一,启动(invoking)python解释器 python解释器通常情况下如果你的机器允许的话会安装在 /usr/local/bin/python 目录下,然后你需要把这个路径放置到系统的环境变量中并且确保它生效,然后你...

Koma
2015/02/28
0
6
Python操作小结(mysql、txt\json、crontab、http)

有段时间没有使用python了,对它的语法有点生疏,花了几个小时熟悉,期间发现很多小细节不清楚。为了下次能快速上手,避免重复犯错,我将python使用过程中的一些问题在这篇博文中记录小结一下...

lilugoodjob
07/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

LSM-Tree 大数据索引技术

一、LSM-Tree概述 核心思想就是放弃部分读能力,换取写入能力的最大化。LSM-Tree ,这个概念就是结构化合并树(Log-Structured Merge Tree)的意思,它的核心思路其实非常简单,就是假定内存...

PeakFang-BOK
12分钟前
0
0
vue.js响应式原理解析与实现

从很久之前就已经接触过了angularjs了,当时就已经了解到,angularjs是通过脏检查来实现数据监测以及页面更新渲染。之后,再接触了vue.js,当时也一度很好奇vue.js是如何监测数据更新并且重新...

peakedness丶
18分钟前
0
0
Weblogic补丁升级操作步骤

linux平台: weblogic1036 1:停止weblogic服务 2:打FMJJ补丁 a:获取weblogic_home目录并执行命令:export weblogic_home="/weblogic/wls1036_x64",(此目录一般为目录“user_projects”上...

fang_faye
31分钟前
0
0
04-《Apache Tomcat 9 User Guide》之部署项目

1.Introduction Deployment is the term used for the process of installing a web application (either a 3rd party WAR or your own custom web application) into the Tomcat server. 部......

飞鱼说编程
31分钟前
0
0
一位十年的老码农他眼中的区块链

大家可能已经听说过比特币、莱特币、以太币等等,以及它们作为一种新货币在市场上的潜力。 有趣的是,很多投资比特币的人也提到了区块链之类的东西。 显然,这项技术是比特币等其他东西的"基...

小刀爱编程
39分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部