文档章节

Python按行分割大文件

程序猿之小菜鸟
 程序猿之小菜鸟
发布于 2016/08/17 10:45
字数 135
阅读 275
收藏 2
点赞 0
评论 0
import os

def splitfile(filepath,linesize=3000):
    filedir,name = os.path.split(filepath)
    name,ext = os.path.splitext(name)
    filedir = os.path.join(filedir,name)
    if not os.path.exists(filedir):
        os.mkdir(filedir)
         
    partno = 0
    stream = open(filepath,'r', encoding='utf-8')
    while True:
        partfilename = os.path.join(filedir,name + '_' + str(partno) + ext)
        print('write start %s' % partfilename)
        part_stream = open(partfilename,'w', encoding='utf-8')
 
        read_count = 0
        while read_count < linesize:
            read_content = stream.readline()
            if read_content:
                part_stream.write(read_content)
            else:
                break
            read_count += 1
          
        part_stream.close()
        if(read_count < linesize) :
            break
        partno += 1
 
    print('done')
 
 
if __name__ == '__main__':
    splitfile(r'D:\工作资料\统计数据\equipmentinfo\equipmentinfo.sql',6000)

上面代码实现了将一个大文件按照6000行一个文件分割,写入到不同的文件中。

© 著作权归作者所有

共有 人打赏支持
程序猿之小菜鸟
粉丝 5
博文 55
码字总数 8876
作品 0
青岛
程序员
《Python从小白到大牛》第3章 第一个Python程序

本章以HelloWorld作为切入点,介绍如何编写和运行Python程序代码。 运行Python程序主要有两种方式: 1.交互式方式运行 2.文件方式运行 本章介绍这两种运行方式实现HelloWorld程序。 使用P...

tony关东升 ⋅ 昨天 ⋅ 0

计算gif动图相邻两帧的时间间隔

如题, gif按帧分割后再合成, 试了很多间隔时间, 都不能与原图一样, 就想到了, 使用原图帧间隔, 但不知道如何获取, 最好使用Python其他语言也行, 只要Python可以调用, 获取到...

Moodys ⋅ 05/04 ⋅ 0

她们不一样!python小白刚学会python竟然爬取了网上所有小姐姐的照片

如今想学python的人越来越多,无论是专业的程序员还是业余爱好者,都对python情有独钟。世界上值得学习的技能有很多,但是如果你要问我推荐哪一个,那么我会推荐一门编程语言,比如python。如...

Python学习 ⋅ 06/06 ⋅ 0

Ubuntu部署python3-flask-nginx-uwsgi-supervisor完美

http://blog.51cto.com/jokerbug by:joker_bug 安装虚拟环境 把虚拟机环境添加环境变量中 为flask项目创建一个虚拟环境 安装mysql数据库,安装数据这个没什么好提的网上有很多详细教程 安装n...

joker_bug ⋅ 2017/12/28 ⋅ 0

云计算学习笔记,云计算Python自动化基本用法

Python编程博大精深,知识点众多,需要先整体上了解python的一些基本用法之后再去对每一个知识点细细研究,这样学习的速度会快很多。所以下面就先看一些python事先需要知道的基本知识。 行和...

长沙千锋 ⋅ 04/12 ⋅ 0

CentOS7安装Python3

CentOS7默认安装了python2.7.5,当需要使用python3的时候,可以手动下载Python源码后编译安装。 下载python(https://www.python.org 上面下载对应版本) 安装一个软件 yum install -y readlin...

alex43211 ⋅ 2016/06/14 ⋅ 1

caffe训练打印log分析train loss和test loss并绘制变化曲线

其实很简单,将屏幕输出先保存到文件中,然后使用shell的文本分析命令处理,得到train loss,然后再保存到文件中,利用matlab或者python进行曲线绘制 一条命令,包含多个shell命令假设caffe...

joshuaxx316 ⋅ 2016/09/17 ⋅ 0

云计算Python自动化运维开发实战:行和缩进

学习Python时,遇到的第一个需要注意的地方是,不使用括号来表示代码的类和函数定义块或流程控制。代码块是由行缩进,这是严格执行表示方式。 缩进位的数目是可变的,但是在块中的所有语句必...

长沙千锋 ⋅ 05/15 ⋅ 0

基于python的机器学习(1)-环境配置

基于python的机器学习(1)-环境配置 01.基本介绍 不能说当前机器学习很强大,但是可以说当前机器学习在现实的生活中所起的作用也越来越大了,将来,社会对这方面的人才需求也会越老越大。对...

meiqi0538 ⋅ 04/20 ⋅ 0

Python处理csv、xlsx、pdf

一、csv文件的处理 CSV(Comma-Separated Values)即逗号分隔值,可以用Excel打开查看。由于是纯文本,任何编辑器也都可打开。与 Excel 文件不同,CSV 文件中: 值没有类型,所有值都是字符串 ...

blackfoxya ⋅ 06/08 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

开启Swarm集群以及可视化管理

在搭建的两台coreos服务器上开启swarm集群 前置条件: docker均开启2375端口 同一个局域网内 主服务器上安装Portainer容器 安装Portainer容器执行: docker run -d -p 9000:9000 --restart=a...

ykbj ⋅ 28分钟前 ⋅ 0

单例设计模式

1、单例模式确保某一个类只有一个实例,而且自行实例化并向整个系统提供这个实例 2、饿汉式单例类 在这个类被加载时,静态变量instance会被初始化,此时类的私有构造子会被调用 饿汉式是典型...

职业搬砖20年 ⋅ 33分钟前 ⋅ 0

前端基础(四):前端国际规范收集

字数:1142 阅读时间:5分钟 前言 由于前端技术的灵活性和杂乱性,导致网上的许多解决方案不够全面甚至是完全错误,容易起到误导作用。所以,我对搜索到的解决方案往往是存疑态度。那么,如何...

老司机带你撸代码 ⋅ 35分钟前 ⋅ 0

Failed to open/create Network-VirtualBox Host-Only

虚拟机版本 : Oracle Vm VirtualBox 5.2.12 报错时机:开网卡二,重启虚拟机报错 "Failed to open/create the internal network 'HostInterfaceNetworking-VirtualBox Host-Only Ethernet Ada......

p至尊宝 ⋅ 39分钟前 ⋅ 0

三分钟学会如何在函数计算中使用 puppeteer

摘要: 使用 puppeteer 结合函数计算,可以快速的构建弹性的服务完成各种功能,包括:生成网页截图或者 PDF、高级爬虫,可以爬取大量异步渲染内容的网页、模拟键盘输入、表单自动提交、登录网...

阿里云云栖社区 ⋅ 42分钟前 ⋅ 0

springMVC接收表单时 Bean对象有Double Int Char类型的处理

前台ajax提交表单price为double类型 后台controller就介绍不到 400错误 前台 实体类: public class ReleaseMapIconConfig{ private String id; private long maxValue; private long minVal......

废柴 ⋅ 44分钟前 ⋅ 0

ZOOKEEPER安装

工作需要在ubuntu上配置了一个zookeeper集群,有些问题记录下来。 1. zookeeper以来java,所以首先要安装java。但是ubuntu系统有自带的jdk,需要通过命令切换java版本: $ sudo update-alter...

恰东 ⋅ 47分钟前 ⋅ 0

linux 进程地址空间的一步步探究

我们知道,在32位机器上linux操作系统中的进程的地址空间大小是4G,其中0-3G是用户空间,3G-4G是内核空间。其实,这个4G的地址空间是不存在的,也就是我们所说的虚拟内存空间。 那虚拟内存空间...

HelloRookie ⋅ 47分钟前 ⋅ 0

myatis #{}与${}区别及原理

https://blog.csdn.net/wo541075754/article/details/54292751

李道福 ⋅ 51分钟前 ⋅ 0

三分钟学会如何在函数计算中使用 puppeteer

摘要: 使用 puppeteer 结合函数计算,可以快速的构建弹性的服务完成各种功能,包括:生成网页截图或者 PDF、高级爬虫,可以爬取大量异步渲染内容的网页、模拟键盘输入、表单自动提交、登录网...

猫耳m ⋅ 52分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部