文档章节

Python处理csv、xlsx、pdf

blackfoxya
 blackfoxya
发布于 2018/06/08 21:42
字数 3444
阅读 1053
收藏 29

一、csv文件的处理

CSV(Comma-Separated Values)即逗号分隔值,可以用Excel打开查看。由于是纯文本,任何编辑器也都可打开。与 Excel 文件不同,CSV 文件中:

  • 值没有类型,所有值都是字符串
  • 不能指定字体颜色等样式
  • 不能指定单元格的宽高,不能合并单元格
  • 没有多个工作表
  • 不能嵌入图像图表

1.1 csv读取数据

在CSV文件中,以 "," 作为分隔符,分隔两个单元格。像这样a,,c表示单元格a和单元格c之间有个空白的单元格。依此类推。

不是每个逗号都表示单元格之间的分界。所以即使CSV是纯文本文件,也坚持使用专门的模块进行处理。Python内置了csv模块。先看看一个简单的例子。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/7 20:43
# @Author  : zhouyuyao
# @File    : demon1.py

import csv

filename = "E:/GitHub/Python-Learning/LIVE_PYTHON/2018-06-05/学位英语成绩合格汇总表.csv"
with open(filename) as f:
    reader = csv.reader(f)
    print(list(reader))

reader 不能直接打印,list(reader) 最外层是 list,里层的每一行数据都在一个list中,有点像这样

[['姓名', '性别', '民族', '专业名称', '成绩'], ['刘竞超', '男', '汉族', '工商企业管理', '60'], ··· ···]

如果我们想要知道 “刘竞超” 的成绩 reader[1][5],在 for 循环中遍历如下

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/7 20:43
# @Author  : zhouyuyao
# @File    : demon1.py

import csv

filename = "E:/GitHub/Python-Learning/LIVE_PYTHON/2018-06-05/学位英语成绩合格汇总表.csv"
with open(filename) as f:
    reader = csv.reader(f)
    for i in reader:
        # 行号从1开始
        print(reader.line_num,i)

输出的结果如下所示

1 ['姓名', '性别', '民族', '专业名称', '成绩']
2 ['刘竞超', '男', '汉族', '工商企业管理', '60']
3 ['刘毅', '女', '汉族', '金融管理', '70']
4 ['李自根', '男', '汉族', '园林', '75']
5 ··· ···

前面的数字是行号,从1开始,可以用 reader.line_num 获取。

要注意的是,reader 只能被遍历一次。由于 reader 是可迭代对象,可以使用 next方法一次获取一行。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/7 20:43
# @Author  : zhouyuyao
# @File    : demon1.py

import csv

filename = "E:/GitHub/Python-Learning/LIVE_PYTHON/2018-06-05/学位英语成绩合格汇总表.csv"
with open(filename) as f:
    reader = csv.reader(f)
    # 读取一行,下面的reader中已经没有该行了
    head_row=next(reader)
    for i in reader:
        # 行号从2开始
        print(reader.line_num,i)

在这里值得一提的是,在PyCharm中复制路径的时候一直出现找不到文件,这是由于在python程序里面我们经常需要对文件进行操作,Windows 下的文件目录路径使用反斜杠 “\” 来分隔。但是,和大多数语言一样,Python 代码里面,反斜杠 “\” 是转义符,例如 “\n” 表示回车、“\t” 表示制表符等等。这样,如果继续用windows 习惯使用 “\” 表示文件路径,就会产生歧义。

      例如:“c:\test.txt” 这表示 c 盘根目录下的一个文件,还是表示一个字符串呢?因为 “\t” 也可以解释为制表符。如果让我们人来判断,这当然是一个很简单的问题。但是机器就无法做出正确的判断了,只有没有歧义的代码机器才会正确执行。

      解决办法,采用下面任何一种书写形式均可:

  • 使用斜杠“/”: "c:/test.txt"… 不用反斜杠就没法产生歧义了 
  • 将反斜杠符号转义: "c:\\test.txt"… 因为反斜杠是转义符,所以两个"\\"就表示一个反斜杠符号 
  • 使用Python的raw string: r"c:\test.txt" … python下在字符串前面加上字母r,表示后面是一个原始字符串raw string,不过raw string主要是为正则表达式而不是windows路径设计的,所以这种做法尽量少用,可能会出问题。

1.2 csv写入数据

有reader可以读取,当然也有writer可以写入。一次写入一行,一次写入多行都可以。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/8 10:12
# @Author  : zhouyuyao
# @File    : demon2.py

import csv

# 使用数字和字符串的数字都可以
datas=[
    ['朱丽蓉', '女', '汉族', '金融管理', '84'],
    ['吴江滔', '女', '汉族', '企业财务管理', '78']
]

filename = "E:/GitHub/Python-Learning/LIVE_PYTHON/2018-06-05/学位英语成绩合格汇总表.csv"
with open(filename,"a",newline="") as f:
    writer = csv.writer(f)
    for row in datas:
        writer.writerow(row)

    # 写入多行
    writer.writerows(datas)

之后我们可以在csv文件中看到刚刚写入的数据

1 ['姓名', '性别', '民族', '专业名称', '成绩']
2 ['张沐青', '女', '汉族', '金融管理', '62']
3 ['金彦豪', '男', '朝鲜族', '环境工程', '67']
4 ['朱丽蓉', '女', '汉族', '金融管理', '84']
5 ['吴江滔', '女', '汉族', '企业财务管理', '78']
6 ['朱丽蓉', '女', '汉族', '金融管理', '84']
7 ['吴江滔', '女', '汉族', '企业财务管理', '78']

DictReader 和 DictWriter 对象

使用 DictReader 可以像操作字典那样获取数据,把表的第一行(一般是标头)作为 key。可访问每一行中那个某个 key 对应的数据。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/8 10:12
# @Author  : zhouyuyao
# @File    : demon2.py

import csv

# 使用数字和字符串的数字都可以
datas = [
    {'姓名': '张沐青', '性别': '女', '民族': '汉族', '专业名称': '金融管理', '成绩': '62'}
]

filename = "E:/GitHub/Python-Learning/LIVE_PYTHON/2018-06-05/学位英语成绩合格汇总表.csv"

with open(filename, "a") as f:
    headers = [k for k in datas[0]]        # 取出待写入数据中的 key 值
    writer = csv.DictWriter(f, headers)
    '''
    __init__(self, f, fieldnames, restval="", extrasaction="raise",
                 dialect="excel", *args, **kwds):
        self.fieldnames = fieldnames    # list of keys for the dict
        self.restval = restval          # for writing short dicts
        if extrasaction.lower() not in ("raise", "ignore"):
            raise ValueError("extrasaction (%s) must be 'raise' or 'ignore'"
                             % extrasaction)
        self.extrasaction = extrasaction
        self.writer = writer(f, dialect, *args, **kwds)
    '''
    writer.writeheader()
    '''
    def writeheader(self):
        header = dict(zip(self.fieldnames, self.fieldnames))
            self.writerow(header)
    '''
    for row in datas:
        writer.writerow(row)
    # 写入多行
    # writer.writerows(datas)

with open(filename, 'r+') as csv_file:
    reader = csv.DictReader(csv_file)
    '''
        def __init__(self, f, fieldnames=None, restkey=None, restval=None,
                 dialect="excel", *args, **kwds):
        self._fieldnames = fieldnames   # list of keys for the dict
        self.restkey = restkey          # key to catch long rows
        self.restval = restval          # default value for short rows
        self.reader = reader(f, dialect, *args, **kwds)
        self.dialect = dialect
        self.line_num = 0
    '''
    print(str([row for row in reader]))

运行之后在IDE的显示结果如下

[OrderedDict([('姓名', '张沐青'), ('性别', '女'), ('民族', '汉族'), ('专业名称', '金融管理'), ('成绩', '62')]), OrderedDict([('姓名', '金彦豪'), ('性别', '男'), ('民族', '朝鲜族'), ('专业名称', '环境工程'), ('成绩', '67')]), OrderedDict([('姓名', '姓名'), ('性别', '性别'), ('民族', '民族'), ('专业名称', '专业名称'), ('成绩', '成绩')]), OrderedDict([('姓名', '张沐青'), ('性别', '女'), ('民族', '汉族'), ('专业名称', '金融管理'), ('成绩', '62')])]

用 Excel 打开 csv 文件显示如下

二、Excel 的处理

python 提供有第三方库来支持excel的操作,python处理excel文件用的第三方模块库,有xlrd、xlwt、xluntils和pyExcelerator,

除此之外,python处理excel还可以用win32com和openpyxl模块.

我们主要用xlrd、xlwt、xluntils这三个模块,pyExcelerator模块偶尔也会用:

pip install xlrd
pip install xlwt
pip install xlutils
pip install pyExcelerator

xlrd 只能进行读取excel文件,没法进行写入文件;

xlwt 可以写入文件,但是不能在已有的excel的文件上进行修改;

xluntils 可以在已有的excel文件上进行修改;

pyExcelerator 与xlwt类似,也可以用来生成excel文件

2.1 读取表单数据

1)按行取数据

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/8 13:58
# @Author  : zhouyuyao
# @File    : demon1.py
import xlrd

filename="E:/GitHub/Python-Learning/LIVE_PYTHON/2018-06-07/学位英语成绩合格汇总表.xls"

def readExcel():
    data = xlrd.open_workbook(filename)
    table = data.sheets()[0]            # 打开第一张表
    nrows = table.nrows                 # 获取表的行数
    for i in range(nrows):              # 循环逐行打印
        print(table.row_values(i))      # 通过row_values来获取每行的值

if __name__ == '__main__':
    readExcel()

读取结果

['姓名', '性别', '民族', '专业名称', '成绩']
['张沐青', '女', '汉族', '金融管理', 62.0]
['金彦豪', '男', '朝鲜族', '环境工程', 67.0]
['毛倩', '女', '汉族', '金融管理', 60.0]
['周冬', '男', '汉族', '企业财务管理', 64.0]

2)按列取数据

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/8 14:23
# @Author  : zhouyuyao
# @File    : demon2.py
filename="E:/GitHub/Python-Learning/LIVE_PYTHON/2018-06-07/学位英语成绩合格汇总表.xls"

import xlrd
data = xlrd.open_workbook(filename)
table2 = data.sheet_by_name("test2")       # "test2" 为 sheet 标签页的名称
for col in range(table2.ncols):
    print (table2.col_values(col))

读取结果如下

['姓名', '刘竞超', '刘毅', '李自根', '李思琦']
['性别', '男', '女', '男', '男']
['民族', '汉族', '汉族', '汉族', '汉族']
['专业名称', '工商企业管理', '金融管理', '园林', '工商管理']
['成绩', 60.0, 70.0, 75.0, 78.0]

3)创建新的并写入,不修改

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/8 14:30
# @Author  : zhouyuyao
# @File    : demon3.py
import xlwt
excel = xlwt.Workbook()

# 创建3个表
sheet1 = excel.add_sheet("test1",cell_overwrite_ok=True)
#                                cell_overwrite_ok 参数用来确认同一个cell单元是否可以重设值
sheet2 = excel.add_sheet("test2")
sheet3 = excel.add_sheet("test3")

# 只在第一个表sheet1里写数据,如下:
sheet1.write(0,0,"hello world1")
sheet1.write(1,0,"hello world2")
sheet1.write(2,0,"hello world3")
# 第一个是行,第二个是列,第三个是内容。

excel.save("./hello.xlsx")
print("创建hello.xlsx完成")

运行之后在代码文件的同级目录下将创建一个 hello.xlsx 文件,并且有三张表,第一张表中有三行内容,内容如下

注:每一个 excel 文件就是一个工作簿。每个工作簿中有一张或若干张工作表。

4)字体效果

使用样式,字体类型、加粗等效果:

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/8 14:51
# @Author  : zhouyuyao
# @File    : demon4.py
import xlwt
excel = xlwt.Workbook()

# 创建3个表
sheet1 = excel.add_sheet("sheet1")
sheet2 = excel.add_sheet("sheet2")
sheet3 = excel.add_sheet("sheet3")

# 初始化样式
style = xlwt.XFStyle()

# 为样式创建字体
font = xlwt.Font()
font.name = u'微软雅黑'          # 指定字体名称
font.bold = True                # 是否加粗

# 设置样式的字体
style.font = font

# 使用样式
sheet3.write(0,1,u'微软雅黑',style)

# 保存该excel文件,有同名文件时直接覆盖
excel.save('world.xlsx')
print('创建world.xlsx文件完成!')

运行之后将在同级目录下创建一个  world.xlsx 文件,在第三张表的第一行第二列新增内容,如下所示

5)处理超链接

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/8 14:58
# @Author  : zhouyuyao
# @File    : demon5.py

import codecs
import xlwt

book = xlwt.Workbook()
sheet_index = book.add_sheet('index')
line=0
for i in range(9):
    link = 'HYPERLINK("{0}.txt", "{1}_11111")'.format(i, i)
    # {0}.txt是要链接的文件,{1}_11111是链接文件的内容

    sheet_index.write(i, 0, xlwt.Formula(link))
    # 第一个行号,第二个列号,第三个是写入内容link,内容里面超链接
book.save('HowAreYou.xlsx')
for i in range(0, 9):
    file = str(i) + ".txt"
    with codecs.open(file, 'w') as f:
        f.write(str(i)*10)

运行之后将在同级目录下创建 8 个 txt 文件和一个 Excel 文件,打开 Excel 文件,点击一行的内容都将链接到一个txt 文件并打开它

三、PDF文件的处理

转换成pdf的三种方法:

在工作中,会遇到把html文件转换成pdf文件

python给我们提供了pdfkit这个模块,直接安装使用就可以了

这里需要注意的是,为了更好的处理,我们需要在 Windows 上从  https://wkhtmltopdf.org/ 下载 wkhtmltopdf 应用,以便在代码中进行调用 (Windows 上为 exe 文件,Linux 上为二进制文件)。

下面就来介绍一个pdfkit模块的几种用法

首先,我们安装该模块:

pip install pdfkit

1)网页转换成 pdf(直接把 url 转换成 pdf 文件)

import pdfkit
pdfkit.from_url('http://google.com', 'out1.pdf')

2) Html转换成pdf

import pdfkit
pdfkit.from_file('test.html', 'out2.pdf')

3) 字符串转换成pdf

import pdfkit
pdfkit.from_string('Hello lingxiangxiang!', 'out3.pdf')

三种方法简单例子:

import pdfkit
pdfkit.from_file("hello.html", 1.pdf)
pdfkit.from_url("www.baidu.com", 2.pdf)
pdfkit.from_string("hello world", 3.pdf)

即可生成pdf文件~

举例:

抓取aming的linux教程,然后制作成pdf文件

先抓取每个的网页,然后生成pdf文件

(1)查看网页源代码

(2)查看源代码内容

<ul>
<li class="toctree-l1"><a class="reference internal" href="chapter1.html">第1章 前言</a></li>
<li class="toctree-l1"><a class="reference internal" href="chapter2.html">第2章 关于Linux的历史</a></li>
<li class="toctree-l1"><a class="reference internal" href="chapter3.html">第3章 对Linux系统管理员的建议</a><ul>
<li class="toctree-l2"><a class="reference internal" href="chapter3.html#id1">要安装什么版本的Linux操作系统</a></li>
<li class="toctree-l2"><a class="reference internal" href="chapter3.html#id2">图形界面还是命令窗口</a></li>
<li class="toctree-l2"><a class="reference internal" href="chapter3.html#id3">养成安全严谨的习惯</a></li>
</ul>
</li>
<li class="toctree-l1"><a class="reference internal" href="chapter4.html">第4章 安装Linux操作系统</a><ul>
<li class="toctree-l2"><a class="reference internal" href="chapter4.html#id1">安装虚拟机</a></li>
<li class="toctree-l2"><a class="reference internal" href="chapter4.html#id3">下载Linux操作系统镜像文件</a></li>
<li class="toctree-l2"><a class="reference internal" href="chapter4.html#centos">安装CentOS (图形化安装)</a></li>
<li class="toctree-l2"><a class="reference internal" href="chapter4.html#id6">安装CentOS (文本模式安装)</a></li>
</ul>
</li>

和url对应规律

http://www.apelearn.com/study_v2/chapter2.html

http://www.apelearn.com/study_v2/chapter5.html

http://www.apelearn.com/study_v2/chapter7.html

... ...

通过 https://regex101.com/ 正则网站,把需要的字段给过滤出来

<li class=\"toctree-l1\"><a class=\"reference internal\" href=\"(.*)\">.*<\/a><\/li>

具体实现代码如下

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time    : 2018/6/8 15:28
# @Author  : zhouyuyao
# @File    : demon1.py
import os
import re
import pdfkit
import requests

if not os.path.exists("aminglinux"):
    os.mkdir("aminglinux")

os.chdir("aminglinux")

url = "http://www.apelearn.com/study_v2/"
s = requests.session()
text = s.get(url).text
reg = re.compile(r'<li class=\"toctree-l1\"><a class=\"reference internal\" href=\"(.*)\">.*<\/a><\/li>')
result = reg.findall(text)
res = list(set(result))

def html_to_pdf():
    for i in res:
        purl = "{0}{1}".format(url, i)
        print(purl)
        pdfFileName = i.replace("html", "pdf")
        print(pdfFileName)
        config = pdfkit.configuration(wkhtmltopdf=r"d:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe")
        try:
            pdfkit.from_url(purl, pdfFileName, configuration=config)
        except:
            continue

if __name__ == '__main__':
    html_to_pdf()

运行之后将得到一个文件夹,内容是所选取网站目录下的所有 html 转换成 PDF 的文件

参考资料

1. https://www.cnblogs.com/yanglang/p/7126660.html  Python处理csv文件

2. https://blog.csdn.net/u010189241/article/details/39449847 Windows环境下Python代码的文件路径问题

3. https://blog.csdn.net/ko_tin/article/details/72627266 Python CSV Reader/Writer/DictReader/DictWriter例子

4. https://blog.csdn.net/u014234300/article/details/51221272  Python处理Excel(一):Excel的简单处理

5. https://www.cnblogs.com/chrischeng/p/7050027.html Python处理Excel文件

6. https://www.xlwings.org/

7. http://blog.51cto.com/286577399/2062339 Python 数据处理

© 著作权归作者所有

blackfoxya
粉丝 6
博文 92
码字总数 113041
作品 0
长沙
运维
私信 提问
浏览和排列表格数据的终端界面 - VisiData

用于浏览和排列表格数据的终端界面,可以在控制台查看各种数据文件的工具,支持 tsv、csv、xlsx、hdf5、sqlite、json 等多种文件类型。 依赖: Linux or OS/X Python 3.4+ python-dateutil ...

匿名
03/21
526
0
django 1.8 官方文档翻译: 3-5-1 使用Django输出CSV

使用Django输出CSV 这篇文档阐述了如何通过使用Django视图动态输出CSV (Comma Separated Values)。 你可以使用Python CSV 库或者Django的模板系统来达到目的。 使用Python CSV库 Python自带了...

apachecn_飞龙
2015/09/04
0
0
手把手教你如何用Python从PDF文件中导出数据(附链接)

作者:Mike Driscoll ;翻译:季洋;校对:丁楠雅 本文约4000字,建议阅读10分钟。 本文介绍了在提取出想要的数据之后,如何将数据导出成其他格式的方法。 有很多时候你会想用Python从PDF中提...

数据分析v
2018/11/29
0
0
156个Python网络爬虫资源,妈妈再也不用担心你找不到资源了

本列表包含Python网页抓取和数据处理相关的库。 前几天有私信小编要Python的学习资料,小编整理了一些有深度的Python教程和参考资料,从入门到高级的都有,文件已经打包好了,正在学习Pytho...

雁横
2018/05/02
0
0
python开源工具列表【持续更新】

以下是个人在工作中整理的一些python wheel,供参考。 这个列表包含与网页抓取和数据处理的Python库 网络 通用urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库(基于pycurl)。...

武耀文
2018/04/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

75、GridFS

GridFS是MongoDB提供的用于持久化存储文件的模块,CMS使用Mongo DB存储数据,使用FGridFS可以快速集成开发。 工作原理: 在GridFS存储文件是将文件分块存储,文件会按照256KB的大小分割成多个...

lianbang_W
51分钟前
4
0
js bind 绑定this指向

本文转载于:专业的前端网站➱js bind 绑定this指向 1、示例代码 <!DOCTYPE html><html lang="zh"> <head> <meta charset="UTF-8" /> <title>bind函数绑定this指向......

前端老手
54分钟前
4
0
CentOS Linux 7上将ISO映像文件写成可启动U盘

如今,电脑基本上都支持U盘启动,所以,可以将ISO文件写到U盘上,用来启动并安装操作系统。 我想将一个CentOS Linux 7的ISO映像文件写到U盘上,在CentOS Linux 7操作系统上,执行如下命令: ...

大别阿郎
今天
4
0
深入vue-公司分享ppt

组件注册 全局注册 注册组件,传入一个扩展过的构造器 Vue.component('my-component', Vue.extend({/*...*/})) 注册组件,传入一个选项对象(自动调用Vue.extend) Vue.component('my-comp...

莫西摩西
今天
4
0
gitlab重置管理员密码

登录gitlab服务器 [root@localhost bin]# sudo gitlab-rails console productionLoading production environment (Rails 5.2.3)irb(main):001:0> u = User.where(email: 'admin@example.co......

King华仔o0
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部