文档章节

9.python3实用编程技巧进阶(四)

o
 osc_g8254g7s
发布于 2019/08/20 22:08
字数 512
阅读 9
收藏 0

精选30+云产品,助力企业轻松上云!>>>

4.1.如何读写csv数据

 爬取豆瓣top250书籍

import requests
import json
import csv
from bs4 import BeautifulSoup

books = []
def book_name(url): res = requests.get(url) html = res.text soup = BeautifulSoup(html, 'html.parser') items = soup.find(class_="grid-16-8 clearfix").find(class_="indent").find_all('table') for i in items: book = [] title = i.find(class_="pl2").find('a') book.append('' + title.text.replace(' ', '').replace('\n', '') + '') star = i.find(class_="star clearfix").find(class_="rating_nums") book.append(star.text + '') try: brief = i.find(class_="quote").find(class_="inq") except AttributeError: book.append('”暂无简介“') else: book.append(brief.text) link = i.find(class_="pl2").find('a')['href'] book.append(link) global books books.append(book) print(book) try: next = soup.find(class_="paginator").find(class_="next").find('a')['href'] # 翻到最后一页 except TypeError: return 0 else: return next next = 'https://book.douban.com/top250?start=0&filter=' count = 0 while next != 0: count += 1 next = book_name(next) print('-----------以上是第' + str(count) + '页的内容-----------') csv_file = open('D:/top250_books.csv', 'w', newline='', encoding='utf-8') w = csv.writer(csv_file) w.writerow(['书名', '评分', '简介', '链接']) for b in books: w.writerow(b)

结果

把评分为9.0的书籍保存到book_out.csv文件中

'''
1.爬取豆瓣评分排行前250本书,保存为top250.csv
2.读取top250.csv文件,把评分为9.0以上的书籍保存到另外一个csv文件中
'''

import csv

#打开的时候必须用encoding='utf-8',否则报错
with open('top250_books.csv', encoding='utf-8') as rf:
    reader = csv.reader(rf)
    #读取头部
    headers = next(reader)
    with open('books_out.csv', 'w', encoding='utf-8') as wf:
        writer = csv.writer(wf)
        #把头部信息写进去
        writer.writerow(headers)

        for book in reader:
            #获取评分
            score = book[1]
            #把评分大于9.0的过滤出来
            if score and float(score) >= 9.0:
                writer.writerow(book)

 4.2.如何读写excel

 安装两个库

pip install xlrd xlwt

读取excel

#4.2.如何读取excel

import xlrd

book = xlrd.open_workbook('demo.xlsx')

sheet = book.sheet_by_index(0)
#获取有多少行多少列
print(sheet.nrows)   #4
print(sheet.ncols)   #4

print(sheet.cell(0,0))          #text:'姓名'
print(sheet.cell_value(0,0))    #姓名

print(sheet.row_values(0))      #['姓名', '语文', '数学', '外语']
print(sheet.row_values(1,1))    #[95.0, 99.0, 96.0]

求分数的总和

#4.2.如何读写excel

import xlrd, xlwt

rbook = xlrd.open_workbook('demo.xlsx')
rsheet = rbook.sheet_by_index(0)

k = rsheet.ncols
#在最后添加一列 ‘总分’
rsheet.put_cell(0,k,xlrd.XL_CELL_TEXT, '总分', None)

for i in range(1,rsheet.nrows):
    #求分数总和
    t = sum(rsheet.row_values(i, 1))
    rsheet.put_cell(i,k,xlrd.XL_CELL_NUMBER,t,None)

wbook = xlwt.Workbook()
wsheet = wbook.add_sheet(rsheet.name)

for i in range(rsheet.nrows):
    for j in range(rsheet.ncols):
        wsheet.write(i,j,rsheet.cell_value(i,j))

wbook.save('out.xlsx')

 结果

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
人生苦短,我用python(目录)

基础 简介 数据类型 文件操作 迭代器和生成器 函数 内置函数 常用模块 面向对象编程 异常处理 socket网络编程 线程 进程/协程/异步I/O 进阶 魔法函数 深入类和对象 元类编程 自定义序列类 多...

zhang_derek
2018/03/16
0
0
人生苦短,我用python(目录)

基础 简介 数据类型 文件操作 迭代器和生成器 函数 内置函数 常用模块 面向对象编程 异常处理 socket网络编程 线程 进程/协程/异步I/O 进阶 魔法函数 深入类和对象 元类编程 自定义序列类 多...

osc_ybv4169f
04/15
12
0
人生苦短,我用python(目录)

基础 简介 数据类型 文件操作 迭代器和生成器 函数 内置函数 常用模块 面向对象编程 异常处理 socket网络编程 线程 进程/协程/异步I/O 进阶 魔法函数 深入类和对象 元类编程 自定义序列类 多...

zhang_derek
2018/03/16
0
0
9.python3实用编程技巧进阶(四)

4.1.如何读写csv数据 爬取豆瓣top250书籍 import requestsimport jsonimport csvfrom bs4 import BeautifulSoup books = [] def book_name(url): next = 'https://book.douban.com/top250?st......

zhang_derek
2019/08/20
0
0
Python目录

人生苦短,我用python(目录) 基础 简介 数据类型 文件操作 迭代器和生成器 函数 内置函数 常用模块 面向对象编程 异常处理 socket网络编程 线程 进程/协程/异步I/O 进阶 魔法函数 深入类和...

osc_7hoa7os1
2019/11/05
1
0

没有更多内容

加载失败,请刷新页面

加载更多

在Bash脚本中,如果发生某种情况,如何退出整个脚本?

问题: I'm writing a script in Bash to test some code. 我正在Bash中编写脚本来测试一些代码。 However, it seems silly to run the tests if compiling the code fails in the first pl......

技术盛宴
23分钟前
11
0
Windows安装Python+OpenCV

1、更新PyCharm中pip来源,使用清华和阿里云:https://pypi.tuna.tsinghua.edu.cn/simple/ http://mirrors.aliyun.com/pypi/simple/ 2、PyCharm查看已安装packets,添加新的安装包,从pip云端...

极客行
47分钟前
17
0
tomcat8配置虚拟目录,实现一个tomcat运行两个项目, tomcat配置URL不区分大小写

<?xml version="1.0" encoding="UTF-8"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distri......

青峰Jun19er
53分钟前
19
0
HBase和MySQL存储方式的差别?或者说是,行存储和列存储的区别?

HBase借鉴列存储的思想,但是最底层依然是依靠键值对来存储数据,HBase为非关系型数据库 而MySQL则是行存储,MySQL为关系型数据库 写过程 行存储因为数据是连续的,所以只需要进行追加即可;...

其乐m
57分钟前
25
0