文档章节

Beautiful Soup模块使用

彩色泡泡糖
 彩色泡泡糖
发布于 06/20 09:52
字数 1185
阅读 9
收藏 0

1.Beautiful Soup模块的介绍

  • Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库,简单来说,它能将HTML的标签文件解析成树形结构,然后方便地获取到指定标签的对应属性,还可以方便的实现全站点的内容爬取和解析;

  • Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器; lxml 是python的一个解析库,支持HTML和XML的解析,html5lib解析器能够以浏览器的方式解析,且生成HTML5文档;

pip install beautifulsoup4
pip install html5lib
pip install lxml

2. Beautiful Soup模块解析HTML文档

假如现在有一段不完整的HTML代码,我们现在要使用Beautiful Soup模块来解析这段HTML代码

data = '''                                         
<html><head><title>The Dormouse's story</title></he
<body>                                             
<p class="title"><b id="title">The Dormouse's story</b></p>   
<p class="story">Once upon a time there were three 
<a href="http://example.com/elsie" class="sister" i
<a href="http://example.com/lacie" class="sister" i
<a href="http://example.com/tillie" class="sister" 
and they lived at the bottom of a well.</p>        
<p class="story">...</p>                           
'''            
  • 首先需要导入BeautifulSoup模块,再实例化BeautifulSoup对象
from bs4 import BeautifulSoup           
soup = BeautifulSoup(data,'lxml')

然后通过BeautifulSoup提供的方法就可以拿到HTML的元素、属性、链接、文本等,BeautifulSoup模块可以将不完整的HTML文档,格式化为完整的HTML文档 ,比如我们打印print(soup.prettify())看一下输出什么?

<html>
 <head>
  <title>
   The Dormouse's story
  </title>
 </head>
 <body>
  <p class="title">
   <b id="title">
    The Dormouse's story
   </b>
  </p>
  <p class="story">
   Once upon a time there were three
   <a a="" and="" at="" bottom="" class="sister" href="http://example.com/elsie" i="" lived="" of="" the="" they="" well.="">
    <p class="story">
     ...
    </p>
   </a>
  </p>
 </body>
</html>
  • 获取标签,如title标签,a标签等
print('title = {}'.format(soup.title))             
# 输出:title = <title>The Dormouse's story</title>

print('a={}'.format(soup.a))
  • 获取标签的名称,如title标签,body标签等
print('title_name = {}'.format(soup.title.name))
# 输出:title_name = title

print('body_name = {}'.format(soup.body.name))
# 输出:body_name = body
  • 获取标签的内容,如title标签
print('title_string = {}'.format(soup.title.string))
#  输出:title_string = The Dormouse's story
  • 如果想要获取某个标签的父标签的名称,可以使用parent,如title标签,可以得到父标签head标签,且会自定补齐不完整的标签;
print('title_pareat_name = {}'.format(soup.title.parent))
# 输出:title_pareat_name = <head><title>The Dormouse's story</title>
</head>
  • 获取第一个p标签
print('p = {}'.format(soup.p))

# 输出:p = <p class="title"><b>The Dormouse's story</b></p>
  • 获取第一个p标签的class的值,获取第一个a标签的class值
print('p_class = {}'.format(soup.p["class"]))
# 输出:p_class = ['title']

print('a_class = {}'.format(soup.a["class"]))
# 输出:a_class = ['sister']
  • 获取所有的标签
#  获取所有的a标签
print('a = {}'.format(soup.find_all('a')))

#  获取所有的p标签
print('p = {}'.format(soup.find_all('p')))
  • 获取id为link3的标签
print('a_link = {}'.format(soup.find(id='title')))

# 输出:a_link = <b id="title">The Dormouse's story</b>

3.BeautifulSoup中的对象

  • BeautifulSoup对象分为四类,分别是Tag(获取标签)NavigableString(获取标签内容) , BeautifulSoup(根标签)Comment(标签内的所有的文本) ;

语法:

  • soup.标签名:获取HTML中的标签;

  • soup.标签名.name:获取HTML中标签的名称;

  • soup.标签名.attrs:获取标签的所有属性;

  • soup.标签名.string:获取HTML中标签的文本内容;

  • soup.标签名.parent:获取HTML中标签的父标签;

  • prettify()方法:可以将Beautiful Soup的文档树格式化后以Unicode编码输出,每个XML/HTML标签都独占一行;

4.遍历文档

  • contents:获取所有子节点,返回一个列表,可以通过下标取值;
soup = BeautifulSoup(html,"lxml")

# 返回一个列表
print(soup.p.contents)
# 拿到第一个子节点
print(soup.p.contents[0])
  • children:返回子节点的生成器对象;
for tag in soup.p.children:
    print(tag)
  • soup.strings:获取所有节点的内容,包括空格;
soup = BeautifulSoup(html,"lxml")
for content in soup.strings:
    print(repr(content))
  • soup.stripped_strings:获取所有节点的内容,不包括空格;
soup = BeautifulSoup(html,"lxml")
for tag in soup.stripped_strings:
    print(repr(tag))

5.查找标签

  • find_all():查找所有指定标签名称的子节点(可同时查找多个标签),并判断是否符合过滤器的条件,返回一个列表;
soup = BeautifulSoup(html,"lxml")
print(soup.find_all('a'))
print(soup.find_all(['a','p']))
print(soup.find_all(re.compile('^a')))
  • find():和find_all()差不多,但是find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果;
soup = BeautifulSoup(html,"lxml")
print(soup.find('a'))

参考:https://www.9xkd.com/user/plan-view.html?id=1742870460

© 著作权归作者所有

上一篇: scrapy框架介绍
下一篇: requests模块使用
彩色泡泡糖
粉丝 2
博文 98
码字总数 111906
作品 0
长沙
私信 提问
python中用beautifulSoup+urlib2 安装、抓取和解析网页,以及解析shtml

安装 Beautiful Soup¶ 如果你用的是新版的Debain或ubuntu,那么可以通过系统的软件包管理来安装: $ apt-get install Python-bs4 Beautiful Soup 4 通过PyPi发布,所以如果你无法使用系统包管理...

不容置喙
2014/10/05
0
0
网页分析工具beautifulsoup学习

BeautifulSoup是一个用来解析HTML和XML的python库,它可以按照你喜欢的方式去解析文件,查找并修改解析树。它可以很好的处理不规范标记并生成剖析树(parse tree). 它提供简单又常用的导航(na...

openthings
2016/01/09
42
0
运维学python之爬虫工具篇(二)Beautiful Soup的用法

前面的内容我们都是用正则的方式获取想要的内容,每次写正则匹配时候都要测试好多次,是不是能够获取我们想要的结果,感觉很烦是不是,下面我们就介绍一下更好的方式,通过Beautiful Soup来获...

578384
2017/12/24
0
0
Python的HTML解析器--BeautifulSoup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. 使用...

匿名
2010/01/19
13K
1
Python 爬虫入门(一)——爬取糗百

爬取糗百内容 GitHub 代码地址https://github.com/injetlee/Python/blob/master/qiubaicrawer.py 微信公众号:【智能制造专栏】,欢迎关注。 本文目标 掌握爬虫的基本概念 Requests 及 Beau...

李英杰同学
2018/07/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

数据科学热潮下的冷思考:什么才是最需要的技能?

全文共3087字,预计学习时长6分钟 图片来源:pexels.com/@freestocks 数据科学已经进入了稳定生产的成熟期,数据科学家所需的技能也在与时俱进。不仅是追求更高效的机器学习模型,在当下,推...

读芯术
16分钟前
0
0
48.Nginx访问日志 日志切割 静态文件不记录

12.10 Nginx访问日志 12.11 Nginx日志切割 12.12 静态文件不记录日志和过期时间 12.10 Nginx访问日志: ~1.日志格式 vim /usr/local/nginx/conf/nginx.conf //搜索log_format log_format com...

oschina130111
21分钟前
1
0
好程序员分享Css详解bem书写规范

  好程序员分享Css详解bem书写规范,bem是基于组件的web开发方法。其思想是将用户界面分隔为独立的块,从而使开发复杂的UI界面变得更简单和快,且不需要粘贴复制便可复用现有代码。BEM由B...

好程序员IT
26分钟前
0
0
基于cm+cdh搭建大数据集群

第一部分:搭建基本环境 1、网络配置 vim /etc/sysconfig/network-scripts/ifcfg-ens32 service network restart vim /etc/hosts 192.168.15.121 node1 192.168.15.122 node2 192.168.15.123......

一个点一个点
34分钟前
0
0
[学]ngin反向代理搭建与配置

Nginx安装地址:https://www.cnblogs.com/wyd168/p/6636529.html (linux) 必须安装的4个包: nginx-1.1.10.tar.gz openssl-1.0.1t.tar.gz pcre-8.39.tar.gz zlib-1.2.11.tar.gz ng配置主要......

覃光林
40分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部