BeautifulSoup使用

2021-06-19

Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。
它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。

BeautifulSoup 不仅支持 HTML 解析器，还支持一些第三方的解析器，如 lxml，XML，html5lib 但是需要安装相应的库。如果我们不安装，则 Python 会使用 Python 默认的解析器，其中 lxml 解析器更加强大，速度更快，推荐安装。
官方文档

安装

# 速度慢推荐淘宝源https://mirrors.aliyun.com/pypi/simple
pip install bs4
# 顺带安装好用的解析器
pip install lxml
pip install html5lib

解析器优缺点

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, “html.parser”)	Python的内置标准库执行速度适中文档容错能力强	Python 2.7.3 or 3.2.2)前的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, “lxml”)	速度快文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, “xml”)	速度快唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, “html5lib”)	最好的容错性以浏览器的方式解析文档生成HTML5格式的文档	速度慢不依赖外部扩展

推荐使用lxml作为解析器,因为效率更高。
在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定。

提示

如果一段HTML或XML文档格式不正确的话,那么在不同的解析器中返回的结果可能是不一样的

使用

将一段文档传入BeautifulSoup的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄。

from bs4 import BeautifulSoup
'''
1.文档被转换成Unicode,并且HTML的实例都被转换成Unicode编码
2.Beautiful Soup选择最合适的解析器来解析这段文档,如果手动指定解析器那么Beautiful Soup会选择指定的解析器来解析文档
3.Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,
  所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment
'''
soup = BeautifulSoup(open("index.html"))

soup = BeautifulSoup("<html>data</html>")

常用方法

find_all
find

prettify

按照标准的缩进格式的结构输出

1	from bs4 import BeautifulSoup
2	soup = BeautifulSoup(html_doc, 'html.parser')
3	print(soup.prettify())

使用实战

随意找了个大牛博客爬一爬，大牛勿怪，只用于测试效果

'''
pip installl requests
pip installl bs4
pip install lxml
'''
import requests
from bs4 import BeautifulSoup

def get_data(url):
    '''
    根据url获取数据
    :param url: 网站url
    :return:
    '''
    # 伪装浏览器(随意打开浏览器调试模式，抓取浏览器的http的headers取得User-Agent信息)
    headers = {'User-Agent':
                   'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) '
                   'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'}
    r = requests.get(url, headers=headers)
    # 设置网页数据编码格式，一般utf-8
    r.encoding = 'utf-8'
    return r

def data_handle(data):
    '''
    数据提取（爬虫最重要的一步，每个网站信息都不一样，所有基本都需要自己去分析网页信息）
        利用谷歌浏览器的检查功能，查看Elements，慢慢分析
    :param data:
    :return:
    '''
    soup = BeautifulSoup(data,'lxml')
    blog_info = {}
    # 获取博客基本信息
    # <h1 id="page-title" class="asset-name entry-title">敏捷开发入门教程</h1>
    title = soup.find("h1",class_ = 'asset-name entry-title').string
    # <p class="vcard author">作者： <a class="fn url" href="http://www.ruanyifeng.com">阮一峰</a></p>
    author = soup.find('p',class_ = 'vcard author').a.string
    date_time = soup.find('abbr',class_ = 'published').string

    # 获取博客文章的全部内容
    context = soup.find('div',id = 'main-content').get_text()

    # 获取博客所有<a>标签的链接
    links = []
    for link in soup.find_all('a'):
        links.append(link.get('href'))

    # 获取所有图片
    imgs = []
    for img in soup.find_all('img'):
        imgs.append(img.get('src'))

    blog_info.update({
        'title':title,
        'author':author,
        'date_time':date_time,
        'context':context,
        'links':links,
        'imgs':imgs
    })

    return blog_info

if __name__ == '__main__':
    # 随意找一个网页爬一爬
    url = 'http://www.ruanyifeng.com/blog/2019/03/agile-development.html'
    # 获取网页信息
    res = get_data(url)

    # 提取需要的网页信息
    info = data_handle(res.text)

    # 信息入库（csv、mysql、MongoDB都行）
    print(info)
    with open('/Users/Pocket/自我提升道路/爬虫/test_data/day-01.txt','a+') as f:
        f.write(info.get('title') + '\n')
        f.write(info.get('author') + '\n')
        f.write(info.get('date_time') + '\n')
        f.write(info.get('context'))