Python爬虫系列——数据解析

要想爬取高质量的数据，就要对获取的数据进行解析，不但要了解常用的解析手段，网页相关的知识也很重要，如果你有使用Java或PHP等工具开发网页的经历那学起来就比较容易了。
这里从基础开始。

CSS基础

HTML 标签控制网页显示的内容，CSS控制着网页的样式和布局
我们可以使用CSS的选择器定位查找网页的信息
CSS 规则由两个主要的部分构成：选择器，以及一条或多条声明：
1. 选择器通常是您需要改变样式的 HTML 元素
2. 每条声明由一个属性和一个值组成
1
2
3
4
5
p /* <p>标签 */
{
color:red; /* 可以使用十六进制代码设置颜色 */
text-align:center;
}
我们常用的是id和class选择器，属于特殊的属性选择器
1. id 选择器可以为标有特定 id 的 HTML 元素指定特定的样式，以 “#” 来定义
  注：id相当于一个标签元素的身份证，唯一指定
1
2
3
4
5
6
7
8
9

<p id=para1>这是一个HTML的P标签</p>

/* css代码 */
#para1
{
text-align:center;
color:red;
}
1. 有别于id选择器，class可以在多个标签元素中使用，以一个点”.”号显示
1
2
3
4
5
<h1 class="center">标题居中</h1>

/* css代码 */
.center {text-align:center;}
p.center {text-align:center;} /* 所有的p元素使用该class样式 */
嗯！先知道这些就好了，CSS本身就是一门学科，需要在不断使用中加深理解，这里不作为学习爬虫的重点

JSON基础

XML显得有些笨重，于是有了JSON格式的文件，应用很广泛

JSON数据就是一段字符串而已，只不过有不同意义的分隔符将其分割开来

import json

obj = {'one': '一', 'two': '二'}
encoded = json.dumps(obj)
print(type(encoded))	# <class str>
print(encoded)
decoded = json.loads(encoded)	# <class dict>
print(type(decoded))
print(decoded)

正则表达式基础

Regular Expression，在代码中常简写为regex、regexp或RE
常被用来检索、替换那些符合某个模式(规则)的文本

匹配规则如下：

字符	描述
\	将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，’n’ 匹配字符 “n”。’\n’ 匹配一个换行符。序列 ‘\‘ 匹配 “" 而 “(“ 则匹配 “(“。
^	匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 ‘\n’ 或 ‘\r’ 之后的位置。
$	匹配输入字符串的结束位置。如果设置了RegExp 对象的 Multiline 属性，$ 也匹配 ‘\n’ 或 ‘\r’ 之前的位置。
*	匹配前面的子表达式零次或多次。例如，zo* 能匹配 “z” 以及 “zoo”。* 等价于{0,}。
+	匹配前面的子表达式一次或多次。例如，’zo+’ 能匹配 “zo” 以及 “zoo”，但不能匹配 “z”。+ 等价于 {1,}。
?	匹配前面的子表达式零次或一次。例如，”do(es)?” 可以匹配 “do” 或 “does” 。? 等价于 {0,1}。
{n}	n 是一个非负整数。匹配确定的 n 次。例如，’o{2}’ 不能匹配 “Bob” 中的 ‘o’，但是能匹配 “food” 中的两个 o。
{n,}	n 是一个非负整数。至少匹配n 次。例如，’o{2,}’ 不能匹配 “Bob” 中的 ‘o’，但能匹配 “foooood” 中的所有 o。’o{1,}’ 等价于 ‘o+’。’o{0,}’ 则等价于 ‘o*’。
{n,m}	m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，”o{1,3}” 将匹配 “fooooood” 中的前三个 o。’o{0,1}’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。
?	当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 “oooo”，’o+?’ 将匹配单个 “o”，而 ‘o+’ 将匹配所有 ‘o’。
.	匹配除换行符（\n、\r）之外的任何单个字符。要匹配包括 ‘\n’ 在内的任何字符，请使用像”(.\|\n)“的模式。
(pattern)	匹配 pattern 并获取这一匹配。所获取的匹配可以从产生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中则使用 $0…$9 属性。要匹配圆括号字符，请使用 ‘$‘ 或 ‘$’。
(?:pattern)	匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 “或” 字符 (\|) 来组合一个模式的各个部分是很有用。例如， ‘industr(?:y\|ies) 就是一个比 ‘industry\|industries’ 更简略的表达式。
(?=pattern)	正向肯定预查（look ahead positive assert），在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，”Windows(?=95\|98\|NT\|2000)”能匹配”Windows2000”中的”Windows”，但不能匹配”Windows3.1”中的”Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern)	正向否定预查(negative assert)，在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如”Windows(?!95\|98\|NT\|2000)”能匹配”Windows3.1”中的”Windows”，但不能匹配”Windows2000”中的”Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?<=pattern)	反向(look behind)肯定预查，与正向肯定预查类似，只是方向相反。例如，”`(?<=95
(?<!pattern)	反向否定预查，与正向否定预查类似，只是方向相反。例如”`(?"能匹配"`3.1Windows`"中的"`Windows`"，但不能匹配"`2000Windows`"中的"`Windows`”。
x\|y	匹配 x 或 y。例如，’z\|food’ 能匹配 “z” 或 “food”。’(z\|f)ood’ 则匹配 “zood” 或 “food”。
[xyz]	字符集合。匹配所包含的任意一个字符。例如， ‘[abc]’ 可以匹配 “plain” 中的 ‘a’。
[^xyz]	负值字符集合。匹配未包含的任意字符。例如， ‘[^abc]’ 可以匹配 “plain” 中的’p’、’l’、’i’、’n’。
[a-z]	字符范围。匹配指定范围内的任意字符。例如，’[a-z]’ 可以匹配 ‘a’ 到 ‘z’ 范围内的任意小写字母字符。
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，’[^a-z]’ 可以匹配任何不在 ‘a’ 到 ‘z’ 范围内的任意字符。
\b	匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配”never” 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。
\B	匹配非单词边界。’er\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。
\cx	匹配由 x 指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 ‘c’ 字符。
\d	匹配一个数字字符。等价于 [0-9]。
\D	匹配一个非数字字符。等价于 [^0-9]。
\f	匹配一个换页符。等价于 \x0c 和 \cL。
\n	匹配一个换行符。等价于 \x0a 和 \cJ。
\r	匹配一个回车符。等价于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于 \x09 和 \cI。
\v	匹配一个垂直制表符。等价于 \x0b 和 \cK。
\w	匹配字母、数字、下划线。等价于[A-Za-z0-9_]。
\W	匹配非字母、数字、下划线。等价于 [^A-Za-z0-9_]。
\xn	匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，’\x41’ 匹配 “A”。’\x041’ 则等价于 ‘\x04’ & “1”。正则表达式中可以使用 ASCII 编码。
\num	匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。例如，’(.)\1’ 匹配两个连续的相同字符。
\n	标识一个八进制转义值或一个向后引用。如果 \n 之前至少 n 个获取的子表达式，则 n 为向后引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。
\nm	标识一个八进制转义值或一个向后引用。如果 \nm 之前至少有 nm 个获得子表达式，则 nm 为向后引用。如果 \nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的向后引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \nm 将匹配八进制转义值 nm。
\nml	如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。
\un	匹配 n，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， \u00A9 匹配版权符号 (?)。

别怕，熟能生巧！传说没有正则不能干的事情……

使用Python的re模块解析正则表达式

import re

m = re.match(r'^(\d{3})-(\d{3,8})$', '010-12345')
print(m.groups())	# ('010', '12345')	所有括号中的字符
print(m.group(0))	# 010-12345		匹配到的整个字符串
print(m.group(1))	# 010	第一个括号内的匹配项
print(m.group(2))	# 12345

正则表达式示例

这里使用/ /包括

正则表达式	描述
/\b([a-z]+) \1\b/gi	一个单词连续出现的位置。
/(\w+)://([^/:]+)(:\d)?([^# ])/	将一个URL解析为协议、域、端口及相对路径。
/^(?:Chapter\|Section) [1-9][0-9]{0,1}$/	定位章节的位置。
/[-a-z]/	a至z共26个字母再加一个 - 号。
/ter\b/	可匹配chapter，而不能匹配terminal。
/\Bapt/	可匹配chapter，而不能匹配aptitude。
/Windows(?=95 \|98 \|NT )/	可匹配Windows95或Windows98或WindowsNT，当找到一个匹配后，从Windows后面开始进行下一次的检索匹配。
/^\s*$/	匹配空行。
/\d{2}-\d{5}/	验证由两位数字、一个连字符再加 5 位数字组成的 ID 号。
/<\s(\S+)(\s[^>])?>[\s\S]<\s/\1\s*>/	匹配 HTML 标记。

多写多练，可以使用在线工具测试自己的表达式
正则表达式可以作为解析爬取数据的一种方式了

XPath基础

XPath 是一门在 XML 文档中查找信息的语言，也是我们解析数据的常用手段
虽然CSS也可以通过选择器定位信息，但XPath可以通过树的结构实现快速查询
在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点
节点之间的关系有：父、子、同胞（兄弟）、先辈、后代

XPath语法

我们使用以下文档学习

<?xml version="1.0" encoding="UTF-8"?>
 
<bookstore>
<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>
 
<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>
</bookstore>

使用路径表达式在 XML 文档中选取节点，常用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

应用于例子：

路径表达式	结果
bookstore	选取 bookstore 元素的所有子节点。
/bookstore	选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。
//book	选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang	选取名为 lang 的所有属性（相当于css中的class/id选择器）。

谓语：用来查找某个特定的节点或者包含某个指定的值的节点

谓语被嵌在方括号中

路径表达式	结果
/bookstore/book[1]	选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]	选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]	选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]	选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]	选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’]	选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]	选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]//title	选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

通配符可用来选取未知的 XML 元素
注意区别节点和属性

通配符描述

* 匹配任何元素节点。

@* 匹配任何属性节点。

node() 匹配任何类型的节点。

路径表达式结果

/bookstore/* 选取 bookstore 元素的所有子元素。

//* 选取文档中的所有元素。

//title[@*] 选取所有带有属性的 title 元素。

好了好了，已经很复杂了，但是越复杂功能越强大！

我们可以使用浏览器的开发者工具找到对应的位置自动获取XPath表达式

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

上面介绍了两种定位网页信息的方法，对于网页的XML文件，还有两种解析的方式：

# 使用DOM（信息量小时使用，需要事先解析完DOM树）
from xml.dom import minidom

doc = minidom.parse('book.xml')
root = doc.documentElement
# print(dir(root))
print(root.nodeName)
books = root.getElementsByTagName('book')
print(type(books))
for book in books:
    titles = book.getElementsByTagName('title')
    print(titles[0].childNodes[0].nodeValue)
    
# 使用SAX 流模式（信息量大时使用，边读入边解析）
import string
from xml.parsers.expat import ParserCreate

class DefaultSaxHandler(object):
    def start_element(self, name, attrs):
        self.element = name
        print('element: %s, attrs: %s' % (name, str(attrs)))

    def end_element(self, name):
        print('end element: %s' % name)

    def char_data(self, text):
        if text.strip():
            print("%s's text is %s" % (self.element, text))

handler = DefaultSaxHandler()
parser = ParserCreate()
parser.StartElementHandler = handler.start_element
parser.EndElementHandler = handler.end_element
parser.CharacterDataHandler = handler.char_data
with open('book.xml', 'r') as f:
    parser.Parse(f.read())

注：这两种方式暂且了解即可

Beautiful Soup

除了XPath，还有一种常见的网页数据解析库就是bs4

可以从HTML或XML文件中提取数据的Python库，它能够通过你喜欢的转换器实现惯用的文档导航、查看、修改

<!-- test.html -->
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
    <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
    <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
    <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.
</p>
<p class="story">...</p>
<!--没有闭合标签，不用担心-->

1
2
3

from bs4 import BeautifulSoup 
soup = BeautifulSoup(open('download/test.html'))
print(soup.prettify())	# 按一定格式打印出所有提取的信息

BeautifulSoup4将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种：
1. Tag
2. NavigableString
3. BeautifulSoup
4. Comment

标签Tag

# 获取title标签的所有内容
print(type(soup.title)) # <class 'bs4.element.Tag'>
print(soup.title)   # <title>The Dormouse's story</title>

# .contents：获取Tag的所有子节点，返回一个list
print(soup.body.contents)

# .children：获取Tag的所有子节点，返回一个生成器
for item in soup.body.children:
    print(item)

文本内容NavigableString

1 2	print(type(soup.title.string)) # <class 'bs4.element.NavigableString'> print(soup.title.string) # The Dormouse's story

Comment

特殊类型的 NavigableString 对象，其输出的内容不包括注释符号
1
print(soup.a.string) # Elsie 自动去掉注释符号
BeautifulSoup

是一个特殊的 Tag，我们可以分别获取它的类型，名称，以及属性
1
2
3
print(soup.name) # [document]
print(soup.attrs)
print(soup.title.name) # title

CSS查询

1
2
3

print(soup.select('.sister'))	# class选择器
print(soup.select('#link1'))	# id选择器
print(soup.select('head > title')[0].get_text())	# The Dormouse's story

HTMLParser

是python解析HTML的内置模块
HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。当然，bs4更方便了！

HTMLParser是一个基类，很多方法需要我们继承之后实现

from HTMLParser import HTMLParser
# markupbase	需要自己下载放在site-package目录下
# 下载链接：https://pypi.org/project/micropython-_markupbase/#files

class MyParser(HTMLParser): # 很多方法需要继承并重写
    def handle_decl(self, decl):
        HTMLParser.handle_decl(self, decl)
        print('decl %s' % decl)

    def handle_starttag(self, tag, attrs):
        HTMLParser.handle_starttag(self, tag, attrs)
        print('<' + tag + '>')

    def handle_endtag(self, tag):
        HTMLParser.handle_endtag(self, tag)
        print('</' + tag + '>')

    def handle_data(self, data):
        HTMLParser.handle_data(self, data)
        print('data %s' % data)

    #<br/>
    def handle_startendtag(self, tag, attrs):
        HTMLParser.handle_startendtag(self, tag, attrs)

    def handle_comment(self, data):
        HTMLParser.handle_comment(self, data)
        print('data %s' % data)

    def close(self):
        HTMLParser.close(self)
        print('Close')

demo = MyParser()
demo.feed(open('download/test.html').read())
demo.close()

以上学习了网页基础和解析网页信息的主要方法，针对不同的文档格式都能够有效应对了！

小结

配合后面的request或Selenium请求库，我们会得到需要的数据，加上这里的解析数据方式，基本可以实现大部分爬虫功能。