在 Python 爬虫过程中，实现网页元素解析的方法有很多，正则解析只是其中之一，常见的还有 BeautifulSoup 和 lxml，它们都支持网页 HTML 元素的解析操作。本节重点讲解如何使用 re 正则解析模块实现网页信息的提取。

注意：在学习本节知识之前，您应该基本掌握了 Python re 模块的常用方法。

re模块常用方法

1) re.compile()

该方法用来生成正则表达式对象，其语法格式如下：
regex=re.compile(pattern,flags=0)
参数说明：
  • pattern：正则表达式对象。
  • flags：代表功能标志位，扩展正则表达式的匹配。

2) re.findall()

根据正则表达式匹配目标字符串内容。
re.findall(pattern,string,flags=0)
该函数的返回值是匹配到的内容列表，如果正则表达式有子组，则只能获取到子组对应的内容。参数说明如下：
  • pattern：正则表达式对象。
  • string：目标字符串
  • flags：代表功能标志位，扩展正则表达式的匹配。

3) regex.findall()

该函数根据正则表达式对象匹配目标字符串内容。其语法格式如下： 
regex.findall(string,pos,endpos)
参数说明：
  • string 目标字符串。
  • pos 截取目标字符串的开始匹配位置。
  • endpos 截取目标字符串的结束匹配位置。

4) re.split()

该函数使用正则表达式匹配内容，切割目标字符串。返回值是切割后的内容列表。参数说明： 
re.split(pattern,string,flags = 0)
参数说明：
  • pattern：正则表达式。
  • string：目标字符串。
  • flags：功能标志位,扩展正则表达式的匹配。
5) re.sub
该函数使用一个字符串替换正则表达式匹配到的内容。返回值是替换后的字符串。其语法格式如下： 
re.sub(pattern,replace,string,max,flags = 0)
其参数说明：
  • pattern：正则表达式。
  • replace：替换的字符串。
  • string：目标字符串。
  • max：最多替换几处，默认替换全部，
  • flags：功能标志位,扩展正则表达式的匹配。

5) re.search()

匹配目标字符串第一个符合的内容，返回值为匹配的对象。语法格式如下：
re.search(pattern,string,flags=0)
参数说明：
  • pattern：正则表达式
  • string：目标字符串

flags功能标志位

功能标志位的作用是扩展正则表达的匹配功能。常用的 flag 如下所示：

flag功能标志位
缩写元字符 说明
A 元字符只能匹配 ASCII码。
I 匹配忽略字母大小写。
S 使得.元字符可以匹配换行符。
M 使 ^ $ 可以匹配每一行的开头和结尾位置。

注意：可以同时使用福多个功能标志位，比如 flags=re.I|re.S。

下面使用贪婪和非贪婪两种模式来匹配 HTML 元素，分别，如下所示： 
import re

html="""

www.www.365tools.cn


编程帮

"""
#贪婪匹配，re.S可以匹配换行符
#创建正则表达式对象
pattern=re.compile('
.*
',re.S)
#匹配HTMLX元素，提取信息
re_list=pattern.findall(html)
print(re_list)

#非贪婪模式匹配，re.S可以匹配换行符
pattern=re.compile('
.*?
',re.S)
re_list=pattern.findall(html)
print(re_list)
输出结果： 
['
www.www.365tools.cn
\n
编程帮
']
['
www.www.365tools.cn
', '
编程帮
']
从上述输出结果可以得出非贪婪模式比适合提取 HTML 信息。

正则表达式分组

通过正则表达式分组可以从匹配的信息中提取出想要的信息。示例演示： 
#正则表达式分组
website="编程帮 www.www.365tools.cn"

#提取所有信息
#注意此时正则表达式的 "." 需要转义因此使用 \.
pattern_1=re.compile('\w+\s+\w+\.\w+\.\w+')
print(pattern_1.findall(website))

#提取匹配信息的第一项
pattern_2=re.compile('(\w+)\s+\w+\.\w+\.\w+')
print(pattern_2.findall(website))

#有两个及以上的()则以元组形式显示
pattern_3=re.compile('(\w+)\s+(\w+\.\w+\.\w+)')
print(pattern_3.findall(website))
输出结果： 
['编程帮 www.www.365tools.cn']
['编程帮']
[('编程帮', 'www.www.365tools.cn')]
正则表达式分组是提取信息的常用方式。当需要哪个特定信息的时候，就可以通过分组(也就是加括号)的方式获得。

网页信息提取

实战演练：从下面的 HTML 代码中使用 re 模块提取出两部影片的名称和主演信息。 
html="""




你好，李焕英




主演：贾玲,张小斐,沈腾

    







刺杀，小说家




主演：雷佳音,杨幂,董子健,于和伟

    

 
"""
# 寻找HTML规律，书写正则表达式，使用正则表达式分组提取信息
pattern=re.compile(r'(.*?)',re.S)
r_list=pattern.findall(html)
print(r_list)
# 整理数据格式并输出
if  r_list:
    for r_info in  r_list:
        print("影片名称：",r_info[0])
        print("影片主演：",r_info[1].strip())
        print(20*"*")
输出结果如下：
[('你好，李焕英', '\n主演：贾玲,张小斐,沈腾\n'), ('刺杀，小说家', '\n主演：雷佳音,杨幂,董子健,于和伟\n')]

影片名称： 你好，李焕英
影片主演： 主演：贾玲,张小斐,沈腾
********************
影片名称： 刺杀，小说家
影片主演： 主演：雷佳音,杨幂,董子健,于和伟
********************