标签：

网页解析库 简介

除了正则表达式外，还有其他方便快捷的页面解析工具

如：lxml (xpath语法) bs4 pyquery等

Xpath 全称XML Path Language, 即XML路径语言，是一门在XML文档中查找信息的语言，同样也适用于HTML文档的搜索。

爬虫 我们需要抓取的只是某个网站或者应用的一部分内容

结构化 先有结构 再有数据 转化为字典处理(如：json => dict)

非结构化 html 正则 lxml bs4等去解析

安装：

pip install beautifulsoup4 -i https://pypi.doubanio.com/simple

pip install lxml [-i https://pypi.doubanio.com/simple]

Xpath术语

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

参考网站：

最常用的xpath表达式： 表达式描述
nodename   选取此节点的所有子节点  
/   从当前节点选取直接子节点  
//   从当前节点选取子孙节点。从整个文档中搜索，不考虑位置  
.   选取当前节点  
..   选取当前节点的父节点  
@   选取属性  
[]   包含某个指定的值/属性的节点 eg: li[1] div[@id="xx"]  
text()   获取文本, 返回的是列表  
string(pattern)   string()获取某个节点下所有的文本; 若是具体某一个标签, 那么即便是该文档有多个这样的标签, string只会获取第一个标签的文本内容。  
 # 获取下一页按钮的链接
 html.xpath(‘//a[text()="下一页"]/@href‘) # 可以实现翻页
 ?
 # 模糊匹配
 //div[contains(@class, "note")] # contains方法 包含
 ?
 # 匹配开头
 starts_with()
 ?
 # 匹配结尾
 end_with() 演示  import requests
 from lxml import etree
 ?
 resp = requests.get(‘https://image.baidu.com‘)
 ?
 html = etree.HTML(resp.text) # def HTML(text, parser=None, base_url=None):
 ?
 res = html.xpath("/html/body/div//a/text()") # / 从跟节点开始匹配到div下a标签的子孙节点下的文本
 html.xpath("//li/a/text()") # // 代表从文档的任何一个位置(节点)开始
 ?
 # 注意xpath中位置对象的获取：/li[1]:第一个，li[last()]最后一个，li[last()-1]倒数第二个
 html.xpath("//ul/li[2]/a/@href")
 ?
 # 选择最后一个li对象的class属性
 print(html.xpath("//ul/li[last()]/@class"))
 ?
 # string: 获取表达式下的所有文本信息 一定和text的区别
 print(html.xpath("//div/text()"))   # 直接子节点,文本信息
 ?
 # 若是具体某一个标签, 那么即便是该文档有多个这样的标签, string只会获取第一个标签的文本内容
 print(repr(html.xpath("string(//div/ul/li/a)"))) 谓语（Predicates）