Python中常用的html数据抽取要领有正则、XPath和BeautifulSoup这三种。此中，最常用的XPath库是lxml。今天再介绍一个库SimplifiedDoc，一起对照一下他们的优劣。
1、安置
名称
安置要领
包巨细
说明
正则
不需安置（内置）
lxml
pip install lxml
4.5MB
依赖c语言库
BeautifulSoup
pip install beautifulsoup4
107kB
如果不使用第三方库，则不需要另外安置
SimplifiedDoc
pip install simplified-scrapy
43kB
没有第三方依赖
2、Python版本撑持
这几种要领都同时撑持Python2和Python3。
3、使用要领
对正则和XPath的使用要领，这里就不反复了，只简单比拟下BeautifulSoup和SimplifiedDoc。下面的代码展示了两者实例化及提取数据的要领。
html = '''
<html>
<head>
<title>Example Domain</title>
</head>
<body>
<div id='test'>
test text
</div>
</body>
</html>
'''
# 例子：
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,features='html.parser')
soup = BeautifulSoup(html,features='lxml')
title = soup.title
# 取所有
divs = soup.findAll(id='test')
divs = soup.select('div#test')
# 取第一个
div = soup.find(id='test')
div = soup.select_one('div#test')
print (div.text)
# 例子：https://github.com/yiyedata/simplified-scrapy-demo/tree/master/doc_examples
from simplified_scrapy import SimplifiedDoc
doc = SimplifiedDoc(html)
title = doc.title
# 取所有
divs = doc.getElements('div',attr='id',value='test')
divs = doc.selects('div#test')
# 取第一个
div = doc.getElement('div',attr='id',value='test')
div = doc.select('div#test')
print (div.text)
在使用要领上，有相似的处所，也有差此外处所，但是都挺简单的。这里出格提一下SimplifiedDoc中的getElement要领，每个要领中都有三个可选的参数start=None,end=None,before=None。使用这三个参数，可以辅佐定位需要抽取的数据，在合适的时候，可以使抽取很便利。
4、性能比拟
在措置惩罚惩罚速度上，对付正则，措置惩罚惩罚速度快，，并且是有针对性的只措置惩罚惩罚需要的数据，所以对照公认的是措置惩罚惩罚速度最快的方法，但是使用起来相对困难。下面只比拟lxml、BeautifulSoup、SimplifiedDoc这三种方法。比拟代码如下：
from lxml import etree
from bs4 import BeautifulSoup
from simplified_scrapy import SimplifiedDoc
import time
html = '''
<!doctype html>
<html>
<head>
<title>Example Domain</title>
<meta charset="utf-8" />
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
<style type="text/css">
body {
background-color: #f0f0f2;
margin: 0;
padding: 0;
font-family: -apple-system, system-ui, BlinkMacSystemFont, "Segoe UI", "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
}
div {
width: 600px;
margin: 5em auto;
padding: 2em;
background-color: #fdfdff;
border-radius: 0.5em;
box-shadow: 2px 3px 7px 2px rgba(0,0,0,0.02);
}
a:link, a:visited {
color: #38488f;
text-decoration: none;
}
@media (max-width: 700px) {
div {
margin: 0 auto;
width: auto;
}
}
</style>
</head>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.</p>
<p><a href=http://www.mamicode.com/"https:/www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
'''
start = time.time()
for i in range(0,1000):
root = etree.HTML(html)
text = root.xpath('//h1/text()')[0]
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='html.parser')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='lxml')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
doc = SimplifiedDoc(html)
text = doc.h1.html
print (time.time()-start,text)
使用VSCode测试比拟功效如下：
名称
调试模式耗时（单位：秒）
lxml
0.10795402526855469
BeautifulSoup(html.parser)
2.5450849533081055
BeautifulSoup(lxml)
2.236968994140625
SimplifiedDoc
0.25988101959228516
名称
非调试模式耗时（单位：秒）
lxml
0.12264490127563477
BeautifulSoup(html.parser)
0.799994945526123
BeautifulSoup(lxml)
0.7144896984100342
SimplifiedDoc
0.14832687377929688
![[转]Node.js中package.json中^和~的区别](/uploads/allimg/200519/054J34453_lit.png "[转]Node.js中package.json中^和~的区别")