GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML， 输出正文内容、标题、作者、颁布时间、正文中的图片地点和正文地址的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 不雅察看者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百其中文新闻网站上效果非常超卓，几乎能够到达100%的准确率。

使用方法非常简单：

from gne import GeneralNewsExtractor extractor = GeneralNewsExtractor() html = '网站源代码' result = extractor.extract(html) print(result)

GNE 的输入是颠末 js 衬着以后的 HTML 代码，所以 GNE 可以共同Selenium 或者 Pyppeteer 使用。

下图是 GNE 共同 Selenium 实现的一个 Demo：

对应的代码为：

import time from gne import GeneralNewsExtractor from selenium.webdriver import Chrome driver = Chrome('./chromedriver') driver.get('https://www.toutiao.com/a6766986211736158727/') time.sleep(3) extractor = GeneralNewsExtractor() result = extractor.extract(driver.page_source) print(result)

下图是 GNE 共同 Pyppeteer 实现的 Demo：

对应代码如下：

import asyncio from gne import GeneralNewsExtractor from pyppeteer import launch async def main(): browser = await launch(executablePath='/Applications/Google Chrome.app/Contents/MacOS/Google Chrome') page = await browser.newPage() await page.goto('https://news.163.com/20/0101/17/F1QS286R000187R2.html') extractor = GeneralNewsExtractor() result = extractor.extract(await page.content()) print(result) input('查抄完成以后回到这里按下任意键') asyncio.run(main()) 如何安置 GNE

此刻你可以直接使用 pip 安置 GNE 了：

pip install gne

如果访谒pypi 官方源太慢，你也可以使用网易源：

pip install gne -i https://mirrors.163.com/pypi/simple/

安置过程如下图所示：

成果特性 获取正文源代码

在extract()要领只传入网页源代码，不添加任何特别参数时，GNE 返回如下字段：

title：新闻标题

publish_time：新闻颁布时间

author：新闻作者

content：新闻正文

images: 正文中的图片（相对路径或者绝对路径）

可能有些伴侣但愿获取新闻正文地址标签的源代码，此时可以给extract()要领传入with_body_html参数，设置为 True：

extractor = GeneralNewsExtractor() extractor.extract(html, with_body_html=True)

返回数据中将会增加一个字段body_html，它的值就是正文对应的 HTML 源代码。

运行效果如下图所示：

总是返回图片的绝对路径

默认情况下，如果新闻中的图片使用的是相对路径，那么 GNE 返回的images字段对应的值也是图片相对路径的列表。

如果你想始终让 GNE 返回绝对路径，那么你可以给extract()要领增加host参数，这个参数的值是图片的域名，例如：

extractor = GeneralNewsExtractor() extractor.extract(html, host='https://www.kingname.info')

这样，如果新闻中的图片是/images/pic.png，那么 GNE 返回时会自动把它变为https://www.kingname.info/images/pic.png。

指定新闻标题地址的 XPath

GNE 预界说了一组 XPath 和正则表达式用于提取新闻的标题。但某些特殊的新闻网站可能无法提取标题，此时，你可以给extract()要领指定title_xpath参数，用于提取新闻标题：

extractor = GeneralNewsExtractor() extractor.extract(html, title_xpath='//title/text()') 提前移除噪声标签

某些新闻下面可能会存在长篇大论的评论，这些评论看起来比新闻正文“更像”正文，为了防备他们滋扰新闻的提取，可以通过给extract()要领传入noise_node_list参数，提前把这些噪声节点移除。noise_node_list的值是一个列表，里面是一个或多个 XPath：

extractor = GeneralNewsExtractor() extractor.extract(html, noise_node_list=['//div[@class="comment-list"]', '//*[@style="display:none"]']) 使用配置文件

API 中的参数 title_xpath、 host、 noise_node_list、 with_body_html除了直接写到 extract() 要领中外，还可以通过一个配置文件来设置。

请在项目的根目录创建一个文件 .gne，配置文件可以用 YAML 格局，也可以使用 JSON 格局。

YAML 格局配置文件

title: xpath: //title/text() host: https://www.xxx.com noise_node_list: - //div[@class=\"comment-list\"] - //*[@style=\"display:none\"] with_body_html: true