一日一技:如何提取网页中的日期?
2023-05-06 15:51:35
作者:kingname
Gne[1]虽然在提取新闻正文的时候,准确率比较高,但由于提取新闻发布时间使用的是正则表达式,因此提取效果有时候不那么让人满意。
最近我发现Python的一个第三方库,叫做htmldate,经过测试,它提取新闻的发布时间比较准确。我们来看看这个库怎么使用。首先使用pip安装:
python3 -m pip install htmldate1.然后,我们使用Requests或者Selenium获得网站的源代码:
import requests from htmldate import find_date html = requests.get(https://www.kingname.info/2022/03/09/this-is-gnelist/).content.decode(utf-8) date = find_date(html) print(date)1.2.3.4.5.运行效果如下图所示:
而这篇文章的发布时间,确实是3月9号:
我们再用网易新闻来看一下,相互激励 增进友谊(精彩绽放) |残奥|中国代表团|单板滑雪|夺金_网易政务[2] 这篇新闻对应的发布时间如下图所示:
现在我们用Requests获得它的源代码,然后再提取发布时间:
发布日期确实对了,但是后面的时间怎么丢失了呢?如果想把时分秒保留下来,可以增加一个参数outputformat,它的值就是你在datetime.strftime里面输入的值:
find_date(html, outputformat=%Y-%m-%d %H:%M:%S)1.运行效果如下图所示:
find_date的参数,除了网页源代码外,还可以传入URL,或者是lxml里面的Dom对象,例如:
from lxml.html import fromstring selector = fromstring(html) date = find_date(selector)1.2.3.4.参考文献
[1] Gne: https://github.com/GeneralNewsExtractor/GeneralNewsExtractor
[2] 相互激励 增进友谊(精彩绽放) |残奥|中国代表团|单板滑雪|夺金_网易政务:
https://www.163.com/news/article/H28Q6NQ1000189FH.html来源: 未闻Code
以上就是关于《一日一技:如何提取网页中的日期?》的全部内容,本文网址:https://www.7ca.cn/baike/23913.shtml,如对您有帮助可以分享给好友,谢谢。
声明