例如:自己博客用的 hexo 模板,但是被其他网站抓取了好多,
还有:掘金上分享博客链接,之后博客文章就被抓取到掘金了。
还有:safari 浏览器中看博客,可以点击地址栏的预览,可以直接预览博客的文章
等等。。
这些是什么实现的吗?
通过选择固定的 class 来抓取网页?
但是我的 class 改了之后 safari 浏览器中依然可以预览。。
万能的 V2EX 伙伴们,有没有相关的技术方案,来讨论一下 ~
例如:自己博客用的 hexo 模板,但是被其他网站抓取了好多,
还有:掘金上分享博客链接,之后博客文章就被抓取到掘金了。
还有:safari 浏览器中看博客,可以点击地址栏的预览,可以直接预览博客的文章
等等。。
这些是什么实现的吗?
通过选择固定的 class 来抓取网页?
但是我的 class 改了之后 safari 浏览器中依然可以预览。。
万能的 V2EX 伙伴们,有没有相关的技术方案,来讨论一下 ~
|
creedowlSep 23, 2018
1
之前研究过提取文章正文,发现有一些办法,比如计算文字密度
|
|
dreaskySep 23, 2018
2
找到标点符号最多的 div
|
|
IvanLi127Sep 23, 2018 via Android
3
歪楼,我看成 万恶的 V2E....
|
|
4
readability 算法了解一下
|
|
MoguguguguSep 23, 2018 via Android
5
@dreasky 这个思路 不错😊
|
|
zhangZMZSep 23, 2018
6
万能?看见这个词语解不解答了。
我的万能岂能让你知道,无知的凡人,哼╭(╯^╰)╮! |
|
7
你把 class 的名字改成 footer 试试看
最近刚好在看 readability 的源码。 如果真的想抓 几乎不可能挡的住。 |
|
TinkSep 24, 2018 via iPhone
8
解析 dom 呗
|
|
9
常见的模板,写几个正则就够了,通吃 8 成网站;不常用的,readability。
|
|
2010Sep 24, 2018 via Android
10
看网站写规则就行
|
|
huangfsSep 24, 2018
14
一般会有一套的模版的。
|
|
15
|