ijse
V2EX  ›  问与答

怎样提取网页中的正文内容?就像evernote的剪藏和悦读一样?

  •  
  •   ijse · Jun 21, 2013 · 3802 views
    This topic created in 4889 days ago, the information mentioned may be changed or developed.
    剪藏插件很多情况下对正文的层的猜测很准,而网页多种多样,它是怎么猜测的呢?

    目前想到可能的方法:

    找到一级或二级最多三级的标签,然后计算他们的大小,选尺寸最大的作为正文层
    7 replies  •  1970-01-01 08:00:00 +08:00
    6mN361AJx04in471
    6mN361AJx04in471
    Jun 21, 2013❤️2
    1
    基于行块分布函数的通用网页正文抽取:线性时间、不建DOM树、与HTML标签无关
    https://code.google.com/p/cx-extractor/
    ijse
    ijse
    OP
    Jun 21, 2013
    2
    @takwai 非常感谢!
    ijse
    ijse
    OP
    Jun 21, 2013
    3
    @takwai 看完陈鑫的论文后,发现这个可能不是特别适合我的需求。

    我想取的是正文这一层,而可能不仅仅是网页的*正文文字*,,
    luin
    luin
    Jun 21, 2013
    4
    Readability那样的吗? https://code.google.com/p/arc90labs-readability/

    会计算标签名、类名、链接数量、正文长度、标点符号、图片等信息。
    BeijingBaby
    BeijingBaby
    PRO
    Jun 21, 2013
    5
    基于块的文本密度目前应该比较好的算法,楼主可以先了解下这方面的知识,你猜测的那个方法也差别太大了。
    ijse
    ijse
    OP
    Jun 21, 2013
    6
    @luin
    @takwai

    需求大致是这样的: 能够自动找出页面中的主要内容,这内容有可能是一个flash,正文,也可能是视频, canvas等。

    暂时想到的方案是,找出尺寸最大的标签
    ijse
    ijse
    OP
    Jun 21, 2013❤️1
    7
    @BeijingBaby 多谢,我看过这个算法了,可貌似它只适用于提取网页中的正文文字信息;但我的需求可能还包括flash等信息,我需要的是整个标签的html内容
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4242 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 09:34 · PVG 17:34 · LAX 01:34 · JFK 04:34
    ♥ Do have faith in what you're doing.