• 请不要在回答技术问题时复制粘贴 AI 生成的内容
dai269619118
V2EX  ›  程序员

大家有什么推荐 [提取关键词] 的开源吗?

  •  
  •   dai269619118 · Oct 27, 2015 · 4050 views
    This topic created in 4030 days ago, the information mentioned may be changed or developed.

    今天试了下 jieba 和 snownlp
    jieba 使用自定义词典 权重不好控制
    snownlp 貌似不支持自定义词典 需要自己训练文本


    搜下了论坛里面的帖子 看到 @Livid 用的是 jieba 后面好像换了?
    换的是什么工具 能说下吗?
    大家推荐几个 我自己再去试试 找到个我自己合适的

    10 replies  •  2015-10-28 09:17:11 +08:00
    xxm459259
    xxm459259
    Oct 27, 2015
    1
    LDA?
    jimmyBrother
    jimmyBrother
    Oct 27, 2015
    2
    你怎么定义关键词啊,是出现的次数比较多就算关键词么,还是有别的什么定义的方法;
    dai269619118
    dai269619118
    OP
    Oct 27, 2015
    3
    @jimmyBrother 匹配到词典里面的词 然后按权重排序
    shoumu
    shoumu
    Oct 27, 2015
    4
    自己写一个 TF-IDF 吧,然后根据你的训练数据跑一个 IDF ,再根据你的效果调一下参数什么的就好了
    dai269619118
    dai269619118
    OP
    Oct 27, 2015
    5
    @shoumu 嗯嗯 文本匹配字典 有什么算法吗?
    shoumu
    shoumu
    Oct 27, 2015❤️1
    6
    @dai269619118
    Hash ? Trie 树?
    你是想直接从字典中匹配出关键词吗?
    dai269619118
    dai269619118
    OP
    Oct 27, 2015
    7
    @shoumu 有思路了 谢谢啊
    Gestalt
    Gestalt
    Oct 28, 2015❤️2
    9
    V2EX 帖子的关键词提取目前是用我司的 API http://bosonnlp.com/ 之前在这个帖子里有提到: http://v2ex.com/t/147911#reply32
    dai269619118
    dai269619118
    OP
    Oct 28, 2015
    10
    @Gestalt 测试了一个文本 分析的很准! 谢谢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3962 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 06:01 · PVG 14:01 · LAX 22:01 · JFK 01:01
    ♥ Do have faith in what you're doing.