Livid
403.84D
565.99D
V2EX  ›  V2EX

关于目前 V2EX 的主题的自动打标签功能

  •  
  •   Livid ·
    PRO
    · Feb 20, 2014 · 7108 views
    This topic created in 4639 days ago, the information mentioned may be changed or developed.
    是的,有时候确实会产生一些奇怪的结果。

    我们用的是结巴中文分词这个库算出来的结果,如果你对分词方面有研究,有信心做出更好的结果,或许你可以考虑给他们提一个 pull request:

    https://github.com/fxsjy/jieba

    这是我之前提的 issue:

    https://github.com/fxsjy/jieba/issues/130
    26 replies  •  1970-01-01 08:00:00 +08:00
    tension
    tension
    Feb 20, 2014❤️19
    1
    继续努力就好啦... 着什么急... 中国的语言是博大精深的!

    1. 冬天:能穿多少穿多少; 夏天:能穿多少穿多少。
    2. 剩女产生的原因有两个,一是谁都看不上,二是谁都看不上。
    3. 地铁里听到一个女孩大概是给男朋友打电话,“我已经到西直门了,你快出来往地铁站走。如果你到了,我还没到,你就等着吧。如果我到了,你还没到,你就等着吧。”
    4.单身人的来由:原来是喜欢一个人,现在是喜欢一个人。
    5.两种人容易被甩:一种不知道什么叫做爱,一种不知道什么叫做爱。
    6.想和某个人在一起的两种原因:一种是喜欢上人家,
    另一种是喜欢上人家。
    7.女孩约的男孩迟到了有两个原因:
    ①睡过了,②睡过了。
    Mihuwa
    Mihuwa
    Feb 20, 2014
    2
    哈哈,楼上的。
    Tink
    Tink
    Feb 20, 2014
    3
    @tension 太赞了!
    jjplay
    jjplay
    Feb 20, 2014
    4
    机智的 1L
    xgjames
    xgjames
    Feb 20, 2014
    5
    连「库算」都能分成个词,笑死了
    donwa
    donwa
    Feb 20, 2014❤️1
    6
    我觉得v2ex的分词已经很好了。
    再自己维护下词库,应该可以达到更好的效果。

    @xgjames jieba好像有新词发现功能。
    这个 库算 出来

    “这个” 和 “出来” 在词库内存在,而在“这个”和“出来”之间的“库算” 定义为新词了
    family
    family
    Feb 20, 2014 via iPhone
    7
    根本不是分词库的问题
    而是主题词/热点词算法的问题
    donwa
    donwa
    Feb 20, 2014
    8
    @Livid 我觉得应该对v2ex的标签再进行一个处理。每次取词 5~6个,然后再查wiki或者百度百科是否存在词条。

    优先选择: 存在词条 > 出现频率 > 词库中存在 > 新词 来确定3个标签。
    caoyue
    caoyue
    Feb 20, 2014
    9
    应该也不是是词典的问题,jieba 分词的效果还是不错的
    但是关键词提取的时候,对于词典中不存在的词的处理似乎有些问题
    用 cut 来分词,然后自己处理提取 tag 可能会好一点。
    blacktulip
    blacktulip
    Feb 20, 2014❤️1
    10
    只需要开启手动编辑功能,让大家都能改帖子的 tag 就行了。
    Sivan
    Sivan
    Feb 20, 2014❤️1
    11
    tag 最奇怪的难道不是这个帖子吗?
    http://www.v2ex.com/t/97492
    sethverlo
    sethverlo
    Feb 20, 2014
    12
    @Sivan 哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈点进去之前想到了各种可能性,进去之后还是笑喷了哈哈哈哈哈哈哈哈哈哈哈哈哈哈
    underone
    underone
    Feb 20, 2014
    13
    @Sivan 我笑了。。。
    wwqgtxx
    wwqgtxx
    Feb 20, 2014 via Android
    14
    @Livid
    能不能让移动界面也能看到分词呀!
    hzlzh
    hzlzh
    Feb 20, 2014
    15
    围观 “库算” 这个标签
    lazycat
    lazycat
    Feb 20, 2014 via Android
    16
    @wwqgtxx 赞一个
    air00dd
    air00dd
    Feb 20, 2014
    17
    有没有主题收藏用标签分类的计划?
    zorceta
    zorceta
    Feb 20, 2014 via Android
    18
    V2EX的分词系统不是AI么
    aoaoho
    aoaoho
    Feb 20, 2014 via iPad
    19
    1楼 @tension 和 11楼 @Sivan 都亮了
    cchange
    cchange
    Feb 20, 2014 via iPhone
    20
    1楼 @tension 太亮了
    怪不得财富那么多

    还有 手机版无法看到标签啊~
    caomu
    caomu
    Feb 21, 2014 via Android
    21
    tag收藏
    tag之间关联,类似于子话题
    tag维护者
    tag wiki(简短描述)

    好像有点像知乎。。。
    onemoo
    onemoo
    Feb 21, 2014
    22
    能不能设置手动编辑?
    或者设置一个tag库,放上常用的tag,供大家选择。
    virushuo
    virushuo
    Feb 21, 2014
    23
    我对分词算略有经验,以我们当年做搜索的经验看,如果不是通用搜索,只面对一个领域,最好的办法是自定义词库。所以开放tag编辑功能,用户修正错误,然后稍微用个算法过滤一下,生成自定义词库补充进去,效果能好很多。这种情况反而在分词引擎本身上能提高的余地不大。
    0bit
    0bit
    Feb 21, 2014
    24
    @tension 糖蒜女子脱口秀?
    xiaket
    xiaket
    Feb 21, 2014
    25
    @Livid, 附议@virushuo

    可以扫一遍已有的标签们, 编辑成一个列表, 后面的新标签也更倾向于从列表中取.
    cxshun
    cxshun
    Feb 21, 2014
    26
    @tension 牛叉,果断博大精深。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1954 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 79ms · UTC 16:46 · PVG 00:46 · LAX 08:46 · JFK 11:46
    ♥ Do have faith in what you're doing.