• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zjsxwc
V2EX  ›  程序员

mysql 能不能对中文分词检索?

  •  
  •   zjsxwc ·
    zjsxwc · Jun 20, 2017 · 7917 views
    This topic created in 3437 days ago, the information mentioned may be changed or developed.

    mysql 能不能对中文分词检索? 要对 item 条目表下的 detail 字段检索,like 不能满足需求。。有什么方法能最快解决这问题?

    能不用 sphinx、els 之类的最好

    Supplement 1  ·  Jun 21, 2017
    折腾了 1 天,最后使用 ES 最爽,完美解决需求,谢谢大家
    18 replies  •  2020-09-05 15:50:47 +08:00
    yangguoshuai
    yangguoshuai
    Jun 20, 2017
    1
    先分词,然后编码(比如类似 base64 替换几个字符) 然后全文搜索。。
    zjsxwc
    zjsxwc
    OP
    Jun 20, 2017
    2
    看了下 PostgreSQL 原生支持全文检索,我准备把这个表同步到 PostgreSQL 上来检索。。

    https://www.opsdash.com/blog/postgres-full-text-search-golang.html
    ming2050
    ming2050
    Jun 20, 2017 via iPhone
    3
    可以原生中文分词
    ngram
    ming2050
    ming2050
    Jun 20, 2017 via iPhone
    4
    很笨拙的算法,但很有用
    zwh8800
    zwh8800
    Jun 20, 2017
    5
    用专业的工具做专业的事,分词搜索还是用 es 吧
    zjsxwc
    zjsxwc
    OP
    Jun 20, 2017
    6
    @zwh8800

    尝试了下 es 的 5 分钟教程,蛮简单的,es 有什么中文分词推荐的?
    leopku
    leopku
    Jun 20, 2017
    7
    @zjsxwc IK

    mmseg 在某些场景表现也不错

    根据你的场景多测试总结
    Hieast
    Hieast
    Jun 20, 2017 via Android
    8
    @zjsxwc 一开始 smartcn 吧
    wdlth
    wdlth
    Jun 20, 2017
    9
    我们是用 Solr 和 ES 来做的,这些更专业,也更好扩展。
    TangMonk
    TangMonk
    Jun 20, 2017 via Android
    10
    @zjsxwc pg 要下插件才支持中文检索
    aqqwiyth
    aqqwiyth
    Jun 20, 2017
    11
    全转成拼音。。。走 fulltext index 逃:)
    PythonAnswer
    PythonAnswer
    Jun 21, 2017 via Android
    12
    pg 能满足个人需求吗?以前折腾过 es 感觉还是麻烦了
    zjsxwc
    zjsxwc
    OP
    Jun 21, 2017 via Android
    13
    原来 mysql 本身就支持中文分词与全文搜索,我就不折腾了。

    https://dev.mysql.com/doc/refman/5.7/en/fulltext-natural-language.html
    dangyuluo
    dangyuluo
    Jun 21, 2017
    14
    上 ES,免费的没看到有更简单的方案的了。
    cstj0505
    cstj0505
    Jun 21, 2017
    15
    @zjsxwc 是的,postgrsql 配合结巴分词非常好用。

    再弄一个自己家的分词词库,美滋滋,不比任何人的差
    reus
    reus
    Jun 21, 2017
    16
    用 pg_trgm 扩展,建 gist 或者 gin 索引也差不多了
    reus
    reus
    Jun 21, 2017
    17
    没看到是中文,那不能用 pg_trgm
    KalaSearch
    KalaSearch
    Sep 5, 2020
    18
    MySQL 和 PG 本身都支持全文索引和分词,分词的方式有直接切 ngram (N 可选,索引会大 N 倍)或者用一些分词的插件。但问题是 MySQL 和 PG 都不是设计用来做搜索的,因此非要强用会比较拧巴。

    而 ES 有不少分词用的插件,比较各种分词的效果(索引分词效果和搜索分词效果)会需要比较多的上下文知识。通常 Analyzer 和 Query analyzer 必须用同样的分词器,但也会造成有的时候某个词就是搜不出来的情况。

    预算允许的话,自荐下我们做的卡拉搜索,啥也不用配置,接上 API 瞬间开搜。速度在我们的 benchmark 上比优化过的 ES 还快 10 倍左右
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   971 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 19:43 · PVG 03:43 · LAX 11:43 · JFK 14:43
    ♥ Do have faith in what you're doing.