mysql 能不能对中文分词检索? 要对 item 条目表下的 detail 字段检索,like 不能满足需求。。有什么方法能最快解决这问题?
能不用 sphinx、els 之类的最好
mysql 能不能对中文分词检索? 要对 item 条目表下的 detail 字段检索,like 不能满足需求。。有什么方法能最快解决这问题?
能不用 sphinx、els 之类的最好
|
yangguoshuaiJun 20, 2017
1
先分词,然后编码(比如类似 base64 替换几个字符) 然后全文搜索。。
|
|
2
看了下 PostgreSQL 原生支持全文检索,我准备把这个表同步到 PostgreSQL 上来检索。。
https://www.opsdash.com/blog/postgres-full-text-search-golang.html |
|
ming2050Jun 20, 2017 via iPhone
3
可以原生中文分词
ngram |
|
ming2050Jun 20, 2017 via iPhone
4
很笨拙的算法,但很有用
|
|
zwh8800Jun 20, 2017
5
用专业的工具做专业的事,分词搜索还是用 es 吧
|
|
wdlthJun 20, 2017
9
我们是用 Solr 和 ES 来做的,这些更专业,也更好扩展。
|
|
aqqwiythJun 20, 2017
11
全转成拼音。。。走 fulltext index 逃:)
|
|
PythonAnswerJun 21, 2017 via Android
12
pg 能满足个人需求吗?以前折腾过 es 感觉还是麻烦了
|
|
13
原来 mysql 本身就支持中文分词与全文搜索,我就不折腾了。
https://dev.mysql.com/doc/refman/5.7/en/fulltext-natural-language.html |
|
dangyuluoJun 21, 2017
14
上 ES,免费的没看到有更简单的方案的了。
|
|
reusJun 21, 2017
16
用 pg_trgm 扩展,建 gist 或者 gin 索引也差不多了
|
|
reusJun 21, 2017
17
没看到是中文,那不能用 pg_trgm
|
|
KalaSearchSep 5, 2020
18
MySQL 和 PG 本身都支持全文索引和分词,分词的方式有直接切 ngram (N 可选,索引会大 N 倍)或者用一些分词的插件。但问题是 MySQL 和 PG 都不是设计用来做搜索的,因此非要强用会比较拧巴。
而 ES 有不少分词用的插件,比较各种分词的效果(索引分词效果和搜索分词效果)会需要比较多的上下文知识。通常 Analyzer 和 Query analyzer 必须用同样的分词器,但也会造成有的时候某个词就是搜不出来的情况。 预算允许的话,自荐下我们做的卡拉搜索,啥也不用配置,接上 API 瞬间开搜。速度在我们的 benchmark 上比优化过的 ES 还快 10 倍左右 |