1. 算法介绍
利用高效的 Trie 树建立关键词树，如下图所示，然后依次查找字符串中的相连字符是否形成树的一条路径
发现掘金上这篇文章写的比较详细，可以一读，具体原理在此不详述。
2. 关键词替换
支持关键词重叠，自动选用最长的关键词，代码示例如下：
package main
import (
"fmt"
"github.com/tal-tech/go-zero/core/stringx"
)
func main() {
replacer := stringx.NewReplacer(map[string]string{
"日本": "法国",
"日本的首都": "东京",
"东京": "日本的首都",
})
fmt.Println(replacer.Replace("日本的首都是东京"))
}
可以得到：
东京是日本的首都
示例代码见这里
3. 查找敏感词
代码示例如下：
package main
import (
"fmt"
"github.com/tal-tech/go-zero/core/stringx"
)
func main() {
filter := stringx.NewTrie([]string{
"AV 演员",
"苍井空",
"AV",
"日本 AV 女优",
"AV 演员色情",
})
keywords := filter.FindKeywords("日本 AV 演员兼电视、电影演员。苍井空 AV 女优是 xx 出道, 日本 AV 女优们最精彩的表演是 AV 演员色情表演")
fmt.Println(keywords)
}
可以得到：
[苍井空 日本 AV 女优 AV 演员色情 AV AV 演员]
4. 敏感词过滤
代码示例如下：
package main
import (
"fmt"
"github.com/tal-tech/go-zero/core/stringx"
)
func main() {
filter := stringx.NewTrie([]string{
"AV 演员",
"苍井空",
"AV",
"日本 AV 女优",
"AV 演员色情",
}, stringx.WithMask('?'))
safe, keywords, found := filter.Filter("日本 AV 演员兼电视、电影演员。苍井空 AV 女优是 xx 出道, 日本 AV 女优们最精彩的表演是 AV 演员色情表演")
fmt.Println(safe)
fmt.Println(keywords)
fmt.Println(found)
}
可以得到：
日本????兼电视、电影演员。?????女优是 xx 出道, ??????们最精彩的表演是??????表演
[苍井空 日本 AV 女优 AV 演员色情 AV AV 演员]
true
示例代码见这里
5. Benchmark
6. 项目地址
https://github.com/tal-tech/go-zero
7. 微信交流群
Select Language