V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
V2EX › tokenizer
 |
novocab: 一个精确的 token 预估器，在多语言单段语料里偏移仅有 5%， 4K 只偏 3%，没有词表，全仓库就一个代码文件，连算法一起开源 分享创造 • wdhwg001 • 17h 24m ago • Lastly replied by dcalsky | 1 |
 |
GPT-4o 的新 tokenizer 词库污染严重 OpenAI • Xs0ul • May 15, 2024 • Lastly replied by Xs0ul | 3 |
 |
有了解 fast tokenizer 的老哥吗？怎么将 baichuan2-13b 的 tokenizer 转成 fast tokenizer? 问与答 • Auston • Apr 23, 2024 • Lastly replied by 1311317 | 1 |
 |
chatgpt token 计算方式 OpenAI • WorldWideWeb • Apr 9, 2023 • Lastly replied by HimeHina | 2 |
 |
Elasticsearch 检索多语种混合文档 Elasticsearch • herosbd1 • Nov 27, 2021 |
 |
marked.js 表格前面必须要有空行才能渲染，如何破 问与答 • balabalaguguji • Jul 15, 2021 |
 |
django 集成 ElasticSearch 7.10 出现错误，执行 Python manage.py rebuild_index 创建索引时候出现的，有大佬知道如何解决吗？ Python • wudigaga • Nov 14, 2020 • Lastly replied by smart9527 | 1 |
 |
ES 中对 不规则的产品编号 该如何进行分词呢？ 程序员 • eziooooo • Oct 17, 2019 • Lastly replied by zbinlin | 2 |
 |
ElasticSearch 中的 Tokenizer "pattern" 配置，有没有办法定义多个 pattern？ 程序员 • CivAx • Jan 31, 2019 |
 |
xunsearch 太多字段搜索起来特别慢，该怎么设计配置文件 程序员 • alwayshere • Nov 23, 2017 • Lastly replied by dobelee | 1 |
Select Language