下面是 kimi 给出的结论，是否正确
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 457 days ago, the information mentioned may be changed or developed.
 |
1
用 BPE 分词器，英语子词合并充分，中文语义密度高，不存在也不可能存在 40%这么高的差距。相信月之暗面，不如相信我是秦始皇。搞这些，不如前置一个小模型实现精炼、去除赘余，这才是真正的提高效率和利用率。
|
1 |
TimePPTAug 7, 2025
2
@imes 哈哈哈对的。
这个跟 tokenizer 算法强相关，各家各模型其实是有差的。 另外，OpenAI 家自己有个 token 计算器，如果有兴趣自己试试就知道了。 https://platform.openai.com/tokenizer |
|
TimePPTAug 7, 2025
3
另外，现在很多模型服务厂商是有 cache 的，走 cache 也会便宜不少——比如 OpenAI 家的说明： https://platform.openai.com/docs/guides/prompt-caching
所以你每次请求，多次 context 重复部分实际上花不了多少钱，直接按裸 token 算钱实际上是算多的 |
 |
yh7gdiaYWAug 7, 2025
4
会少但没有这么明显，我自己的应用测算下来把输入转为英文能节省 20%-30%的 token ，模型是 4o 。国产模型的话差距应该会更小甚至反过来
|
 |
DladAug 7, 2025
5
感觉差异来自“子任务：翻译”。跟信息密度关系倒不大。
|
 |
s1E4GnZ4A2qGRyvaAug 8, 2025
6
第一个例子，用二楼的 token 计算器测“我爱人工智能” 是 4 个。
自己先做下实验为好。 |
Select Language