爱意满满的作品展示区。
KevZhi

做了个本地 AI 字幕软件,商业纪录片剧组已经在用了,送 15 个激活码

  •  
  •   KevZhi · 5 days ago · 2260 views

    各位 V 友好,分享一下我做的字幕软件,灵幕 SmarterSub。

    官网:https://smartersub.kevzhi.com/

    支持 Windows 和 Apple Silicon Mac,可以免费试用 7 天全部功能。先把地址放这里,感兴趣的可以直接下载,拿自己的视频试试。

    最近 vibe coding 的东西太多了,我自己看见一个新软件,第一反应也是:这东西到底有什么用,我为什么不直接用现成的?

    所以做灵幕的时候,我一直有个要求:我自己拿它做视频,得比之前用的、按分钟收费的商业字幕软件更省事,字幕出来的效果还得更好。否则把几个开源模型接起来,做个界面,再收一遍钱,我自己都说服不了自己。

    我本身做视频,而且很多时候,最后坐在那里把字幕从头审到尾的人就是我。真的做多了就知道,机器永远做不到 100%,只要你在意字幕的质量,那就永远得有人把关,哪怕机器做到了 99% 的识别正确率,剩下 1% 还是意味着一条 20 分钟的视频里就有 60 个错需要人来改。

    一个产品名错十次,要改十次。英文大小写不对,要改。一句话从中间很别扭的地方断开,要拆开重新合。数字、单位、中英文空格,再一点点收拾。每件事都不大,一条片子做下来,时间全花在这里了。

    所以我做灵幕,关心的是识别完以后,还剩多少活要人干。

    我把这些年做字幕积累的规则,整理成上万条真实字幕,在 Qwen3-ASR 上训练了字幕 LoRA,让断句、分行、大小写这些尽量第一次就出来对的。而 Qwen3-ASR 一开始是完全不会分行短句去水词的。还有个我自己很喜欢的功能:你改正一个词,它会理解你这次改了什么,再去找其他相似错误,让你确认要不要一起改。

    不可能指望本地模型认识所有新产品,但我已经告诉你正确写法了,就别再让我改十遍了吧。

    V 友如果会做技术教程、软件演示、数码评测或者课程,可以试试。中英混说、型号和术语比较多的内容,正好也是我平时做得比较多的。

    开发时也走过弯路。我试过把音频直接丢给多模态比较强的在线大模型,打算做 BYOK,把字幕规则全写进提示词。它确实聪明,有些新词靠上下文就能猜对。但字幕还需要时间轴,这部分仍然得另外对齐。断句和格式规则太黑盒了,执行不稳定,换段素材,结果可能又不一样。最后还是回到了专门的语音识别模型,加字幕训练和时间对齐这条路。

    现在我自己做片,用灵幕需要手动收拾的地方,已经比之前用的按分钟收费的软件少了,出来的字幕也更合我的要求。不同题材肯定有差别,大家可以拿自己的素材对照一下。

    另外,最近上线的某部大型商业纪录片,剧组已经在用了,反馈非常好。片尾还能找到我。 自己用着好和别人真的拿去完成一个商业项目,还是不一样。这也是我收费的底气。

    还有翻译和声音补录,简单说一下。

    翻译会先把完整意思译出来,再拆回原来的字幕时间轴,不用翻完又重新做一遍字幕。不过这里不吹,本地翻译模型在文风、地道程度和复杂语境上,确实不如好的在线大模型。优势是素材不用上传,出来已经是一份可以接着校对的字幕。有保密要求的片子,或者想先做个翻译底稿,比较合适。

    补录就是解决那种:二十分钟口播都录完了,中间说错一个字,怎么办?

    重新拿麦克风补一句,语气、距离、房间声音可能都变了。我把声音克隆接进了字幕编辑里,哪句说错了,就在旁边改文字,参考原声音色生成补录,连着上下句听一下,合适就用。不保证每句都能一次满意,但救得回来一句,就少折腾一次。

    识别用的是 Qwen3-ASR 1.7B + 我自己训练的字幕 LoRA,翻译是 腾讯 Hy-MT2-7B,声音补录是 Qwen3-TTS。

    上游模型的贡献当然属于上游。我做的是几十个模型里一个一个试,看每个真正的能力底子,找到最适合的,然后训练 LoRA,以及把这些能力变成一套真的可以每天干活的工具。那些反复修改、来回找、重新调轴的时间能不能省下来,才是我觉得它值得收费的地方。

    这几样都在本机跑,视频、音频和字幕不用上传,也不按分钟数或者次数收费。代价就是安装包大一些。配置要求和功能演示官网都有,下载模型、激活和授权验证需要联网。

    价格直接列一下:

    • Lite:79 元永久使用,1 台电脑。 识别、编辑、文稿对齐、智能纠错都有,主要做中文字幕可以选这个。
    • Pro 个人版:149 元永久使用,1 台 Mac + 1 台 Windows。 多了翻译、声音补录、镜头切点与字幕吸附、固定替换词、自定义字幕模型等功能。
    • Pro 工作室版:199 元永久使用,3 台电脑,平台自由组合。 和个人版功能一样。
    • 临时做个项目,也有 14.9 元 / 30 天的 Pro,不自动续费。

    永久版带首次激活起一年的更新,之后授权范围内的旧版本照常用,不续更新也能继续干活。Lite 可以补差价升级,大家可以先 7 天试用,看看自己的电脑跑得怎么样,做完一条片子到底有没有省事。

    这次给 V 友准备了 5 个 Pro 授权码、10 个 Lite 授权码。

    想申请的朋友,希望先下载试用,再来回帖。说说平时做什么内容,试下来怎么样,想要哪个版本就行。希望你确实有长期需求,别领了以后一直吃灰,名额留给用得上的朋友。哪里不好用直接讲。我会在 11 月 12 日 从试用后回帖的朋友里挑选,先到先得,并在本帖公布。

    没拿到授权,但试过觉得值得买,也准备了优惠码 V2EX。任意版本九折,没有截止日期,一共 100 个名额,用完为止。

    最后还有个开源感谢计划:官网开源致谢里列出的项目的贡献者,以及阿里巴巴、腾讯的在职员工,无论是不是千问和混元团队的人,都可以申请。核验以后送 终身免费 Pro,永久使用、永久更新,申请方式在官网购买页 。

    没有这些项目,我一个人做不到现在这样,这个版本付费也买不到,算是对开源模型的感谢。符合条件的直接申请就好,不用占这次的 15 个名额。

    欢迎试试,有问题就在帖子里说,我来改。

    63 replies  •  2026-11-10 20:26:09 +08:00
    perfectlife
    perfectlife
    5 days ago
    1
    我最近也有类似的需求,从 mv 视频的硬字幕中取出来时间轴歌词,头疼,asr 识别的文字错误率太高了,时间轴也不准
    KevZhi
    KevZhi
    OP
    5 days ago
    2
    @perfectlife Qwen3-ASR 是对歌曲做过优化的,我试过说唱正确率还是非常高的,普通演唱凑活吧,你可以试试。内部也有词级时间轴,暂时还不支持导出,你可以让 AI 读一下项目文件。
    或者这类活应该用 OCR 建议让 AI Agent 动用 AI 能力修
    KevZhi
    KevZhi
    OP
    5 days ago
    3

    @perfectlife 你可以看看效果
    perfectlife
    perfectlife
    5 days ago
    4
    @KevZhi Qwen3-ASR 识别歌曲歌词,错误率太高了,我现在就是用 ocr 识别获取歌词,时间轴用 Qwen3-ForcedAligner-0.6B 做时间对齐 ,但是感觉准确性要求高的情况下 ,还是差点意思,我这边还是用逐行和逐字的时间轴歌词 ,现在是各种路子都用了 感觉挺难的
    KevZhi
    KevZhi
    OP
    5 days ago
    5
    @perfectlife 正解就是找 AI Agent 用网络知识库去矫正了,对于中文来说,ASR 缺失了正确的语调,原始输入就相当于被污染了,挑战是指数级增加的 基本都靠后面的文本编码器来救,毕竟比如万青,真人都可能听不出是什么词。
    但是我试了些英文说唱识别率基本 100%,英文歌词也不影响,本来语调信息就不多
    perfectlife
    perfectlife
    5 days ago
    6
    @KevZhi llm 校正这个路子我也走了,llm 校正歌词后再给 ForcedAligner-0.6B 时间对齐,但是有些字幕和互联网的歌词不一致,客观情况下我还是只能以字幕歌词为准,被两头堵了,现在是一方面拼命提高 ocr 识别准别度,一方面提高时间轴的准确, 数十万部视频,基本不太可能人工介入去救,现在想就是只能接受一些识别没那么准的情况
    yukunZhan9
    yukunZhan9
    5 days ago
    7
    晚上回去试用一下,自己也在搓字幕识别,但是还没到训练 LoRA 那一步,还是想着尽可能的减少依赖,mac 尝试使用 apple 自己的听写看看效果。
    KevZhi
    KevZhi
    OP
    5 days ago❤️1
    8
    @yukunZhan9 Apple 中文听写正确率 90% 都不到,属于根本没法用那一档。
    Whisper Large 是 93%左右
    FireRED ASR 据说是 SOTA ,97.5% 但我也试了,夹杂英文词、型号大小写全都错的,训练集质量可以说是非常堪忧。FUNASR 也不太理想。
    这都是我踩过的坑,可以不用再试了哈哈
    Qwen3-ASR 1.7B 别人测试集是 97%,但是实际表现非常好,尤其是科技数码类话题,经过我训练以后同类型视频基本 CER 99.2% 左右。文本层有点东西,训练预料质量也非常高。比如比亚迪 DM-i 裸模都能正确标注
    干字幕识别这个活,低参数量的模型没有实用价值,看着快了,占用性能小了。实际上省下来的时间,会一分不少浪费在人工校正阶段,甚至花的更多
    yukunZhan9
    yukunZhan9
    5 days ago
    9
    @KevZhi #8 哈哈,那看起来确实要劝退这个方案了
    KevZhi
    KevZhi
    OP
    4 days ago
    10
    @KevZhi 打错字了 CER 是错误率写反了哈
    flysic
    flysic
    4 days ago
    11
    怎么安装包这么大
    我使用的是:
    我使用 https://github.com/WEIFENG2333/VideoCaptioner#gui-%E6%A1%8C%E9%9D%A2%E7%89%88
    给剪辑后的视频配上实时字幕。

    安装 videocaptioner 过程,安装 ffmpeg 中,遇到的问题

    在为 `videocaptioner-gui` 安装与配置 `ffmpeg` 的过程中。在 mac 上完全免费
    KevZhi
    KevZhi
    OP
    4 days ago
    12
    @flysic 包内置模型和运行环境,安装及用,免的用户自己配置,所以比较大。
    实际效果证明了,完全不需要在线 LLM ,只是后训练 1.7B 的本地 ASR ,分行断句一项也能做得非常好,完全直接可交付的好。而且可以迁移不同人的风格,那我觉得用在线 LLM 就不是特别优雅的方式。灵幕有免费试用,可以试用比一比其他软件,看看有没有比其他软件省时间,值不值得付费看你自己
    fengcs
    fengcs
    4 days ago
    13
    怎么获取授权码?
    KevZhi
    KevZhi
    OP
    4 days ago
    14
    @fengcs 试用一下觉得好用,用得上的话 base64 留邮箱,说明需要的版本就可以,有什么意见尽管提。
    ZettarYuFan
    ZettarYuFan
    4 days ago
    15
    反应个问题,我是千兆网,获取下载链接在网页中下载很慢,只有百兆左右,不知道是不是网络的问题
    KevZhi
    KevZhi
    OP
    4 days ago
    16
    @ZettarYuFan 下载是在 cloudflare 的 r2 ,你用多线程工具可以满速的。国内的 oss 谁用得起
    ZettarYuFan
    ZettarYuFan
    4 days ago
    17
    @KevZhi #16 欧克,感谢解答,还有主页的介绍视频按钮点击是不是没有用,我点击了没有视频
    ZettarYuFan
    ZettarYuFan
    3 days ago
    18
    已试用,效果非常好,有两个问题反馈给您下,我不知道是我刚开始不会用还是什么,连续的英文歌词翻译为中文,会有时候翻译不到,然后要是能自己增加字体样式更好,我看了下设置里,好像只有默认的几个
    ZettarYuFan
    ZettarYuFan
    3 days ago
    19
    KevZhi
    KevZhi
    OP
    3 days ago
    20
    @ZettarYuFan 视频暂时还没上线哈哈 不过快了。字体因为暂时只是预览用途 没有用来导出硬嵌入所以暂时没做更多可选字体,连续英文歌词翻译的问题详细情况(如果有原始素材会更好)可以发到我的邮箱 [email protected] 我来看一下 然后会给你发个 key
    ZettarYuFan
    ZettarYuFan
    3 days ago
    21
    @KevZhi #20 可以,没问题
    KevZhi
    KevZhi
    OP
    3 days ago
    22
    @ZettarYuFan 最好是录个屏或者手机拍屏幕顺带告诉我一下你是做了什么操作,我来排查一下
    目前软件识别字幕会自动区分多语言的轨道。可以翻译整个轨道,也可以翻译单个块,会自动使用轨道识别出来的语言。但是自己建立的轨道没有语言信息,就要在翻译的时候手动选择一下源语言,具体报错的条件我得排查一下
    ZettarYuFan
    ZettarYuFan
    3 days ago
    23
    @KevZhi #22 操作就是里面有 ai 识别字幕,一键全识别,然后语言信息我选的是混合
    ZettarYuFan
    ZettarYuFan
    3 days ago
    24
    @KevZhi #22 发过去了素材
    ZettarYuFan
    ZettarYuFan
    3 days ago
    25
    @KevZhi #22 还有个问题,我的笔记本安装的时候报错了,校验资源包的时候,不知道为啥,磁盘空间是够的,被拦截了?
    itart
    itart
    3 days ago
    26
    用英文视频测试了下,生成的英文字幕准确率非常高,非常适合用来提取字幕,用于英语学习和练习
    KevZhi
    KevZhi
    OP
    3 days ago❤️1
    27
    @ZettarYuFan 目前是为了覆盖安装安全性的考虑,先解压到临时空间,否则升级把原版本覆盖崩了恢复不了,所以需要 C 盘也有 10 个 G 的临时空间,校验通过才能覆盖。也就是说要求 E 盘 20G ,C 盘 10G ,下个版本
    我会优化一下这个流程,临时空间不强制放在 C 盘
    KevZhi
    KevZhi
    OP
    3 days ago
    28
    @itart 感谢支持,如果有长期使用需要的话可以留个邮箱,告诉我需要的版本 ( Lite 字幕识别功能齐全,没有翻译功能,Pro 有)我给你个码。
    其实软件的目的是给需要给视频上字幕正式上传发布的的媒体行业从业者使用,所以很多优化在校对体验上,并没太照顾不需要正式发行,不需要校对的用户场景。
    fengcs
    fengcs
    3 days ago
    29
    安装被 microsoft defender 阻止,“包含木马病毒”
    fengcs
    fengcs
    3 days ago
    30
    @fengcs #29 手动运行安装成功,d2QwOGZlbmc5MEAxMjYuY29t, Lite
    ethusdt
    ethusdt
    3 days ago
    31
    @perfectlife #1 可以提供下素材吗?我也做了一款音视频剪辑软件,最近优化了音频转字幕的功能,因为 iOS26 的 SpeechAnalyzer 是比较准的(我测试下来,包括时间轴),另外也有 whisper X-ASR 等方案,但只要是 iOS26+ 使用设备端生成,速度和准确率是比跑端侧模型有很大提升。如果不方便提供素材,可以去应用商店搜 顺剪( ClipFlow )测试下,在首页-语音转字幕内,默认的系统设备端识别就可以,免费的。有问题欢迎反馈哈~
    ZettarYuFan
    ZettarYuFan
    3 days ago
    32
    @KevZhi #27 感谢解答,我 C 盘确实没多少空间
    KevZhi
    KevZhi
    OP
    3 days ago
    33
    @fengcs 欧吼?能给个详细截图吗?或者 defender 历史记录我看看是什么毒哈哈
    一会给你发个码 感谢支持
    KevZhi
    KevZhi
    OP
    3 days ago
    34
    软件没毒哈,就是 windows 证书确实是买不起,windows 回本之前不考虑上,Mac 699 很实惠而且目标用户 Mac 会多一些,已经开发者签名公证
    @fengcs
    KevZhi
    KevZhi
    OP
    3 days ago
    35
    @ethusdt 可以试试 pk 一下哈
    不过我仍然觉得 Apple SpeechAnalyzer 这种架构里没有 LLM 的 ASR 不是中文的正解,中文过于博大精深,同音字太多,没有 LLM 文本层,正确率很难提上去,另外语义断句方面解决不了
    CER 上升 1 个百分点,都意味着用户每 100 字会多花 3-5 秒做校正。如果字幕要最终发行还注意质量,有人工矫正环节,那 1%都是很重要的
    itart
    itart
    3 days ago
    36
    @KevZhi #28

    感谢,任意版本都可以
    邮箱 NzUzMDA1NTEyQHFxLmNvbQ==
    perfectlife
    perfectlife
    3 days ago
    37
    @ethusdt 顺剪( ClipFlow ) macos 支持的话可以试下,手里只有 mac 设备。另外感觉用音频转字幕这种 asr 方案都涉及到一个准确率的问题,尤其是 mv 视频歌曲场景下,受混响 伴奏 还有歌曲唱法等影响,准确率更差
    KevZhi
    KevZhi
    OP
    3 days ago
    38
    @itart 已发送 Pro ,可以本地翻译英文为中文,祝能帮到你,有什么建议也可以发给我
    ZettarYuFan
    ZettarYuFan
    2 days ago
    39
    @KevZhi 感谢 OP 的 pro 会员,哈哈,又有个问题 ,这两个功能是 pro 会员有的吧,还没开发完毕?我这里使用不了
    shuxge1223
    shuxge1223
    2 days ago
    40
    这东西是不是可以直接拿来做外文的纪录片 直接翻译成中文发音
    KevZhi
    KevZhi
    OP
    2 days ago
    41
    @ZettarYuFan 是 Pro 专享功能,开发完毕了的,使用的是我给的码吗 我核查一下
    KevZhi
    KevZhi
    OP
    2 days ago
    42
    @ZettarYuFan 不好意思,我刚刚看了一下,是发码的脚本出了点小问题不小心调用旧版了 我补上了你重启就有了
    KevZhi
    KevZhi
    OP
    2 days ago
    43
    @shuxge1223 可以,但是需要高质量的翻译(根据画面时长调节目标语言翻译长度和译法),做不到自动化,就取消这个功能了
    ZettarYuFan
    ZettarYuFan
    2 days ago
    44
    @KevZhi #42 欧克
    ZettarYuFan
    ZettarYuFan
    2 days ago
    45
    @KevZhi 重启以后出现新的问题,没有重新输入授权码的入口,需要重装吗
    ZettarYuFan
    ZettarYuFan
    2 days ago
    46
    KevZhi
    KevZhi
    OP
    2 days ago
    47
    @ZettarYuFan 建议关梯子清下 dns 缓存 重启软件试试 我为了国内激活方便用的国内服务器 境外 ip 可达性不太好
    ZettarYuFan
    ZettarYuFan
    2 days ago
    48
    @KevZhi #47 好的
    ZettarYuFan
    ZettarYuFan
    2 days ago
    49
    @KevZhi #47 我清理完重启电脑也是这种情况,我重装试试
    ZettarYuFan
    ZettarYuFan
    2 days ago
    50
    @KevZhi #47 我删掉重新安装可以了,不过现在有个问题,这台是我的主力机,现在把授权码换过来触发 30 天换机时间了,可能要麻烦 OP 您能不能重置下时间,我换到这台上
    KevZhi
    KevZhi
    OP
    1 day ago
    51
    @ZettarYuFan ok 了
    ZettarYuFan
    ZettarYuFan
    1 day ago
    52
    @KevZhi #51 感谢
    ethusdt
    ethusdt
    1 day ago
    53
    @perfectlife #37 ClipFlow 支持 macOS 的,appstore 能搜到。
    ethusdt
    ethusdt
    1 day ago
    54
    @KevZhi 苹果的 SpeechTranscriber 不确定是否基于 LLM ,对于第一次使用也是要下载相关语言模型的。但苹果没介绍具体架构和参数。我自己试了下比自己运行端侧模型要强很多( iOS26+),不管是速度上还是准确率上。
    KevZhi
    KevZhi
    OP
    1 day ago
    55
    @ethusdt 这个 preview 质量一看就是没法用的 标点没去,分行完全没有按语义而是固定字数 每行都有错别字,这个连 0.6B 的 qwen3 asr 都打不过
    ethusdt
    ethusdt
    1 day ago
    56
    @KevZhi #55 表现不一致,有时候 LLM 会强一些,但速度上绝对是系统翻译更快。
    ffalex
    ffalex
    19h 18m ago via iPhone
    57
    用了一阵了,我觉得吧,op 这么好的软件不能仅仅局限于做字幕。几个反馈:
    一是完全可以边看边翻译,因此能否添加观影模式,支持全屏,充分发挥 ai 的主观能动性 二是能否给按键添加操作提示,悬浮时简要介绍功能;
    三是替换词功能,这个一是功能按钮存在按第一次正常弹出,关闭后按第二次就五响应,另外是能否分工程设置提示词和全局提示词;
    四是导出不能内嵌到视频中吗?可能一开始的定位就是专注于做字幕,而不是视频编辑;
    五可能比较主观,也比较冒昧,看看就好,这个中文名感觉感觉不太吉利 ,灵幕音同灵墓。我胡扯一个,比如声声慢,声声入字,不必慢
    最后求一个 pro 码,我很需要翻译功能
    ffalex
    ffalex
    19h 17m ago via iPhone
    58
    再补充一个:加一个资源占用提醒和警告吧,因为语音识别+翻译等于要同时运行两个大模型,对电脑的压力还是比较大的
    KevZhi
    KevZhi
    OP
    8h 37m ago
    59
    @ffalex
    1 全屏模式会考虑加的
    2 大部分按键都有的,哪里没有给我说一下
    3 具体什么地方无响应麻烦给我反馈,是设置菜单里的管理替换词 还是什么地方 我没有复现,麻烦给一下详细平台和复现手段 分工程替换词必要不大,因为一个片子字幕只会做一次,我是通过后训练 LoRA 来提高同一类视频的效率,里面就包含常见专有名词
    4 这个也会考虑的,现阶段只是满足同行
    5 不冒昧 我自己也发现了 你说的对,不过暂时没有想到更好的名字 如果真的需要 后期会改的贱名好养活
    6 感谢你的支持,base64 留邮箱,一会给你发
    7 有的有的,左上角小灯就是资源占用率,然后资源占用过大,swap 都沾满了,再跑识别,会引起系统卡死的时候,是会有强制提示的,提示关别的软件或强制继续,平时不会提示,麻烦在安全的情况下看下有没有卡死电脑的情况。因为各个系统对于 AI 应用的内存管理情况挺复杂的,Mac 做的很优秀,其实不用太担心,你看占满了,其实还能跑。
    KevZhi
    KevZhi
    OP
    8h 33m ago
    60
    模型的装载和卸载很智能,不会存在同时跑两个模型的情况,是预判到你有操作意图的时候再提前装载,没有操作需求的时候再卸载的。新 Mac 上基本是秒加载,Windows 看硬盘 3.0 的可能要个十秒,4.0 5.0 也很快
    @ffalex
    ffalex
    ffalex
    7h 58m ago
    61
    @KevZhi #59 感谢 op ,邮箱:bmllcmlza3lAZ21haWwuY29t ,我的设备是 m4pro ,晚点再试试 bug 能否复现
    ffalex
    ffalex
    24 mins ago via iPhone
    62
    @KevZhi #59
    确实没能复现,上面反馈的按键提示,轨道上方左侧的 3 哥按钮没有提示,字幕上方 6 哥按键,其中后面 4 个稳定有提示,第 1 个概率性出现,第 2 个死活不出现
    ffalex
    ffalex
    17 mins ago via iPhone
    63
    @KevZhi #59
    另外是最近工程这一部分,只要打开,不做任何编辑,下面的就会排到第一个,能否改成做了修改才会改变顺序?有点反直觉 尤其是不小心打开错了,返回重新打开,位置就变了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2381 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 63ms · UTC 12:43 · PVG 20:43 · LAX 04:43 · JFK 07:43
    ♥ Do have faith in what you're doing.