我是 Sona Orbit,一个人开发学舌鸟的独立开发者,这篇写的是我自己的产品。文中的训练数字是我用自己的声音实测,只有一个人的资料,不代表每个人都会得到一样的结果。功能说明以学舌鸟 0.4.13 为准。
1. 先看结论:错在哪,就用哪一层
| 层次 | 适合修 | 在哪里做 | 多快生效 | 修不了 |
|---|---|---|---|---|
| 第一层 个人词典 | 固定的人名、产品名、英文缩写,例如 Jmini → Gemini | Mac 本机,改完字后确认一下 | 下一句就生效 | 要看上下文的同音字(例如“在/再”);根本没听出来的音 |
| 第二层 语气提醒个人化 | 提醒太敏感,例如朋友互亏也被提醒 | Mac 本机,累积 20 笔反馈 | 训练几秒,通过验证才采用 | 只调整要不要提醒,不改变识别出来的字 |
| 第三层 专属语音模型 | 常讲的术语、口音、中英夹杂、同音字选错 | 导出资料,到有 NVIDIA 显卡的电脑训练,再汇回 Mac | 要准备录音与训练 | 听别人说话会稍微变差 |
大部分人用前两层就够了。真的想再往下压错字,再考虑第三层。
2. 为什么总是错同几个字
语音识别分两步:先把声音转成“听起来像什么音”,再从所有读音相同的字里挑一个最常见的。所以错误通常不是随机的,而是固定出现在几种地方:
- 不常见的名字:“王晓明”的“晓”不如“小”常见,模型就会一直选“小”。
- 产品名和英文术语:模型没见过的词,只能拼成读音最接近的东西,例如 Gemini 被听成 Jmini。
- 同音字:“我再看一次”和“我在看一次”读音一样,只能靠前后文判断。
- 个人口音与连音:讲太快、字跟字黏在一起时,第一步就已经听错。
前两种在第一步其实听对了,只是挑错字,用词典就修得好。后两种要让模型本身更熟悉你的声音,词典帮不上忙。
3. 第一层:个人词典
最直接的做法,是把常听错的词记下来:每次识别完,把错的写法换成对的。学舌鸟的词典在本机处理,不开 AI 也有效;如果你有开 AI 整理,也会把这些词告诉它。
自动学词典有个常见问题:你只是把整句话换个说法重写,软件却以为是“听错”,把不相干的词塞进词典,后面越修越乱。学舌鸟的做法是:
- 先比读音:你贴上后改了字,学舌鸟会比对改前改后的读音。读音相近的(例如“小明”→“晓明”)放进“个人化训练”页的确认清单;读音差很多的归在“换说法”,不会进词典,也不会拿去训练。分错了可以按“其实是听错”或“不是听错,是我换说法”改回来。
- 你确认才算:清单里按“加入词典”,下一句就开始生效。
- 也能自己加:设置 → 词典与纪录 → 词典 →“添加”,写下正确写法和常见错法;也可以导入 CSV(第一栏正确写法、第二栏错法)。

词典修不了的:词典是“看到 A 就换成 B”。“在/再”这种两种写法都对、要看前后文的字,不能直接替换;讲太快而第一步就没听出来的音,词典也找不到可以换的东西。这些要交给第三层。
4. 第二层:语气提醒,在你的 Mac 上微调
用说的比用打的更容易带情绪。学舌鸟内建一个约 11 MB 的中文语气小模型(英文另有一个),在你的 Mac 上读你刚说的句子和当下情境(在哪个 App、前面聊了什么),一次判断七件事:场景、对象、目的、要不要正式、语气、要不要提醒、会不会太随便。不需要 API key,也不联网。
但每个人的分寸不一样。你跟十年的朋友说“你这白痴,又迟到了啦”,是日常打闹;如果每次都跳提醒,很快就会想把它关掉。所以这一层可以用你的反馈来调整:
- 觉得提醒不对,就按“判断不对”,或按“这个 App 不提醒”。
- 累积 20 笔就能训练:到侧边栏“个人化训练”页确认反馈,在“语气提醒个性化”按训练。在这台 Mac 上几秒完成,原本的模型不动。
- 没通过验证就不能采用:每 5 笔反馈留 1 笔不拿来训练,专门用来检查;另外还有内建检查句,确认原本该提醒的句子没有被放掉。没通过的话,会告诉你这次训练会让原本判断对的句子变错。
- 随时能还原:采用后留有版本纪录,可以还原上一版或回到原本的模型。

要注意,这一层只影响语气提醒,不会让识别出来的字变得更准。
5. 第三层之前:先做个人识别体检
在考虑训练模型之前,先知道学舌鸟把你哪里听错。设置 → 个人化训练 →“朗读录音”就是个人识别体检:一轮 10 句、约 2 分钟,照稿念,每句念完就标出听错的字,一轮结束告诉你错字率。
如果标出来的字跟原稿读音一样,代表是学舌鸟选错字,不是你念错,这类错通常可以用词典或专属模型改善。这些录音的答案是对的(就是你念的稿),会一直留在你的 Mac 上,直到你自己删除,之后也能拿来训练。
6. 第三层:专属语音模型实测
学舌鸟默认的语音识别模型是 SenseVoice Small。我用开源的训练工具包 parroting-asr-training,以 LoRA 微调,只训练约 2% 的参数,拿我自己的听写录音实测。考卷都是训练时没看过的录音。
训练工具包实测(2 小时日常听写,考卷 263 段)
| 模型 | 错字率 |
|---|---|
| 原本的模型 | 6.7% |
| 训练第 1 次 | 4.7% |
| 训练第 2 次 | 5.5% |
错字少了 2~3 成,最明显的是常讲的人名、产品名和夹杂的英文。但同样的录音练两次,结果差了快一个百分点。原因是这两次的“答案”是模型自己听的,本身就有错,练出来的结果会有起伏。这也是为什么训练完一定要拿没看过的录音考一次,再决定要不要用。
更早的实验:录音变多,进步却很小
更早的两次实验,答案是用几个模型互相比对、再交给 AI 裁判挑出来的,同样没有经过人工确认:
| 模型 | 训练录音 | 错字率 |
|---|---|---|
| 原本的模型 | — | 约 5.0% |
| 第一版 | 约 30 分钟 | 约 3.6% |
| 第二版 | 约 2 小时 | 约 3.4% |
录音多了 4 倍,错字率只再降 0.2 个百分点。我的结论是:答案正确,比录很多更重要。朗读录音和你确认过的修正,答案是对的,是最好的训练素材。

代价与踩过的坑
- 听别人会变差:在通用的测试集(FLEURS)上,第一版的错字率只多了约 0.2 个百分点,第二版多了约 1.2 个百分点。模型越熟悉你,听一般人说话就越差。这是你自己的 Mac,通常划算,但要知道有这个代价。
- 英文字被打成两次:第一版有个副作用,英文词会重复,例如 Google 变成 Googlegle、email 变成 emailmail。第二版就少很多了。训练完除了看错字率,也要实际用几天,看有没有新的怪毛病。
- 答案要用简体:我试过直接用繁体答案训练,模型越练越差。SenseVoice 的词表以简体为主,所以工具包会自动把答案转成简体;学舌鸟输出时会再转回你用的字(例如繁体台湾用字)。
7. 想自己训练:流程与注意事项
学舌鸟本身不训练语音模型,训练在你自己有 NVIDIA 显卡的电脑上做。声音一样不会上传到我这里。
- 准备录音:至少 20~30 分钟有正确文字的录音。朗读录音最可靠;确认清单里确认过的修正也算,但要还留著录音才能导出。学舌鸟默认只留最近 300 段,想多留可以到设置 → 高级 → 历史 →“录音保留多久”调长。
- 导出:设置 → 词典与纪录 → 数据存放位置 → 我的资料 →“导出训练资料…”(朗读录音卡片上也有)。
- 训练:用 parroting-asr-training(MIT 授权,说明为英文)。需要 Linux 或 Windows 的 WSL2,8 GB 显卡就能跑;RTX 4090 约 8~9 分钟。只用 CPU 也行但很慢:90 分钟的录音,16 核心每轮约 50 分钟。工具包训练完会在考卷上比较前后,报告直接写“Use it”或“Don't use it”。
- 汇回学舌鸟:设置 → 说话 → 语音模型与语言 →“管理模型”→“导入模型…”。学舌鸟会先用 Mac 内建语音念一句测试句,确认新模型读得出字才会加进清单。
- 比较前后:“管理模型”窗口最上面的“用你的朗读录音测一下”,只用朗读录音里留作考卷的那 1/5,训练过的句子不会灌水。导入前后各测一次。不满意就按“切回标准版”。
8. 常见问题
个人词典和语气提醒个人化需要显卡或网络吗?
不需要。这两层都在你的 Apple 芯片 Mac 上完成,不需要网络、API key 或显卡。只有第三层的专属语音模型,要在有 NVIDIA 显卡(或很有耐心的 CPU)的电脑上训练。
我的录音会被上传吗?
不会。学舌鸟的录音、语音识别、词典与语气个人化都在你的 Mac 上进行。只有你自己按“导出训练资料…”,文件才会离开学舌鸟,去哪里由你决定。
不训练专属模型,学舌鸟也会越用越准吗?
会。词典确认后下一句就生效,人名、产品名这类固定的错最常见,也最容易修。可以先做一轮 2 分钟的朗读录音,看看错字率和错在哪,再决定要不要往第三层走。
训练专属模型要准备多少录音?
至少 20~30 分钟有正确文字的录音。我的实测显示,答案正不正确比录音多寡更重要:录音多了 4 倍,错字率只再降 0.2 个百分点。
练坏了怎么办?
语音模型在“管理模型”按“切回标准版”就回到原本的模型;语气提醒个人化采用后也能随时还原上一版或回到原本的模型。
