個人化
越用越懂你
學舌鳥從三件事學你:常聽錯的詞、你的分寸、你的聲音。
第一層
聽錯一次,下次就打對
修正聽錯的字後,學舌鳥會建議加入詞典;你確認了才加。
看細節
- 學舌鳥用讀音分辨「聽錯」和「換說法」:讀音相近的是聽錯,可以加入詞典;換說法有自己的分頁,不會進詞典,也不會拿去訓練。判斷錯了可以改。
- 確認過的會收進「已確認 N 筆」,清單只留還沒處理的。
- 也可以自己到 設定 → 詞典與紀錄 → 詞典 →「新增」,寫下正確寫法和常見錯法。
- 適合人名、產品名、英文術語。
- 修不了要看上下文的同音字(例如「在/再」),這類交給專屬語音模型。
個人化訓練 · 待確認Jmini→Gemini加入詞典
第二層
提醒越來越貼近你的分寸
覺得提醒不對,就按「判斷不對」。累積 20 筆,學舌鳥在你的 Mac 上幫你訓練一層只屬於你的判斷。
看細節
- 在側邊欄「個人化訓練」頁的「語氣提醒個人化」確認你的回饋,資料不上傳。
- 只影響語氣提醒,不會改變語音辨識。你給過回饋的語言各有一區。
- 每 5 筆留 1 筆不拿來訓練,專門用來檢查;也會用內建檢查句確認沒有變差,沒通過就不能採用。
- 採用後留有版本紀錄,隨時能還原上一版或回到原本的模型。
- 中文、英文都可以。
✦ 語氣提醒
語氣有點衝,送出前再看一下
判斷不對這個 App 不提醒
↓ 確認後,在這台 Mac 上訓練
第三層
念幾句,看學舌鳥哪裡聽錯
「朗讀錄音」是你的個人辨識健檢:一輪 10 句、約 2 分鐘,每句念完就標出聽錯的字,一輪結束告訴你錯字率。這些錄音的答案是對的,也能拿去訓練只屬於你的語音模型。
朗讀錄音 · 第 3 / 10 句
我等一下再改程式
學舌鳥聽到我等一下在改城市
聽錯 3 個字:標出來的跟原稿讀音一樣,是學舌鳥選錯字,不是你念錯。
下一句學舌鳥聽到的才對
進階:用錄音訓練專屬語音模型。開發者用工具包實測(2 小時日常聽寫,考卷是 263 段訓練沒看過的錄音):
錯字少 2~3 成,最明顯的是常講的人名、產品名和夾雜的英文。這兩次的答案是模型自己聽的,本身有錯;早期實驗把錄音從 30 分鐘加到 2 小時,錯字率只從 3.6% 降到 3.4%。所以朗讀錄音(答案正確)比錄很多更重要。代價是聽一般人說話會稍差一點(約多 1 個百分點)。訓練在你自己有 NVIDIA 顯卡的電腦上做,學舌鳥本身不訓練。
- 朗讀錄音+確認修正設定 → 個人化訓練 →「朗讀錄音」念幾輪;確認清單裡確認過的修正也算
- 匯出訓練資料設定 → 詞典與紀錄 → 資料存放位置 → 我的資料 →「匯出訓練資料…」,朗讀錄音卡片上也有
- 訓練用開源的 parroting-asr-training,RTX 4090 約 8–9 分鐘
- 匯入設定 → 說話 → 語音模型與語言 →「管理模型」→「匯入模型…」
- 用你的朗讀錄音測一下「管理模型」視窗最上面的「用你的朗讀錄音測一下」,匯入前後各測一次,比錯字率
給動手訓練的人:完整步驟與注意事項
- 正確文字最重要:朗讀錄音最可靠,其次是你確認過的修正。只用辨識結果當答案也能練,但效果有上限。
- 「匯出訓練資料…」產生一個 zip(parroting-asr-dataset v1):朗讀錄音、確認過的修正預設勾選,「只有辨識結果」可以另外勾。固定每 5 段留 1 段當考卷,不拿來訓練;超過 30 秒的錄音會略過。
- 朗讀錄音一直保留,直到你自己刪除。確認過的修正要還留著錄音才能匯出:學舌鳥預設只留最近 300 段,想多留到 設定 → 進階 → 歷史 →「錄音保留多久」調長。
- 訓練工具包:需要 Linux,或 Windows 的 WSL2;8 GB 顯卡也能跑。說明為英文,MIT 授權。至少準備 20–30 分鐘有正確文字的錄音。用 LoRA 微調 SenseVoice Small,只訓練約 2% 的參數。只用 CPU 也行但很慢:90 分鐘的錄音,16 核心每輪約 50 分鐘。
- 「用你的朗讀錄音測一下」只用考卷那 1/5,訓練過的句子不會灌水。
- 工具包會自動把答案轉成簡體:實測用繁體答案訓練會越練越差。學舌鳥輸出時會再轉回你用的字。
- 步驟:
ptrain.py check檢查資料,ptrain.py train訓練並在考卷上比較前後(報告會直接寫「Use it」或「Don't use it」),export_gguf.sh產生約 250 MB 的 .gguf。 - 匯入時學舌鳥會先試辨識一句,認得出字才啟用;不滿意隨時按「切回標準版」。
- 授權:SenseVoice Small 採 FunASR 模型授權,訓練出來的模型也要遵守。
- 隱私:匯出的資料包含你的聲音和說過的話,分享前請想清楚。
- 在 Mac 上訓練目前還沒驗證,建議用有 NVIDIA 顯卡的電腦。