運作方式 · 模型架構
一句話,從說出口到貼上。
學舌鳥有語音辨識底模和中、英文語氣模型:把聲音變成文字的語音辨識底模,和判斷要不要提醒你的學舌鳥語氣模型,都在你的 Mac 上執行。底模可以自己換,也可以放進你自己訓練的模型。
流程
跟著一句話,走一遍。
從你開口到貼上,只有一步可能離開你的 Mac:你自己選用的 AI 整理。其他都在本機完成。

語音辨識
按住熱鍵說話,你選的語音辨識底模把聲音變成文字。

中文整理
套用你的詞典修正人名和用語,轉成繁體字形,補上標點、修正常見的近音詞。

AI 整理口語
拿掉贅詞和改口。沒有設定 AI 時,改用本機規則。

貼上
貼到游標所在的位置;文字紀錄存進你自己 iCloud 裡的學舌鳥資料夾。

語氣提醒
語氣模型逐句判斷中文或英文,也能混用;再讀當下情境,由個人化層微調。

對話內容僅為示意。
模型架構
每個模型都是一層一層疊上去的。
下面是學舌鳥提供給所有人的部分,上面是你自己累積的部分,只屬於你,不會上傳。
語音辨識

辨識完再修正人名、專有名詞。跟用哪個底模無關,換了也照樣有效。

第一次設定時從清單選一個下載,例如 SenseVoice、Qwen3-ASR、Breeze-ASR-25。之後可以隨時換。看各模型比較

用你自己的聲音訓練過的模型。匯入後取代底模,隨時可以切回。
取代底模,不是疊加
語氣提醒

在提醒卡按「判斷不對」並確認,滿 20 筆就能在「個人化訓練」頁訓練。只調整語氣和提醒的判斷。

內建中文模型約 11 MB,英文 EN2 約 15 MB;逐句判斷語言,中英混用也可以。兩者都在 Mac 上執行。一句話讀出七件事:場景、對象、目的、場合、語氣、會不會刺傷人、太隨便。
換底模、匯入模型
在「管理模型」裡換。
下面是實際的操作畫面,橘色圈起來的就是要按的地方。
打開「管理模型」
在學舌鳥左側選「說話」,找到「語音模型與語言」,按右邊的「管理模型」。
左下角也會一直顯示目前用的底模,可以從那裡快速切換已下載的模型。
說話
怎麼開始、怎麼結束、用哪個模型聽換一個底模
「已下載的模型」點一下就切換;「可供下載」裡的模型,按「下載」,下載完就能用。
模型越大通常越準,也越慢。想要快可以先用 SenseVoice Small,想要中文更準可以試 Qwen3-ASR。各模型比較 →
匯入自己的模型
按「已下載的模型」右邊的「匯入模型…」,選一個 .gguf 檔。學舌鳥會檢查格式、複製檔案,再用 Mac 內建的語音唸一句來試辨識。
認得出字才會啟用,並自動切換過去。失敗時會寫出原因,原本的模型不受影響。
確認結果,或切回標準版
匯入成功會顯示試辨識的結果。匯入的模型標「自己匯入」,也會寫出它不支援的功能。
不滿意就按「切回標準版」,不需要了也可以刪除。
試辨識結果:今天下午3點開會,請準時參加。
匯入前的注意事項
- 格式:只接受 .gguf,而且要是學舌鳥支援的模型種類,例如 SenseVoice、Whisper、Qwen3-ASR。
- 授權:用別人的底模訓練出來的模型,仍要遵守原本的授權,例如標示出處、保留模型名稱。
- 功能:有些模型不支援即時串流或翻譯,匯入後會標示。
- 來源:只匯入你信任的檔案。試辨識在獨立的程序裡進行,壞掉的檔案不會拖垮學舌鳥。
匯入不會影響這些
- 你的詞典:辨識後照樣修正。
- 學舌鳥語氣模型和你的個人化層:跟語音辨識無關。
- 原本的底模:留在清單裡,隨時切回。
- 原始檔:已經複製進來,之後搬走或刪掉都沒關係。
進階 · 用自己的聲音訓練
從學舌鳥匯出資料,訓練你自己的模型。
學舌鳥負責提供資料、使用你的模型;訓練要在你自己的電腦上做,需要一些技術能力和 GPU。
匯出你的資料
在左側選「詞典與紀錄」,捲到「資料存放位置」,在「我的資料」按「匯出」,選一個位置存 zip。
錄音在這台 Mac 留多久,由設定裡的「錄音保留多久」決定(最近 300 段、3 天、2 週、3 個月或永不刪除)。想累積更多訓練資料,可以設成永不刪除,或記得定期匯出。
詞典與紀錄
讓學舌鳥認得你的詞,並留下每一句zip 裡面有什麼
錄音放在 app/recordings/,每一句的文字紀錄放在 icloud/年份/ 的每日 .jsonl 檔,一行一句。
每一行的 audio 是錄音檔名,raw 是辨識出來的原文,text 是最後貼上的文字。
整理成訓練清單
把錄音和「正確的文字」配成一張清單。raw 是模型聽到的,不一定對;text 經過 AI 整理,可能刪掉贅字、加了標點,也不完全等於你說的話。
最可靠的做法:以 raw 為底,逐句聽過、改成你實際說的字。答案用你想要的字形,例如全部繁體。
訓練、檢查、匯入
用你選的底模官方提供的訓練工具微調,只調整少量參數,例如 LoRA。訓練完用 test.csv 比較錯字率,也拿一些別人的聲音測,確認沒有變差,再轉成 .gguf 用「匯入模型…」放進學舌鳥。
以我們的測試,大約 30 分鐘、幾百句的錄音就能看到效果,人名、產品名、你的口音最容易改善。
越用越懂你
模型更新了,你的那一層不會不見。
學舌鳥語氣模型更新時
推出新版語氣模型時,學舌鳥會用你存下來的回饋,自動在新版上重新訓練你的個人化層,通過驗收才套用。你不用從頭累積,也隨時可以還原上一版。
換語音辨識底模時
語音辨識是整個換掉,不是疊加。詞典在辨識之後才作用,所以不管用哪個底模,你的詞典都有效。
資料放在哪裡
你的資料,只在你自己的地方。
你自己的 iCloud
詞典、我的資料、改寫格式,以及每一句的文字紀錄,放在你 iCloud 裡的學舌鳥專屬資料夾。只有你看得到,Mac 和 iPhone 用同一份。
只在這台 Mac
錄音、個人化素材、你的個人化層,以及語音辨識模型檔案。不上傳,也不放進 iCloud。