運作方式 · 模型架構

一句話,從說出口到貼上。

學舌鳥有語音辨識底模和中、英文語氣模型:把聲音變成文字的語音辨識底模,和判斷要不要提醒你的學舌鳥語氣模型,都在你的 Mac 上執行。底模可以自己換,也可以放進你自己訓練的模型。

模型都在本機聲音不離開 Mac底模可以換可以匯入自己的模型

流程

跟著一句話,走一遍。

從你開口到貼上,只有一步可能離開你的 Mac:你自己選用的 AI 整理。其他都在本機完成。

在你的 Mac 上完成模型:語音辨識底模模型:學舌鳥語氣模型你選用的 AI 服務(選用)規則,不是模型
你的 Mac
模型 · 語音辨識底模STEP 1

語音辨識

按住熱鍵說話,你選的語音辨識底模把聲音變成文字。

辨識出來呃 我們三點開會 不對 四點
Mac 本機 · 聲音不上傳
規則 · 不用模型STEP 2

中文整理

套用你的詞典修正人名和用語,轉成繁體字形,補上標點、修正常見的近音詞。

整理後呃,我們三點開會,不對,四點。
Mac 本機
選用
雲端 AI · 你選的服務STEP 3

AI 整理口語

拿掉贅詞和改口。沒有設定 AI 時,改用本機規則。

AI 整理後我們 4 點開會。拿掉了「呃」和改口的「三點開會,不對」
只送出文字
規則 · 不用模型STEP 4

貼上

貼到游標所在的位置;文字紀錄存進你自己 iCloud 裡的學舌鳥資料夾。

貼進對話我們 4 點開會。
Mac 本機+你的 iCloud
模型 · 學舌鳥語氣模型STEP 5

語氣提醒

語氣模型逐句判斷中文或英文,也能混用;再讀當下情境,由個人化層微調。

語氣判斷這句沒問題,不打擾你。
Mac 本機 · 不需網路
當下情境 → STEP 5在哪個 App、回信還是聊天、收件人、前幾則對話

對話內容僅為示意。

模型架構

每個模型都是一層一層疊上去的。

下面是學舌鳥提供給所有人的部分,上面是你自己累積的部分,只屬於你,不會上傳。

你自己的學舌鳥提供你選的底模

語音辨識

底模 → 你的詞典
用在 STEP 2你的詞典

辨識完再修正人名、專有名詞。跟用哪個底模無關,換了也照樣有效。

辨識結果再經過詞典
模型 · 用在 STEP 1語音辨識底模

第一次設定時從清單選一個下載,例如 SenseVoice、Qwen3-ASR、Breeze-ASR-25。之後可以隨時換。看各模型比較

模型 · 換掉 STEP 1 的底模自己匯入的模型(選用)

用你自己的聲音訓練過的模型。匯入後取代底模,隨時可以切回。

取代底模,不是疊加

語氣提醒

底層 → 你的個人化
用在 STEP 5你的個人化層

在提醒卡按「判斷不對」並確認,滿 20 筆就能在「個人化訓練」頁訓練。只調整語氣和提醒的判斷。

疊在上面,微調最後的判斷
模型 · 用在 STEP 5學舌鳥語氣模型

內建中文模型約 11 MB,英文 EN2 約 15 MB;逐句判斷語言,中英混用也可以。兩者都在 Mac 上執行。一句話讀出七件事:場景、對象、目的、場合、語氣、會不會刺傷人、太隨便。

換底模、匯入模型

在「管理模型」裡換。

下面是實際的操作畫面,橘色圈起來的就是要按的地方。

1

打開「管理模型」

在學舌鳥左側選「說話」,找到「語音模型與語言」,按右邊的「管理模型」。

左下角也會一直顯示目前用的底模,可以從那裡快速切換已下載的模型。

學舌鳥
首頁
說話
AI 改寫
語氣與情境
詞典與紀錄
個人化訓練
進階
● 目前的底模 ⌄

說話

怎麼開始、怎麼結束、用哪個模型聽
語音模型與語言
SenseVoice Small在這台 Mac 上辨識。辨識模型本身支援多種語言。
管理模型
熱鍵
按住說話右 ⌥ + 右 ⌘
2

換一個底模

「已下載的模型」點一下就切換;「可供下載」裡的模型,按「下載」,下載完就能用。

模型越大通常越準,也越慢。想要快可以先用 SenseVoice Small,想要中文更準可以試 Qwen3-ASR。各模型比較 →

管理模型
轉錄模型×
選擇轉錄模型或下載其他模型。不同模型提供不同的準確度和速度
已下載的模型切回標準版匯入模型…重新掃描
SenseVoice Small快速,中文表現好
使用中
SenseVoice Small · my-voice自己匯入的模型。不支援:即時串流
自己匯入
可供下載
Whisper Turbo準確度和速度均衡
下載
Qwen3-ASR 0.6B支援多種語言
下載
3

匯入自己的模型

按「已下載的模型」右邊的「匯入模型…」,選一個 .gguf 檔。學舌鳥會檢查格式、複製檔案,再用 Mac 內建的語音唸一句來試辨識。

認得出字才會啟用,並自動切換過去。失敗時會寫出原因,原本的模型不受影響。

管理模型
轉錄模型×
選擇轉錄模型或下載其他模型。不同模型提供不同的準確度和速度
已下載的模型切回標準版匯入模型…重新掃描
SenseVoice Small快速,中文表現好
使用中
SenseVoice Small · my-voice自己匯入的模型。不支援:即時串流
自己匯入
可供下載
Whisper Turbo準確度和速度均衡
下載
Qwen3-ASR 0.6B支援多種語言
下載
4

確認結果,或切回標準版

匯入成功會顯示試辨識的結果。匯入的模型標「自己匯入」,也會寫出它不支援的功能。

不滿意就按「切回標準版」,不需要了也可以刪除。

管理模型
已下載的模型匯入模型…
匯入中,正在試辨識…
已匯入並改用「SenseVoice Small · my-voice」
試辨識結果:今天下午3點開會,請準時參加。
SenseVoice Small · my-voice自己匯入的模型。不支援:即時串流
自己匯入使用中
切回標準版

匯入前的注意事項

  • 格式:只接受 .gguf,而且要是學舌鳥支援的模型種類,例如 SenseVoice、Whisper、Qwen3-ASR。
  • 授權:用別人的底模訓練出來的模型,仍要遵守原本的授權,例如標示出處、保留模型名稱。
  • 功能:有些模型不支援即時串流或翻譯,匯入後會標示。
  • 來源:只匯入你信任的檔案。試辨識在獨立的程序裡進行,壞掉的檔案不會拖垮學舌鳥。

匯入不會影響這些

  • 你的詞典:辨識後照樣修正。
  • 學舌鳥語氣模型和你的個人化層:跟語音辨識無關。
  • 原本的底模:留在清單裡,隨時切回。
  • 原始檔:已經複製進來,之後搬走或刪掉都沒關係。

進階 · 用自己的聲音訓練

從學舌鳥匯出資料,訓練你自己的模型。

學舌鳥負責提供資料、使用你的模型;訓練要在你自己的電腦上做,需要一些技術能力和 GPU。

在學舌鳥1. 匯出資料「詞典與紀錄」→「我的資料」→「匯出」,得到一個 zip。
在你的電腦2. 配對錄音與文字每一句的紀錄寫著它的錄音檔名,兩者配成一組。
在你的電腦3. 核對正確答案挑出內容正確的句子,錯的改對,不確定的拿掉。
在你的電腦4. 微調底模用底模官方的訓練工具,以少量參數微調,例如 LoRA。
在學舌鳥5. 轉成 .gguf 匯入轉成和底模一樣的 .gguf 格式,再用「匯入模型…」放進來。
1

匯出你的資料

在左側選「詞典與紀錄」,捲到「資料存放位置」,在「我的資料」按「匯出」,選一個位置存 zip。

錄音在這台 Mac 留多久,由設定裡的「錄音保留多久」決定(最近 300 段、3 天、2 週、3 個月或永不刪除)。想累積更多訓練資料,可以設成永不刪除,或記得定期匯出。

學舌鳥
首頁
說話
AI 改寫
語氣與情境
詞典與紀錄
個人化訓練
進階
● 目前的底模 ⌄

詞典與紀錄

讓學舌鳥認得你的詞,並留下每一句
詞典
正確寫法、常見錯法…
新增
資料存放位置
我的資料可以把全部資料(歷史與錄音、iCloud 裡的文字紀錄、詞典、我的資料、個人化素材)匯出成 zip
匯出清除全部
2

zip 裡面有什麼

錄音放在 app/recordings/,每一句的文字紀錄放在 icloud/年份/ 的每日 .jsonl 檔,一行一句。

每一行的 audio 是錄音檔名,raw 是辨識出來的原文,text 是最後貼上的文字。

Parroting/ ├─ icloud/ │ ├─ 2026/ │ │ ├─ 2026-10-16.mac.xxxx.jsonl ← 每一句的文字紀錄 │ │ └─ 2026-10-16.mac.xxxx.md │ └─ parroting-shared.json ← 詞典、我的資料 └─ app/ ├─ recordings/ │ └─ handy-1792…-0001.wav ← 錄音 ├─ history.db ← 最近的歷史 └─ atype.json # .jsonl 的一行 {"audio": "handy-1792…-0001.wav", "raw": "明天下午三點跟學蛇鳥團隊開會", "text": "明天下午 3 點跟學舌鳥團隊開會。"}
3

整理成訓練清單

把錄音和「正確的文字」配成一張清單。raw 是模型聽到的,不一定對;text 經過 AI 整理,可能刪掉贅字、加了標點,也不完全等於你說的話。

最可靠的做法:以 raw 為底,逐句聽過、改成你實際說的字。答案用你想要的字形,例如全部繁體。

# train.csv:錄音, 正確答案 recordings/handy-1792…-0001.wav, 明天下午三點跟學舌鳥團隊開會 recordings/handy-1792…-0002.wav, 這個副檔名要改成 gguf recordings/handy-1792…-0003.wav, 我把它放在 iCloud 的資料夾 # 另外留一份 test.csv,不拿來訓練, # 用來比較訓練前後的錯字率
4

訓練、檢查、匯入

用你選的底模官方提供的訓練工具微調,只調整少量參數,例如 LoRA。訓練完用 test.csv 比較錯字率,也拿一些別人的聲音測,確認沒有變差,再轉成 .gguf 用「匯入模型…」放進學舌鳥。

以我們的測試,大約 30 分鐘、幾百句的錄音就能看到效果,人名、產品名、你的口音最容易改善。

# 訓練前後,用沒參與訓練的句子比較 錯字率 原本的底模 ████████████ 6% 你的模型 ██████ 3% # 別人的聲音(確認沒有變差) 原本的底模 ██████████████ 7% 你的模型 ██████████████ 7% 示意:實際數字依你的資料而定
學舌鳥不在 App 裡訓練語音模型。這一段給想自己動手的人參考;一般使用不需要,靠詞典修正常聽錯的字就很有效。

越用越懂你

模型更新了,你的那一層不會不見。

學舌鳥語氣模型更新時

推出新版語氣模型時,學舌鳥會用你存下來的回饋,自動在新版上重新訓練你的個人化層,通過驗收才套用。你不用從頭累積,也隨時可以還原上一版。

換語音辨識底模時

語音辨識是整個換掉,不是疊加。詞典在辨識之後才作用,所以不管用哪個底模,你的詞典都有效。

資料放在哪裡

你的資料,只在你自己的地方。

你自己的 iCloud

詞典、我的資料、改寫格式,以及每一句的文字紀錄,放在你 iCloud 裡的學舌鳥專屬資料夾。只有你看得到,Mac 和 iPhone 用同一份。

只在這台 Mac

錄音、個人化素材、你的個人化層,以及語音辨識模型檔案。不上傳,也不放進 iCloud。

讓它越用越懂你。

免費下載 Mac 版,從每一次使用開始累積你的判斷。

下載 Mac 版 ↓

免費 · Apple 晶片 · macOS 11 以上 · v0.4.13 · 約 50 MB