一般逐字稿工具的工作方式很好理解。

你錄一段聲音。

上傳。

等 AI 處理。

最後拿到文字。

但如果 AI 要真正變成:

即時字幕、

會議助理、

客服 Agent、

語音助理,

只做到「錄完再轉」其實還不夠。

因為人講完一句話後,

AI 才開始聽、

才開始理解、

才開始想答案,

整段互動就會一直出現延遲。

Microsoft 最新推出的:

MAI-Transcribe-2-Streaming

想解決的就是這件事。

它不是等整段錄音結束才吐出 Transcript。

而是:

你還在說,它就已經開始出字。

它和一般語音轉文字最大的差別在哪?

關鍵字是:

Streaming。

普通 Batch Transcription 比較像:

音訊完整送進去 →

模型處理 →

回傳完整逐字稿。

Streaming 則是:

聲音持續進來 →

模型持續產生 Partial Transcript →

取得更多上下文後修正 →

最後確認 Stable Transcript。

也就是說,

螢幕上的文字不是一次全部出現。

而是會像人真的在聽一樣:

邊聽、邊猜、邊修正。

Partial Transcript 是什麼?

假設有人正在說:

「明天下午三點幫我安排……」

Streaming Model 不需要等整句說完。

前半句進來後,

可能就先顯示:

「明天下午三點……」

接著收到更多聲音,

再補完整:

「明天下午三點幫我安排會議。」

前面的結果叫:

Partial。

它還可能改。

後面模型確認後,

才會變成:

Final Transcript。

這個差別對普通錄音檔好像沒有那麼重要。

但對 Voice Agent 非常重要。

為什麼 Voice Agent 不該等你整句說完?

想像你打電話給客服:

「我想查一下昨天那筆信用卡消費……」

如果 AI 一定要:

等你完全說完 →

語音轉文字 →

理解 →

查資料 →

生成答案 →

再念給你聽,

你會一直感覺:

它在等。

但如果 Streaming Transcript 在你講:

「昨天那筆信用卡……」

時就已經開始形成,

後面的 Agent 可以提早:

辨識意圖、

準備可能需要的 Tool、

讀取相關 Context。

等你講完時,

前面一部分工作早就開始了。

Microsoft 甚至直接把新的 Streaming Model 定位成:

Voice Agent 的基礎元件之一。

Microsoft 說 Partial 最快大約 100 多毫秒開始出現

Microsoft 公布的資料表示,

MAI-Transcribe-2-Streaming 收到 Audio 後,

可以在約:

100 多毫秒

開始產生第一批 Partial Hypothesis。

它不是說:

100 毫秒就完成整句正確逐字稿。

這兩件事不能混在一起。

100 多毫秒代表的是:

模型開始形成早期文字結果。

之後隨著更多聲音進來,

文字還會繼續修正。

所以真正重要的不是:

「100ms 把整段話轉完。」

而是:

AI 不必等到你停止說話,才第一次知道你在講什麼。

支援 60 種語言,而且可以持續偵測語言

另一個很實用的功能是:

Multilingual Streaming。

Microsoft 表示,

MAI-Transcribe-2-Streaming 支援:

60 種語言。

而且預設可以進行:

Automatic Continuous Language Detection。

這和一開始先叫使用者選:

英文、

西班牙文、

日文

不同。

系統可以持續根據收到的語音判斷正在使用什麼語言。

對真實工作很有用。

因為很多會議根本不是:

從頭到尾只講一種語言。

尤其:

跨國團隊、

客服、

採訪、

課程

很容易一句裡就混進:

產品英文名、

人名、

專有名詞。

但「支援 60 種語言」不代表每種語言效果完全一樣

這點一定要分清楚。

Microsoft 表示模型支援 60 種語言,

不代表:

每一種語言、

每一個口音、

每一種麥克風、

每一種噪音環境

都有完全相同的準確率。

真正使用時,

還是要拿自己的:

會議錄音、

客戶電話、

訪談、

課堂、

影片

實測。

尤其如果你的工作裡充滿:

公司名、

人名、

醫療術語、

產品型號、

產業縮寫,

Benchmark 再高,

都不能取代自己的 Sample Test。

Microsoft 說它在 Artificial Analysis 即時轉錄評測排第一

Microsoft 公布資料指出,

MAI-Transcribe-2-Streaming 在 Artificial Analysis 的即時轉錄評測中,

Final Transcript 與 Partial Transcript 的 Accuracy 都取得領先結果。

而在 Accuracy/Latency 的比較裡,

也位在 Pareto Frontier。

這些 Benchmark 可以拿來了解模型定位,

但不要直接推論:

「所以它在我的中文會議一定也是第一。」

實務上仍然要測:

你的聲音。

你的語言。

你的環境。

你的專有名詞。

它最適合哪些工作?

第一個很直觀的是:

即時字幕

以前直播字幕可能總是慢半拍。

Streaming Model 可以在人說話時持續更新字幕。

特別適合:

線上活動、

講座、

直播、

課程。

第二個是:

會議即時筆記

不一定要等會議結束後才整理逐字稿。

系統可以一邊聽,

一邊建立:

Action Items、

問題、

關鍵決策候選。

但「建立候選」和「確認決策」仍然應該分開。

第三個是:

Call Center

客戶講到一半,

系統就可以開始判斷:

退款、

物流、

帳務、

技術問題。

等客戶說完後,

Agent 不必再從零開始。

第四個就是:

Voice Agent

這可能才是 Microsoft 最在意的場景。

因為真正自然的語音 AI,

不只是聲音像真人。

更重要的是:

它不能每次都停兩秒才反應。

Voice Agent 的延遲,其實是一條流水線

一次語音對話至少包含:

人說話 →

Speech-to-Text →

模型理解/Reasoning →

Tool Call →

產生答案 →

Text-to-Speech。

每一步多 300ms,

全部加起來就會變得很明顯。

所以提升 Voice Agent 體驗,

不一定只是:

「換一個更快的大模型。」

也可以從前面開始省:

讓 Transcription 更早開始。

Microsoft 這次同時推出新的:

MAI-Voice-2.1

與:

MAI-Voice-2.1-Flash,

就是想同時縮短語音輸入與輸出的等待。

那它和 9 月的 MAI-Transcribe-2 有什麼不同?

這一點容易混淆。

MAI-Transcribe-2 本身早就已經存在。

它適合:

錄音檔轉錄、

影片字幕、

會議記錄、

Speaker Diarization、

Word-level Timestamp、

Keyword Biasing。

新的:

MAI-Transcribe-2-Streaming

新增的核心不是:

「以前不能語音轉文字,現在可以。」

而是:

把同一類工作推進即時串流。

如果你的需求是:

「我有一小時 Podcast,幫我轉完整文字。」

Streaming 不一定就是最重要的功能。

但如果是:

「人正在講,我現在就要文字。」

差別就很大。

開發者現在可以怎麼接?

Microsoft 提供兩種主要整合方式。

一種是:

Azure Speech SDK。

適合希望 SDK 幫忙處理:

Connection、

Retry、

Audio Streaming

等細節。

另一種是:

Realtime API。

透過 WebSocket 持續送 Audio,

再取得 Partial 與 Final Transcript。

所以這個產品目前的主要對象仍然是:

開發者與企業。

它不是一個像 ChatGPT 那樣,

打開網頁就開始替你錄音的消費者 App。

這個差別要先知道。

一次 Session 目前最長一小時

Microsoft 目前文件列出的限制之一是:

Realtime API 的一個 Session:

最長 1 小時。

所以如果要處理:

全天活動、

超長會議、

長時間客服服務,

應用程式本身還需要設計:

Session Rotation、

Reconnect、

Transcript Continuity

等機制。

不能把 Preview API 當成:

「連上後永遠不會斷。」

現在也還是 Public Preview

這是目前最重要的限制。

Microsoft 明確標示:

MAI-Transcribe-2-Streaming 目前是:

Public Preview。

沒有正式 SLA,

官方也寫明:

不建議直接用於 Production Workload。

所以現在比較合理的使用方式是:

開發、

Prototype、

內部測試、

Shadow Test。

例如客服公司可以先:

同步跑 AI Transcript,

但正式客服紀錄仍然保留原本流程。

先看:

漏字率、

延遲、

人名、

數字、

產品名、

語言切換

表現如何。

通過之後,

再考慮正式接進工作。

價格目前是多少?

Microsoft 公布的 Introductory Price 是:

每小時音訊 0.54 美元。

目前公告寫的是:

到 2026 年底。

這裡也要注意:

它是 Streaming Model 的 Audio Processing 價格。

如果你後面又接:

LLM Reasoning、

Search、

Tool Call、

Text-to-Speech,

整套 Voice Agent 成本當然不會只有這 0.54 美元。

真正要算的是:

一次完整成功對話的成本。

而不是只看其中一個 Model Price。

如果你只是想把影片做成字幕,需要換嗎?

不一定。

如果工作是:

錄好影片 →

上傳 →

拿完整 SRT →

自己檢查,

那麼一般 Batch Transcription 已經可能夠用。

Streaming 最大的價值,

是在:

「現在就要知道對方正在說什麼。」

所以選工具前可以先問一個最簡單的問題:

我需要的是「錄完很準」,還是「當下就要出字」?

前者偏 Batch。

後者才是 Streaming 真正的主場。

今天真正值得看的不是轉錄又快了一點

以前 AI Speech 的流程大多是:

人講完。

AI 聽完。

AI 再開始做事。

現在開始變成:

人還在講,下一個 AI 已經開始準備工作。

當 Transcription、

Reasoning、

Tool Use、

Voice Generation

全部往即時方向移動,

Voice Agent 才可能真正從:

「會說話的 Chatbot」

走向:

「可以自然插進真人工作流程的 AI。」

推薦閱讀

今日 AI 工具|2026/07/14:Descript,像修改 Word 一樣剪影片,但中文使用者要先注意一個限制

AI 一分鐘教學|2026/07/20:如何請 AI 從長影片逐字稿找出 3 段可獨立成立的短影音

今日 AI 工具|2026/07/13:ElevenLabs,把文字變成接近真人的旁白、配音與多語影片