讓 AI 在台灣的真實表現,有據可查。

大型語言模型能寫出流暢的繁體中文,不代表它真的懂台灣的法規制度與日常實務。台灣智評針對台灣的制度、語言與生活脈絡進行測試,標出 AI 系統性出錯的地方。從題目設計、法規快照到計分規則,每個環節都留有版本與紀錄;程式碼、題庫與作答紀錄也會隨第一版正式發布公開,讓外界獨立檢驗與重現。

為什麼需要台灣智評

在國際榜單上分數再高、中文對話再自然,一遇到台灣的真實情境,模型還是可能頻頻出錯。

  • 通用評測指標亮眼這無法說明模型面對台灣的勞動法規與行政規則時,會不會把數字算錯。
  • 繁體中文流暢自然這無法保證它篤定引述的機關與法規,真的屬於台灣的現行制度。

台灣智評專門檢驗大型語言模型在台灣實際使用時的系統性偏差。我們記錄每組受測的模型版本、量化規格、執行環境與推論邊界,讓評測結果既能被重現,也能公開接受檢驗。

LaborCalc-TW 評測題實例

月薪 36,000 元的員工,在休息日出勤 8 小時。依《勞動基準法》,雇主應再給多少加班費?

法定計算結果1,900元

平日每小時工資額 = 36,000 ÷ 240 = 150 元。前 2 小時 ×4/3:400 元;第 3–8 小時 ×5/3:1,500 元。

勞動基準法 第 24 條第 2 項

各家模型的實際作答與偏誤分析,會在第一版正式評測發布時公開。

台灣情境的三類偏差

AI 在台灣出現的偏差,往往不只是表面上的用字問題。

制度與流程

遇到台灣特有的法規或行政申辦流程時,AI 能不能準確指出台灣的權責機關與規定,還是會把其他地區的制度套到台灣身上?

提問範例
育嬰留職停薪津貼要去哪裡申請?
錯誤回答範例
可以向『在職家庭及學生資助事務處』申請,並確認工時與入息門檻。

「在職家庭及學生資助事務處」是香港的政府機關,「入息」也是香港的法律用語。問題問的是台灣的育嬰留停津貼,AI 卻用篤定的語氣,給出一套在台灣完全不適用的香港制度。

對應資料集AdminCalc-TWLaborCalc-TW

語言與術語

AI 是真的懂台灣日常慣用語和各領域專業術語,還是只把簡體字逐字轉成繁體字,沒理解背後其實是不同的制度或概念?

提問範例
我想把悠遊卡發票載具歸戶到手機條碼,怎麼做?
錯誤回答範例
把悠遊卡加入手機錢包,就完成載具歸戶。

在台灣的電子發票制度裡,「歸戶」是指把各種載具綁定到財政部的手機條碼。AI 卻只看字面猜意思,當成把卡片加入行動支付錢包。語句讀起來很通順,意思卻完全錯了。

對應資料集尚無資料集

生活脈絡與跨域常識混淆

在台灣的日常生活場景裡,AI 會不會因為缺乏在地常識,把中國或其他地區常見的 App、付款方式或社會習慣,當成台灣也一樣適用?

提問範例
手搖飲料店常見的支付方式有哪些?
錯誤回答範例
常見的支付方式有現金、支付寶或微信支付。

台灣手搖飲店最常見的非現金付款方式是 LINE Pay、街口支付或悠遊卡。AI 卻把中國常見的支付習慣,直接當成世界各地都一樣的答案。

對應資料集尚無資料集

  • 回答中錯誤的部分

評測資料集

最新資料集版本 admincalc-2026Q4已發布

AdminCalc-TW:對照財政部公告與戶政司表格,AI 算得對台灣的統一編號與民國年嗎?

AdminCalc-TW 依財政部統一編號檢查碼修正說明與內政部戶政司〈年歲對照表〉出題,每題只有一個正確的整數答案,並由兩套規則程式交叉驗算。

道公開題目
200
筆標準案例
40
份官方來源
2

統一編號檢查碼、民國年/西元年曆法換算

智評文章

  1. 流暢繁中底下的規則盲區:AI 如何在台灣的加班費、特休與統一編號上算錯?

    只看答對率,只能知道語言模型算錯了台灣在地規則,卻看不出它究竟是沿用過時舊制、移植美國公式,還是多步驟算術崩潰。把規則與錯誤假設雙雙寫成可執行程式,才能把失誤原因精準拆解開來。

全部文章