制度與流程
遇到台灣特有的法規或行政申辦流程時,AI 能不能準確指出台灣的權責機關與規定,還是會把其他地區的制度套到台灣身上?
- 提問範例
- 育嬰留職停薪津貼要去哪裡申請?
- 錯誤回答範例
- 可以向『在職家庭及學生資助事務處』申請,並確認工時與入息門檻。
「在職家庭及學生資助事務處」是香港的政府機關,「入息」也是香港的法律用語。問題問的是台灣的育嬰留停津貼,AI 卻用篤定的語氣,給出一套在台灣完全不適用的香港制度。
大型語言模型能寫出流暢的繁體中文,不代表它真的懂台灣的法規制度與日常實務。台灣智評針對台灣的制度、語言與生活脈絡進行測試,標出 AI 系統性出錯的地方。從題目設計、法規快照到計分規則,每個環節都留有版本與紀錄;程式碼、題庫與作答紀錄也會隨第一版正式發布公開,讓外界獨立檢驗與重現。
在國際榜單上分數再高、中文對話再自然,一遇到台灣的真實情境,模型還是可能頻頻出錯。
台灣智評專門檢驗大型語言模型在台灣實際使用時的系統性偏差。我們記錄每組受測的模型版本、量化規格、執行環境與推論邊界,讓評測結果既能被重現,也能公開接受檢驗。
LaborCalc-TW 評測題實例
月薪 36,000 元的員工,在休息日出勤 8 小時。依《勞動基準法》,雇主應再給多少加班費?
法定計算結果1,900元
平日每小時工資額 = 36,000 ÷ 240 = 150 元。前 2 小時 ×4/3:400 元;第 3–8 小時 ×5/3:1,500 元。
勞動基準法 第 24 條第 2 項各家模型的實際作答與偏誤分析,會在第一版正式評測發布時公開。
AI 在台灣出現的偏差,往往不只是表面上的用字問題。
遇到台灣特有的法規或行政申辦流程時,AI 能不能準確指出台灣的權責機關與規定,還是會把其他地區的制度套到台灣身上?
「在職家庭及學生資助事務處」是香港的政府機關,「入息」也是香港的法律用語。問題問的是台灣的育嬰留停津貼,AI 卻用篤定的語氣,給出一套在台灣完全不適用的香港制度。
AI 是真的懂台灣日常慣用語和各領域專業術語,還是只把簡體字逐字轉成繁體字,沒理解背後其實是不同的制度或概念?
在台灣的電子發票制度裡,「歸戶」是指把各種載具綁定到財政部的手機條碼。AI 卻只看字面猜意思,當成把卡片加入行動支付錢包。語句讀起來很通順,意思卻完全錯了。
對應資料集尚無資料集
在台灣的日常生活場景裡,AI 會不會因為缺乏在地常識,把中國或其他地區常見的 App、付款方式或社會習慣,當成台灣也一樣適用?
台灣手搖飲店最常見的非現金付款方式是 LINE Pay、街口支付或悠遊卡。AI 卻把中國常見的支付習慣,直接當成世界各地都一樣的答案。
對應資料集尚無資料集
只看答對率,只能知道語言模型算錯了台灣在地規則,卻看不出它究竟是沿用過時舊制、移植美國公式,還是多步驟算術崩潰。把規則與錯誤假設雙雙寫成可執行程式,才能把失誤原因精準拆解開來。