流暢繁中底下的規則盲區:AI 如何在台灣的加班費、特休與統一編號上算錯?
只看答對率,只能知道語言模型算錯了台灣在地規則,卻看不出它究竟是沿用過時舊制、移植美國公式,還是多步驟算術崩潰。把規則與錯誤假設雙雙寫成可執行程式,才能把失誤原因精準拆解開來。
相關資料集LaborCalc-TWAdminCalc-TW
可執行錯誤診斷樣本 · hypotheses.pyn = 6,360
休息日加班費(overtime_pay)159 筆錯答(89 + 70)
- 台灣法定倍率
- 4/3 → 5/3 → 8/3
- 模型誤套規則
- 單一 2× (89) · 美式 1.5× (70)
統編檢查碼(ban_checksum)173 筆錯答(31.0%)
- 2023 年起現行
- 除數 ÷ 5 檢核
- 過時規則殘留
- 2023 年前舊制 ÷ 10
- 命中可執行錯誤規則
- 38%
- 1,296 / 3,400 wrong
- 未解釋算術/步驟失誤
- 56%
- 1,891 / 3,400 wrong
- Aa法定規則
- Aa模型誤用的規則