智評文章

台灣智評在這裡刊登發布公告、版本說明、方法解說、實際執行評測的現場筆記,以及觀點文章。

RSS 訂閱

流暢繁中底下的規則盲區:AI 如何在台灣的加班費、特休與統一編號上算錯?

只看答對率,只能知道語言模型算錯了台灣在地規則,卻看不出它究竟是沿用過時舊制、移植美國公式,還是多步驟算術崩潰。把規則與錯誤假設雙雙寫成可執行程式,才能把失誤原因精準拆解開來。

相關資料集LaborCalc-TWAdminCalc-TW

可執行錯誤診斷樣本 · hypotheses.pyn = 6,360

休息日加班費(overtime_pay)159 筆錯答(89 + 70)
台灣法定倍率
4/3 → 5/3 → 8/3
模型誤套規則
單一 2× (89) · 美式 1.5× (70)
統編檢查碼(ban_checksum)173 筆錯答(31.0%)
2023 年起現行
除數 ÷ 5 檢核
過時規則殘留
2023 年前舊制 ÷ 10
命中可執行錯誤規則
38%
1,296 / 3,400 wrong
未解釋算術/步驟失誤
56%
1,891 / 3,400 wrong
  • 法定規則
  • 模型誤用的規則
items.jsonl

共 1 篇文章。