Skip to content

v2.6.0 — Benchmark Download, CLI Enhancement, Regex Match

Choose a tag to compare

View all tags
@lianghsun lianghsun released this 07 Apr 08:58
· 44 commits to main since this release
v2.6.0
77f7514

What's New

Benchmark Download Registry (Milestone #20)

  • --download-dataset 支援 19 個 benchmark 短名稱（mmlu、gsm8k、bbh 等）
  • --download-dataset all 一鍵下載全部
  • --download-dataset list 列出所有可用資料集
  • 支援 GitHub-based 下載（BIRD、Spider 2.0-lite、LongBench）
  • Gated dataset（GPQA）互動式 HF token 提示

CLI Enhancement (Milestone #19)

  • --init 重構：--init（列出範本）、--init <name>（單一）、--init all（全部）
  • --dry-run：預覽評測計畫，不呼叫 API
  • --validate：驗證設定檔與資料集格式
  • --resume TIMESTAMP：從中斷點繼續評測
  • 設定檔範本搬入 twinkle_eval/templates/

Regex Match Evaluation Method (Milestone #18)

  • RegexMatchExtractor + StringMatchScorer
  • BBH (BIG-Bench Hard) 為首個 use case
  • 66 個 unit tests

Full Changelog: v2.5.0...v2.6.0

Assets 2
Loading