閱讀即時 capability surface
實作時先查看官方 models directory。依你的帳號與區域確認 availability、支援的 input/output、工具、context limit 與目前價格；不要從 family name 猜能力。
把文件連結放在設定附近，讓下一位維護者能重新核對決策，而不是相信過期註解。
評估工作，不評估排行榜
從真實任務與失敗模式建立代表性案例，評分 correctness、instruction following、evidence quality、latency 與 total cost。媒體或語音工作還要加入該 modality 專屬的品質與交付條件。
routing policy 可以針對互動速度、深入分析、媒體或 fallback 使用不同模型，但要保持可理解；routing 複雜度本身也是需要測試的系統。
- 正式環境 pin 經測試的 identifier。
- 依賴 alias 自動遷移前先理解其行為。
- 在 outage 前就定義 fallback。
讓替換成為例行工作
把 model identifier、timeout、reasoning control 與 feature flag 放進有驗證的設定。每次修改都保留 evaluation baseline 與 rollback value。
catalog 或應用改變時重跑相同案例。通過品質閘門才升級，之後監測 latency、error 與 task success 的 drift。