如果你在生產環境裡寫 LLM 調用，習慣直接把模型的名稱硬編碼在程式碼裡。每次更換的時候都得手動改程式碼和測試。

可以試試運行 提供了一種運行時的策略層。不要求在程式碼裡鎖定某個模型，而是讓每次請求都攜帶一份策略。
這個策略會在運行時自動過濾掉不符合規則的模型，對剩下符合規則的模型排序，可以根據價格排序。如果選中的模型調用失敗，能自動切換到下一個合格選項。
相當於在 API 調用裡傳入了溫度參數一樣，路由決策不再寫死在程式碼裡，而是作為請求的一部分，在運行時根據策略動態決定。相對於把模型硬編碼在程式碼中、或者在網關儀表盤裡做靜態配置相比，這種方式讓更有靈活性，也減少了持續的手動維護。