Si en tu entorno de producción escribes llamadas a LLM, normalmente codificas directamente el nombre del modelo en el código. Cada vez que lo cambias, tienes que modificar manualmente el código y realizar pruebas.

Puedes probar a ejecutar un nivel de estrategia en tiempo de ejecución. No es necesario fijar un modelo en el código, sino que cada solicitud lleva consigo una estrategia.
Esta estrategia filtrará automáticamente los modelos que no cumplan las reglas en tiempo de ejecución, y ordenará los modelos restantes que sí las cumplan, pudiendo ordenarlos por precio. Si el modelo seleccionado falla en la llamada, podrá cambiar automáticamente a la siguiente opción elegible.
Equivale a pasar un parámetro de temperatura en la llamada a la API; la decisión de enrutamiento ya no está fijada en el código, sino que forma parte de la solicitud y se determina dinámicamente en tiempo de ejecución según la estrategia. En comparación con codificar directamente el modelo en el código o realizar configuraciones estáticas en el panel de control de la puerta de enlace, este enfoque ofrece mayor flexibilidad y reduce el mantenimiento manual continuo.