2026-05-12 11:13:28
NVIDIA e MIT lançam framework Lightning OPD, aumentando 4x a eficiência da distilação de modelos enquanto eliminam problemas de memória da GPU
Segundo as informações, investigadores da NVIDIA e do MIT lançaram o Lightning OPD (Offline On-Policy Distillation), um novo quadro de pós-treino para modelos de linguagem de grande dimensão que elimina a necessidade de manter um modelo “teacher” em funcionamento durante o treino. Ao pré-computar, offline, as log-probabilidades do modelo “teacher”, o quadro melhora a eficiência do treino em 4x, libertando todos os recursos da GPU para o treino do modelo “student”. Em testes com 8 GPUs NVIDIA H10