$AMD は、ROCmを使用してMI300XおよびMI325X GPU上で全面的に学習した、最先端の完全にオープンなモデルをリリースしました

Instella-MoEは160億（16-billion）パラメータの混合専門家（mixture-of-experts）モデルで、トークンごとに有効化するのは28億（2.8 billion）パラメータのみです。これにより推論コストを下げつつ、同程度またはそれ以上の有効パラメータ数を持つ密（dense）モデルやMoEモデルと競争力を維持します
64Kのコンテキストウィンドウに対応しており、事前学習から強化学習まで、6つの段階を経て訓練されました
AMDはさらに2つの新しい効率化技術も導入しました：
- 低価値な注意（attention）出力をフィルタするGated Multi-head Latent Attention
- 通信と計算を重ねるFarSkip-Collectiveで、事前学習速度を12.7%向上させ、初回トークンまでの時間（time-to-first-token）を最大39.2%削減します