Laplace 3B sur AWS Trainium2

MMarc

i14 a entraîné et déployé son modèle Laplace 3B sur AWS Trainium2 avec TorchNeuron Native, le backend PyTorch natif pour ces puces, selon Amazon Web Services. Pour adapter le modèle à Trainium2, l’équipe du centre d’innovation en intelligence artificielle générative d’AWS a réécrit le noyau Gated Linear Attention en utilisant des opérateurs PyTorch standard, puis a retenu la version bêta de TorchNeuron Native. L’attention linéaire fait évoluer le calcul d’attention à l’entraînement de O de T au carré à O de T, indique l’entreprise. Sur une instance trn2.48xlarge, le modèle a atteint environ 120 000 tokens par seconde à l’entraînement. Pour l’inférence, il a produit 11 544 tokens de sortie par seconde avec 1 280 séquences simultanées. Ces résultats portent sur cette configuration matérielle ; et l’attention linéaire ne règle pas à elle seule la question de la qualité des réponses. La compression de l’historique impose de vérifier la qualité de récupération pour chaque usage, selon Amazon Web Services.