Brève

Exa optimise son indexation sur les puces d’AWS

IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.

Intégrer ce passage sur votre site

Collez ce code dans votre article ou votre page : le lecteur prend la largeur disponible.

Thème

Transcription avec les sources de chaque passage

Ondine

Exa affirme avoir amélioré de 47 % les performances et le coût par million de documents de son infrastructure d’inférence d’embeddings, optimisée sur les puces AWS Inferentia2 et Trainium2, selon Amazon Web Services. Pour obtenir ce résultat, l’entreprise a conçu des noyaux NKI personnalisés, destinés à exécuter ses modèles d’embedding sur ces puces. Le gain annoncé porte sur deux mesures de l’infrastructure : ses performances et le coût rapporté à un million de documents. Cette optimisation intervient pendant la réindexation du corpus d’Exa à l’aide d’un nouveau modèle. Pour cette opération, l’entreprise a sélectionné 30 milliards de documents prioritaires, ce qui a temporairement doublé sa charge de traitement des embeddings. Exa traite les documents du Web dans un pipeline asynchrone avant de les servir dans son index, en s’appuyant sur une base de données vectorielle interne. Les noyaux personnalisés optimisent l’inférence au sein de ce traitement, tandis que le pipeline asynchrone et la base interne participent à la préparation et à l’organisation des documents dans l’index. Le gain annoncé accompagne ainsi une réindexation de grande ampleur et une amélioration technique et économique de l’indexation, plutôt que le lancement d’un nouveau produit majeur.

Une erreur ?

Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.

Signaler une erreur

Un mot pour la rédaction ?

Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.