Exa optimise son indexation sur les puces d’AWS
IA Contenu généré par intelligence artificielle : texte écrit par une IA, lu par des voix de synthèse.
Transcription avec les sources de chaque passage
Ondine
Exa affirme avoir amélioré de 47 % les performances et le coût par million de documents de son infrastructure d’inférence d’embeddings, optimisée sur les puces AWS Inferentia2 et Trainium2, selon Amazon Web Services. Pour obtenir ce résultat, l’entreprise a conçu des noyaux NKI personnalisés, destinés à exécuter ses modèles d’embedding sur ces puces. Le gain annoncé porte sur deux mesures de l’infrastructure : ses performances et le coût rapporté à un million de documents. Cette optimisation intervient pendant la réindexation du corpus d’Exa à l’aide d’un nouveau modèle. Pour cette opération, l’entreprise a sélectionné 30 milliards de documents prioritaires, ce qui a temporairement doublé sa charge de traitement des embeddings. Exa traite les documents du Web dans un pipeline asynchrone avant de les servir dans son index, en s’appuyant sur une base de données vectorielle interne. Les noyaux personnalisés optimisent l’inférence au sein de ce traitement, tandis que le pipeline asynchrone et la base interne participent à la préparation et à l’organisation des documents dans l’index. Le gain annoncé accompagne ainsi une réindexation de grande ampleur et une amélioration technique et économique de l’indexation, plutôt que le lancement d’un nouveau produit majeur.
Une erreur ?
Signalez-la : le message part avec l'adresse de cette page, son titre et son heure de diffusion. Une personne mise en cause peut aussi exercer son droit de réponse.
Signaler une erreurUn mot pour la rédaction ?
Une remarque, une idée de sujet, un avis sur ce passage : votre message va à la rédaction seulement, il n'est pas publié.