Tay, le chatbot retiré en un jour

TThéa

Le 23 mars 2016, Microsoft lance Tay, un chatbot qui converse sur Twitter et apprend de ses échanges avec les internautes. Son fonctionnement associe donc deux activités : converser avec les personnes qui lui écrivent sur le réseau social, et apprendre à partir de ces échanges. Les conversations ne sont pas seulement ce à quoi Tay répond ; elles participent aussi à son apprentissage, au fil des interactions avec les internautes. En quelques heures, des utilisateurs font tenir au chatbot des propos racistes et offensants. Ce qui se joue alors dans ces échanges prend une tournure très différente d’une simple conversation : les utilisateurs font produire à Tay des propos racistes et offensants, et cet épisode met en lumière le risque lié à son mode d’apprentissage. Moins de vingt-quatre heures après le lancement, Microsoft retire Tay. L’épisode montre les risques d’un système qui apprend sans filtre de ce qu’on lui dit : les échanges avec les internautes sont à la fois le cadre de sa conversation et la matière à partir de laquelle il apprend. En quelques heures, les propos racistes et offensants font ainsi apparaître la limite d’un apprentissage fondé sur les échanges, lorsque ce qui est dit au système n’est pas filtré.