GPT-3 et les modèles géants

CCapucine

En 2020, OpenAI présente GPT-3, un modèle de langage annoncé avec 175 milliards de paramètres. Ce nombre donne une mesure de l’échelle du modèle : 175 milliards de paramètres réunis dans GPT-3, au moment de sa présentation par OpenAI. Mais le récit de GPT-3 ne se limite pas à ce chiffre, car une autre caractéristique concerne la manière dont il peut accomplir une tâche. Quelques exemples peuvent être donnés dans la consigne adressée au modèle, et GPT-3 peut alors réaliser la tâche à partir de ces exemples, sans nouvel entraînement. Autrement dit, les exemples se trouvent dans la consigne : ils font partie de la demande, plutôt que d’un nouvel entraînement du modèle. Le modèle peut donc accomplir une tâche en s’appuyant sur quelques exemples fournis de cette façon, sans qu’un entraînement supplémentaire soit nécessaire pour cette tâche. D’un côté, sa présentation met en avant un modèle de langage de 175 milliards de paramètres ; de l’autre, elle décrit une capacité précise, celle d’agir à partir de quelques exemples dans la consigne. GPT-3 associe ainsi, dans la présentation d’OpenAI en 2020, une grande échelle de paramètres et une manière de réaliser une tâche sans nouvel entraînement.