Les grands modèles de langage peuvent aussi finir par apprendre des concepts, mais à condition d’épuiser d’abord toutes les autres options : c’est un contraste saisissant avec la manière dont les humains abstraient directement des concepts à partir de données très limitées.
Dans cet épisode de AI on Air, nous avons sélectionné des extraits récents de Redpoint. L’invité est Lukasz Kaiser — co-auteur du papier sur les Transformers, ancien de Google Brain et chercheur chez OpenAI — qui analyse, du point de vue de quelqu’un qui l’a vécu, l’écart fondamental entre les Transformers et l’apprentissage humain.
▷ Grâce au raisonnement en chaîne, au renforcement et à l’usage d’outils, ce modèle de « prédiction du mot suivant » est désormais capable d’accomplir des choses autrefois difficiles à imaginer il y a deux ans : par exemple, passer chaque jour quelques heures à discuter de problèmes professionnels avec un assistant de programmation, puis à les mettre en œuvre.
▷ Il fait une analogie : le LLM avale d’abord des milliers de milliards de tokens, apprend toutes les tendances superficielles, puis ne s’empare des concepts que lorsque tout le reste ne suffit plus à l’expliquer. Les humains, eux, obtiennent et même créent souvent des concepts à partir de peu de données.
▷ Les deux évoluent : les Transformers progressent constamment, mais les arguments en faveur du fait qu’« il faut encore autre chose » deviennent aussi plus solides. Des laboratoires ont déjà exploré l’architecture Transformer et observé des résultats intéressants ; quant à savoir qui l’emportera, c’est encore une inconnue.🪁
Dans cet épisode de AI on Air, nous avons sélectionné des extraits récents de Redpoint. L’invité est Lukasz Kaiser — co-auteur du papier sur les Transformers, ancien de Google Brain et chercheur chez OpenAI — qui analyse, du point de vue de quelqu’un qui l’a vécu, l’écart fondamental entre les Transformers et l’apprentissage humain.
▷ Grâce au raisonnement en chaîne, au renforcement et à l’usage d’outils, ce modèle de « prédiction du mot suivant » est désormais capable d’accomplir des choses autrefois difficiles à imaginer il y a deux ans : par exemple, passer chaque jour quelques heures à discuter de problèmes professionnels avec un assistant de programmation, puis à les mettre en œuvre.
▷ Il fait une analogie : le LLM avale d’abord des milliers de milliards de tokens, apprend toutes les tendances superficielles, puis ne s’empare des concepts que lorsque tout le reste ne suffit plus à l’expliquer. Les humains, eux, obtiennent et même créent souvent des concepts à partir de peu de données.
▷ Les deux évoluent : les Transformers progressent constamment, mais les arguments en faveur du fait qu’« il faut encore autre chose » deviennent aussi plus solides. Des laboratoires ont déjà exploré l’architecture Transformer et observé des résultats intéressants ; quant à savoir qui l’emportera, c’est encore une inconnue.🪁