0:00 Ça fait quelques mois que j'avoue que je me suis lassé de suivre les nouveaux modèles d' DIIA entre méta open AI anthropique. À chaque annonce, c'est intéressant mais j'avais la sensation qu'on atteignait une sorte de plateau, rien de révolutionnaire. Et puis il y a eu Deep research d'open AI. C'est un mode spécifique dans chat GPT où au lieu de lui poser une question simple, vous pouvez lui demander une requête vraiment complexe. Et là, c'est magique plutôt que de répondre instantanément comme d'habitude, il boucle, il utilise des outils, il a accès à un internet même pour lire des PDF ou des images. Et pour la première fois depuis longtemps, je me suis pris une claque monumentale et sans exagération, ma façon de travailler a complètement changé. Maintenant, je fais au moins 10 10 par jour pour mes
0:46 rapports, mes comparaisons avant d'acheter des choses tout le temps. Mais il y a un truc qui m'a obsédé, c'est qu'est-ce qui a changé techniquement dans ces modèles pour que ça marche aussi bien ? Est-ce que c'est juste le modèle O3 avec une connexion internet ou est-ce que ça va plus loin que ça ? C'est en cherchant ces réponses que je suis tombé sur un benchmark. Il s'appelle GAA et on a eu le privilège de recevoir ses créateurs. Ils vont nous expliquer ce graphique que vous voyez à l'écran. ce que les thinking models ont vraiment débloqué mais surtout et c'est moins connu, quelle est la sauce secrète d'open AI qui fait que deep Research marche mieux que toute la concurrence. Mais juste avant, j'ai justement un message pour tous ceux qui aimeraient utiliser les meilleurs modèles DI mais qui trouvent que l'addition commence à être salée. Notre partenaire Mammou AI
1:32 propose une interface unique qui les rassemble tous. Et quand je dis tous, je parle du nouveau Claude Sonet 4, Jamini 2.5 Pro Deepsic, mais aussi les nouveaux modèles d'images comme GPT imag, flux contexte ou mi-journée. Donc plus jamais peur de rater un truc car ils mettent constamment cette liste à jour avec les nouveautés. Et là où ça devient vraiment intéressant, c'est quand on parle du prix car tout ça vous l'avez pour 10 € par mois. Ça paraît fou quand on sait que l'abonnement à chat GPT seul coûte 20 dollars. Et vous pourrez même utiliser le chat vocal de chat GPT ou accéder à Perplexity de Research. Je vous mets le lien en description et on reprend. Vous, c'était quoi votre cheminement pour arriver à Ga justement ? À la base, c'est euh Thomas Wolf de
2:18 Hugging Face, Thomas Sial de Meta euh qui sont pote en gros et euh qui ont organiser un déjeuner dans Paris euh dans un italien et où euh Thomas Siellom euh t'a ramené et Thomas Wolf m'a ramené. Euh moi à l'époque je travaillais sur de l'évaluation et euh vous bossiez sur les prémisses des agents parce que c'est 2013 quand même donc ça n'existait pas du tout. Et donc la question s'est fait de bah comment est-ce qu'on va s'assurer que on peut dire ça ça va être un bon agent. D'ailleurs, le papier parle d'assistant et pas d'agent à l'époque. Et ça, ça va pas être un bon agent/assistant. C'était quoi vos vos premières intuitions avant de de vous lancer dans ce ce projet-là ? À la base, la question qui s'est posée sur GAA, c'est comment est-ce qu'on mesure des capacités dont on n'est pas encore sûr qu'elles auront lieu et qu'elles seront possibles ? et on savait qu'on voulait une évaluation qui soit
3:04 quelque chose de difficile pour les modèles. Et la grande question qu'on s'est posé sur les premiers mois de brainstorming autour de GAA, c'était comment est-ce qu'on crée des tâches pour des assistants ancrés dans le réel qui vont être utiles à des gens ? Mais à l'époque, c'était plus de la lecture sur internet que de l'écriture pour faire des rapports et autres. Et comment est-ce qu'on mesurait la complexité ? Notre vision à l'époque, c'était plus tu dois suivre un grand nombre d'étapes, plus tu dois utiliser un grand nombre d'outils, plus c'est complexe. Par exemple, lire un PDF, c'est un outil. Interpréter sur une image, c'est un outil. Chercher sur internet, c'est un outil. En gros, les questions de niveau 1, c'était les questions qui allaient être faciles à débloquer dans l'année. C'était des questions qui nécessitaient très peu d'outils, très peu d'étapes. À l'inverse, les questions de niveau 3, on est entre 15 et 40 étapes. Ça donnait quoi au début en fait quand vous avez
3:49 essayé vos vos modèles sur GAA ? Ben, on testait les questions sur euh les modèles qui étaient disponibles à l'époque et donc il y avait globalement que chat GPT qui était facilement accessible. Euh alors je sais pas si tu te rappelles mais à ce moment-là, Open Avait tenté une expérience où il y avait un un app store de tools que tu pouvais connecter à à chat GPT, mais en vérité, il y a peu peu de ces tools marchaient vraiment. Donc ce que je faisais, c'est que je sélectionnais à la main ceux dont je pensais qui correspondait à peu près à la question, ce qui est déjà une aide énorme pour pour le modèle. Et c'était très mauvais. les modèles en moyenne faisaient que quelques pourc moins de 10 % en tout cas de succès. Et pour donner un exemple de de quels sont les les ces tâes justement difficile que que tu leur demandais, on a fait quelques traductions. Donc par exemple calculer le pourcentage de matière grasse dans une glace. Et donc ça c'est une question
4:35 de niveau 2. Et donc pour donner la traduction c'est si cette peinte entière est composée de crèmes glacées, de combien de pourcent est-elle supérieure ou inférieure aux normes fédérales américaines en matière de tenneur en matière grasse ? Là, on comprend intuitivement qu'il il va y avoir besoin de d'un peu de temps, quoi. Ce qu'il faut préciser sur la question de niveau 2, c'est qu'on fournit une pièce jointe. Donc, il y avait déjà la lecture de l'image, extraire l'information du bon endroit de l'image, aller faire la recherche des standards fédéraux, il me semble qu'on contrôle la question avec Wikipédia. Donc, aller récupérer l'information, comparer les deux, sortir un score. Ça ça fait en gros h étapes à peu près. Là, niveau 3, on passe un cap. Donc l'astronaute de la NASA, là je vous fais la traduction dans l'image astronomique du jour de la NASA du 21 janvier 2006. Donc là tu la donnes pas à l'image ? Non, il doit il doit la trouver tout seul. Tout à fait. Deux
5:21 astronautes sont visibles dont l'un semble beaucoup plus petit que l'autre. En août 2023, parmi les astronautes du groupe de la NASA auquel appartenait l'astronaute le plus petit, donc là déjà moi je dois me concentrer. Lequel a passé le moins de temps dans l'espace et combien de minutes a passé l'astronaute le plus petit dans l'espace ? Et ça pour répondre à cette question, il faut combien d'étapes ? Une vingtaine d'étapes, je dirais. une vingtaine d'étapes et puis peut-être quelque chose qui est plus parlant que le nombre d'étapes, c'est aussi et une mesure qu'on commence à utiliser de plus en plus avec les les agences, c'est bah le temps en fait qu'un humain mettrait pour faire cette tâche. Je pense qu'on a été un des premiers papiers à dire combien de temps prenaient nos tâches en moyenne et je pense que ça c'est quelques minutes, quelques dizaines de minutes, peut-être 20 minutes, tu arrives à la bonne réponse. Mais on a des questions qui sont un peu plus un peu plus tricky. Par exemple, tu as une question sur Zofice et où il faut trouver le bureau
6:08 de Zofice, la version anglaise et pas américaine sur Google Maps et indiquer je crois le nombre de plots de couleur jaune devant à une date donnée sur Google Maps, tu vois en Street View par exemple. Ouais. Donc là, c'est là on est plus dans 2 minutes. Là c'est là ça prend plus de temps que tu a compter les plots et cetera. Ouais. On avait même essayé de faire des petites questions d'intmark mais on avait pas réussi à faire des choses qui avaient une seule bonne réponse, tu vois. Donc on pouvait, c'était trop dur de les vérifier mais donc on était frustré. Mais on c'est ça qui est ce qui est super dur en fait c'estd que ton benchmark il doit mesurer avec le bon niveau de difficulté une donnée qui est non ambigue. Oui. Parce que tu veux pas le le vérifier à la main j'imagine il y a par exemple il y a combien de questions dans un benchmark comme ça ? Là il y en a 460 quelque chose. 460 quand même à peu près. Au
6:53 moment où vous publiez le papier les premiers modèles, vous les vous les testez vous-même au sein du papier et ils sont catastrophiques. Hm hm. Et tant mieux. C'est-à-dire vous avez un bon benchmark justement ce qui va permettre de mesurer la progression et derrière la l'intérêt c'est que ça ça crée un une carotte en fait c'est un peu ça. Toutes les prochaines entreprises vont avoir envie de se battre pour augmenter les pourcents sur GAA par exemple. C'est ça qui s'est passé typiquement. C'est ce qu'on veut qu'il se passe. Et en gros ce qui est intéressant c'est que ce qu'on voit au fil du temps, c'est que au début on avait très peu de soumission pendant la première année et là en début d'année on a juste augmenté le nombre de soumissions. On le voit sur ces figures là. vraiment sur le trimestre de l'année, on a quatre ou cin fois toutes les soumissions qu'on a eu avant. Et ça c'est très intéressant rien que de rien qu'à voir les la shape de la de la courbe. On comprend que cette impression
7:40 qu'on peut avoir un peu de l'extérieur que depuis un an ça bouge plus trop. En fait, c'est absolument pas vrai. Et je trouve que justement voir les exemples, ça permet de se de comprendre qu'est-ce qui a changé. Justement avant de d'expliquer qui gagne et pourquoi, est-ce qu'on peut expliquer c'était quoi avant GAA les benchmark qui existaient ? Parce que là le le fait que ça commence à 10 % pour ceux qui qui ont peut-être regardé régulièrement les benchmark, ça peut étonner. On voyait beaucoup que ce soit Google ou Anthopiic ou Open AI ou Facebook ou Meta pardon publier leurs résultats sur des benchmarks qui arrivaient à des 90 % 80 % de succès, ce qui impressionne évidemment. Mais est-ce que c'est bien déjà ? C'est la première question. Et deuxièmement, pourquoi ? Donc il y a plusieurs aspects. La première chose, c'est euh
8:26 historiquement, les premiers benchmark qui sont sortis, c'était des benchmarks de connaissance. C'est-à-dire que tu allait payer euh des annotateurs un peu partout dans le monde et tu allais leur demander d'écrire des questions qui étaient inspirées de Wikipédia et cetera et cetera. Et c'était de la connaissance qui à l'époque, beaucoup de ces benchmarks sont sortis entre 2017 et genre 2021 étit dur à trouver avec les modèles de l'époque, mais ce sont des benchmark qui sont devenus extrêmement faciles au fur et à mesure que la capacité des modèles a augmenté. Ça, c'est un phénomène qu'on appelle la saturation. C'est-à-dire que au début un benchmark est difficile. Il y a un moment où les capacités des modèles font que les questions deviennent très simples à résoudre et du coup tout le monde atteint du 90 % performance humaine. Et dans ce cas-là, le benchmark ne sert plus à rien parce que c'est comme évaluer un lycéen sur des problèmes de 6e. Alors s'il échou, il y
9:11 a un problème mais normalement tout le monde est bon. C'est pas une info passionnante quoi. Exactement. Et donc typiquement le fait que à cette époque là on voit des benchmark qui font 90 % en réalité c'est pas réjouissant. Ça veut dire que on ne savait pas mesurer l'étape d'après. En fait, c'est un peu ça en fait. Mais c'est parce que c'est très très difficile de mesurer l'étape d'après. Mesurer l'étape d'après, ça veut dire que tu as déjà anticipé quelles sont les prochaines capacités qui vont être débloquées par les modèles. Et c'est le truc cœur de l'évaluation. Ton évaluation, elle te sert en gros à trois choses. Elle te sert à regarder où est-ce que tu en es maintenant dans les capacités, ce qui va permettre à toi de choisir le meilleur modèle pour ton cas d'usage et cetera. Elle permet aux gens qui entraînent leur modèle de vérifier que leur méthode d'entraînement marche bien et après elle nous permettent à nous chercheurs du
9:57 domaine de voir où est-ce qu'on va en fait. Et là on a des évaluations qui deviennent les étoiles polaires du domaine et tout le monde se regroupe autour de ça et les gens du coup font consensus. C'est ce qui s'est passé pour MMLU puis Mat puis GAA par exemple. Et mo un truc qui je pense qu'il faut qu' qu'il faut aborder qui est vachement lié au benchmark, c'est justement parce qu'il y a un tel enjeu sur la cricité du benchmark et sur à quel point cette valeur elle va influer des choix d'écosystèmes, des choix même d'industrie qui vont acheter ou pas. Ça fait que il y a des problèmes parfois de pollution. Est-ce que vous pouvez expliquer pourquoi et c'est quoi les remèdes ? Alors ce que tu appelles la pollution, c'est ce que nous on appelle la contamination. En fait, c'est quand je chercher un truc. En fait, c'est quand tes données d'évaluation se retrouvent dans le
10:43 corpus d'entraînement. C'est-à-dire que ton modèle au lieu de te donner une réponse parce qu'il a réfléchi et cetera, en fait il te donne la réponse parce qu'il l'a apprise par cœur. Donc la façon dont c'est géré à l'heure actuelle c'est que tu peux faire des benchmarks qui s'actualisent au cours du temps. Donc tu as par exemple Live Code Bench récupérés d'internet au fil du temps et donc tu réévalues les modèles dessus et donc tu sais que les scores sur les problèmes qui n'existaient pas quand le modèle était là sont des scores entre guillemets valides. tu as des évaluations AIMER par exemple qui les olympiades américaines de mathématiques qui sont renouvelées tous les ans et qui sont maintenant utilisé. Tu les vois citer dans tous les papiers académiques. Donc ça c'est la première façon de faire. La deuxième façon de faire c'est ce que nous on a fait sur GA, c'est tout bêtement de pas filer une partie des réponses en fait. C'est-à-dire que si
11:29 jamais une partie des réponses n'est pas publique, les gens ne peuvent pas tricher très concrètement. Et en terme de euh cas de de triche, contamination, tu as par exemple des boîtes qui à une époque sortaient leur score avec une méthodologie qui n'était pas la méthodologie de l'évaluation, ce qui leur permettait de reporter des scores qu'ils avaient complètement dopés en fait si tu veux. Mais indépendamment de ça, des cas de triche triche, nous on en a eu sur le openlm leaderboard qui était donc notre projet d'avant où en fait on avait des start-ups qui du coup avaient des rounds de financement qui dépendaient de leur score sur le leaderboard, tu vois. Euh mais en général, il se faisait épingler très vite par la communauté. Et sur GA, on a un petit tiers un/art des questions qui sont publiques et on a tout le reste,
12:14 c'est privé. Donc on a nous les réponses mais personne d'autre n'y a accès et en fait c'est quand même assez coûteux même en terme de budget de refaire gaille à faut que tu aille payer des annotateurs qui vont se faire tout le process et cetera et cetera. Donc ce qu'on a eu comme tentative de triche, ça a commencé je dirais en février cette année. C'est des gens qui faisaient des soumissions bidons. Il y a eu une période où je me suis retrouvé à avoir le leaderboard, c'est moi qui gère le leaderboard du coup qui était spammé à peu près toutes les minutes par des comptes qui n'existaient pas avant sur Rugging Face qui soumettait un fichier de résultat avec des réponses plus ou moins aléatoires mais qui regardaient les évolutions de score parce qu'en fait en soumettant des trucs aléatoires, tu as quand même une petite chance que sur un malentendu ça passe. Et donc si jamais sur fichier 1 en ayant ce set de réponse
12:59 là qui a été soumis, tu as plus 05, par rapport au fichier d'avant, essayer de rétroingé. Exactement. Exactement. Et donc, on a eu des soumissions de certains labos qui ont eu lieu après que le leaderboard se soit un petit peu fait spammer. J'ai retiré peut-être de semaines de soumission du leaderboard en contactant les gens dont je savais qu'ils avaient fait des soumissions à peu près correctes en disant "Écoutez les gars, on est désolé. Est-ce que vous pouvez renvoyer vos résultats ? On a retiré 2 semaines de spam. Ah c'est intéressant parce que ça ça peut paraître entre guillemets puéril mais comme tu l'as même mentionné parfois il y a des enjeux énormes en fait corrélés enjeux financiers. Ouais. Sur le choix du modèle mais j'avais pas pensé au lever de fond mais c'est évident que c'est encore plus gros comme carotte. Il y a un autre truc dont dont je veux parler c'est que justement il y a un peu toute une période où soit parce que les benchmarks étaient saturés ou parce
13:44 qu'il y avait des sortes de triches ou des choses comme ça mais où il y a beaucoup de monde qui a commencé à être blasé des benchmarks. Vous voyez ce que je veux dire ? En fait, les benchmarqu ça sert à rien ça. Ça permet pas de mesurer objectivement les modèles. La preuve, il y a plein de modèles qui cartonnent en benchmark et en réalité à l'épreuve de l'intuition justement le vibe check qui sont nuls. Donc la seule chose que je don sur lequel je peux me fier, c'est moi mon expérience personnelle. Mais en fait ce qui est un peu déprimant parce que j'ai pas envie d'utiliser mon intuition. J'ai envie d'avoir le le meilleur modèle pour notre cas d'usage. Et donc il y avait un côté un peu déprimant. Qu'est-ce que vous en pensez de cet avis-là ? C'est clairement quelque chose qui a eu lieu dans l'équipe on gère l'évaluation et les leaderboard. Donc 2023, ça a été l'année des leaderboard. Tu as eu le Open LM leaderboard, tu as eu la Chatbot Arena qui est un endroit où les gens peuvent mettre des modèles en comparaison, poser
14:30 une question aux deux, dire "Je préfère celui-là ou je préfère celui-ci" et cetera. On a eu beaucoup d'initiatives de ce style là qui sont arrivées. 2024, ça a été l'année du Vibe Check. Nous, ça a été un peu compliqué à gérer. On a dû actualiser le leaderboard à plusieurs reprises parce que les gens ne faisaient plus confiance au score et disaient "Mais en fait, c'est tellement facile de tricher." Donc c'est clairement quelque chose que nous on a vécu. Tu es Ouais. Tu es d'accord que ça a eu un peu lieu cette perte de confiance. En fait, il y a eu une énorme saturation. En plus, on avait beaucoup de leaderboard qui sortaient qui venaient de gens qui étaient plus ou moins de confiance parce que si jamais tu sors un leaderboard et que tu sors ton modèle en même temps et que tu dis "Ah, mon modèle il est le meilleur sur mon leaderboard, c'est fou." Bizarre, c'est incroyable, tu vois. Ce que ça veut dire c'est parce que là tu as parlé de 2024, c'est que tu dirais que c'est c'est moins le cas maintenant. Oui, 2025 est considéré un peu comme
15:16 l'année des agents et évaluer un agent, ça pose plein de problématiques très différentes et c'est beaucoup plus difficile de tricher sur des évaluations d'agent parce que tu peux générer tes questions de façon à ce qu'elles soi beaucoup plus dure à gamer en fait. Et justement la suite de l'histoire c'est que ça a pris doucement doucement mais sûrement comme comme on le voit sur le graphe. Est-ce que je serais d'accord Grégoire pour que on reprenne un petit peu le le la chronologie avec plaisir et qu'on voit qu'est-ce qui s'est passé pour qu'on on ait cette courbe absolument hallucinante quand même en aussi peu de temps sur euh un GPT4 qui sait pas faire trois recherches Google et là euh des petites dings à 80 % euh je veux pas dire qu'il plie votre benchmark mais on commence à se rapprocher. Bah écoute avec plaisir. Euh donc je suis allé sur le leaderboard maintenant clémentine. J'ai récupéré à
16:02 chaque instant depuis qu'on a lancé le benchmark, quel était le meilleur score et quel était le LLM derrière ce meilleur score ? Et j'ai tracer ça. Alors déjà la première chose, quand on a lancé le benchmark en 2023, c'était une année où on disait bah les LLM sature, chat GPT, c'était très bien mais le progrès ne fait que se réduire entre des versions différentes des LLM. Il va falloir faire autre chose que des Transformers et et des LLM. En fait, une première chose que ce graphique montre, c'est que quand tu mesures les bonnes choses, en tout cas d'autres choses que ce que les gens regardent, les choses saturent pas du tout. C'est dire que la courbe s'aplatit pas. Là, le progrès, il y a des périodes où il est il est linéaire. Donc ça c'est c'est le le premier truc un peu marquant. C'est pas les LLM qui saturent, c'est les benchmark. Et donc on voit qu'en an et demi, 2 ans, on est passé de 10 % de succès sur GAA à aujourd'hui jusqu'à 80 % en moyenne. Il y a une deuxième information, c'est que tu vois que le
16:48 progrès a pas été constant et notamment sur cette courbe, on voit qu'il y a deux phases où on a une grosse accélération. Et ce qui est très drôle, c'est que ces deux pentes, ces deux phases d'accélération, elles correspondent à des trucs qui sont passés dans la dans la communauté. Le premier, donc c'était début 2024, c'est quand les gens ont arrêté de faire comme moi et de poser des questions à chat GPT en sélectionnant les tools, mais ont mis les LLM dans ce qu'on appelle des orchestrations, du scaffolding ou des agents, il y a plein de termes qui sont en train de se consolider un peu, mais bon, à l'époque ça ça partait un peu dans tous les sens, mais ça consistait globalement à mettre ton LM dans un prompt euh où on lui donne des tools et à appeler le LLM euh plusieurs fois. jusqu'à ce que la tâche soit accomplie. Alors soit parce que tu as décidé que le LLM serait appelé un nombre n de fois 20 fois, soit le LLM peut aussi décider
17:34 lui-même qu'il a répondu à la question. À l'époque, on voulait faire ça en partie parce qu'on pensait que ça allait résoudre des problèmes de LLM. Euh les LLM ont des connaissances incomplètes, bah c'est pas grave, ils vont aller sur internet comme ça ils auront la bonne réponse bien actualisée. Les LLM ne savent pas bien faire des additions, bah c'est pas grave, on va leur donner une calculatrice comme ça ils pourront avoir la bonne réponse. Mais en fait ce dont je me rendais pas tout à fait compte, en tout cas moi à l'époque je l'ai dit honnêtement, c'est que certes, tu peux combler des des défauts des LLM, mais en fait tu élargis énormément le spectre des tâches que un LM peut faire et tu passes vraiment d'un d'un chat modèle à un agent. Mais on voit que c'est pas parfait. Et donc on arrive à la suite de la courbe, on a des progrès et puis arrivrive assez rapidement on arrive à un plateau. Qu'est-ce qui s'est passé là ? Qu'est-ce qui se passe ? Bah les LLM euh leur donner des tools, leur les faire euh leur faire des raisonnements
18:20 et des actions sur plusieurs étapes. C'était des choses qu'ils avaient un peu vu mais pas trop. Ce qui s'est vu, c'est comme tu dis, générer des poèmes, générer des articles de blog. Exactement. Avec le prompting, il se ramène à des choses qu'il a peut-être vu dans son corpus d'entraînement. Donc peut-être que d'encore plus d'entraînement, enfin même sans doute, il y avait du code, il y avait peut-être des des raisonnements, des trajectoires, mais c'est pas quelque chose sur lequel les gens appuyaient beaucoup en développement des LLM en 2023. Bon bah, qu'est-ce que tu fais dans ce cas-là ? Tu l'entraînes. Et donc moi, je pense que c'est une partie de ce qui explique la la deuxième explosion, c'est que les gens, les développeurs de modèles ont commencé à réentraîner les LLM sur les trajectoires qui produisaient avec ces orchestrations là. Bon, pourrait rentrer dans les détails, mais en fait, tu peux faire des tests euh et des évaluations sur les modèles où tu vois très bien que
19:06 oui, ils ont vu des données agent. Donc ce que tu veux dire c'est que peut-être que le premier bump là ce qu'on a fait c'est que parmi les 100 tentatives pour résoudre ton batchmark, on a pris les seuls 15 qui marchaient bien mais on s'en est servi comme nouvelle donnée d'entraînement pour que le LLM a un peu plus vu des choses similaires. C'est ça tu te bout strappes et puis après quand tu l'entraînes bah la prochaine fois il peut aller un peu plus loin donc tu peux le réentraîner et cetera et cetera. Ça paraît évident quand tu le dis. Mais non, en fait ben c'est aussi la beauté de la recherche, c'est que une fois que tu as trouvé le truc qui marche, ça a l'air évident mais en vérité quand tu es dedans et quand tu es avant, ça n' ça n'était pas évident du tout. Quand on a fait GAA, on cherchait des questions difficiles et donc on est arrivé à GAA parce qu'on savait que c'était des choses que avait pas mémorisé, qu'il
19:53 fallait internet et cetera. Ouais, la vision agent, elle était pas encore tout à fait complète à l'époque. Et typiquement, il y a à ce momentl on commence aussi à entendre parler des fameux modèles de raisonnement. Ouais, pareil pour quelqu'un qui n'a pas forcément suivi, qui a entendu parler de O3, les dips évidemment dips R1 que tout le monde connaîtra. C'est quoi cette histoire de raisonnement et pourquoi ça peut aider ? Quand on a commencé à voir des modèles de raisonnement, on l' expliquait de la façon suivante, c'est des modèles qui réfléchissent avant de parler, qui ont faire des des calculs en interne pour se donner un peu plus de chance de d'arriver à la bonne réponse avant de te donner toi la réponse finale. Donc ça c'est qualitativement, ça correspond à peu près à ce qui est fait. Fondamentalement, quand tu poses une question à ton modèle, ton LM répond en général instantanément et va il est entraîné pour te donner directement la réponse. Mais tu peux aussi avoir envie de mettre un peu plus de compute dans
20:41 ton modèle, lui donner un peu de temps pour qu'il fasse des calculs pour arriver à cette bonne réponse. Le raisonnement, ça englobe beaucoup de techniques différentes. Une technique très simple, c'est d'appeler 32 fois le modèle sur la même question et au lieu de retourner la première réponse, bah tu retournes la réponse la plus compte majority. Ah oui, dans la plus fréquente, tu échanges de l'énergie enfin de vo de la puissance de calcul contre une un résultat plus sûr du coup. Exactement. Est-ce que tu penses que ça a pu participer à sur le cas de GAA au fait que les performances grimpent aussi ? Ouais, sans doute. Pourquoi ? Parce que ce que j'ai fait sur mon graphique, c'est que j'ai aussi à chaque score, j'ai associé un un modèle qui était derrière l'orchestration. Au début du graphe, tu vois que c'est toujours GPT4 le moteur GPT4 turbo, GPT4 et puis au moment des au moment de l'inflexion,
21:27 c'est aussi le moment où one le modèle de reasoning d'op release. Donc je sais pas septembre, octobre, novembre 2024. Bah, tu vois que dans les modèles euh qui prennent le State of the Art, qui ont le meilleur score, on commence à voir des resoning modèles. Donc, tu as one, tu as aussi des modèles de la boîte concurrente en tropique qui qui intègre un peu de reasoning. Et donc euh bah empiriquement effectivement, on a l'impression que parce que l'explosion coïncide avec le la release d'oper de O1 et des modèles reasoning et parce que dans les meilleurs modèles on voit des modèles reasoning, on peut penser que c'est la deuxième partie de la réponse de ce deuxième boom. Moi, il y a j'ai l'impression enfin il y a un truc dont dont je voudrais parler après, c'est que dans cette donc dans cette trajectoire, tu nous as expliqué, il y avait des orchestrateurs au début qui avait un côté très euh manuel, c'est-à-dire que il y a un florilège d'outils euh et de tout un écosystème qui s'est créé autour
22:15 à la fois des de l'inférence de le fait de faire marcher des modèles mais même de leur orquest estration justement. Et très souvent c'est c'est fascinant parce que tu veux pas dire qu'on met la charrue avant les bœ mais c'est qu'on construit des usines à gaz parfois sur des modèles qui deviennent un peu obsolètes de temps en temps dès que le modèle suin arrive. Mais c'est pas grave, c'est intéressant mais dans les exemples que j'ai en tête, il y a des CR ou des choses comme ça où c'est une magnifique machine mais le truc c'est un bordel avec des équipes de multiagents qui discutent entre eux et cetera. Et j'ai l'impression que là très récemment, là on est en train d'arriver euh on a vu euh à des très bons scores sur GAA que euh les tout derniers modèles, ceux qui sont vraiment tout en haut de la courbe justement, c'est des systèmes où il y a moins cette orchestration manuelle justement et si j'ai bien compris, c'est
23:01 entre autres grâce au reinforcement learning. Est-ce que tu peux nous expliquer un petit peu Ouais. qu'est-ce que qu'est-ce que c'est que cette histoire de reinforcement learning et et pourquoi ça arrive maintenant et pas avant ? Il y a deux parties à ta question. Ma vision de la recherche sur l'LLM et en général, c'est que tu dois en permanence euh trouver le point d'équilibre entre euh, tu vois, le contraindre trop euh et l'empêcher euh de faire ce qui sait bien faire et l'aider. Et donc euh par exemple, quand tu tu veux apprendre un modèle euh être bon sur une certaine tâche, tu veux avoir envie de modifier l'architecture du modèle pour que ça corresponde parfaitement à ton problème. Par exemple, quand on travait sur les problèmes de sciences et de molécules, on avait tendance à intégrer des connaissances physiques dans l'architecture pour aider le modèle, tu vois. Et ça quand tu as pas beaucoup de données et que ton modèle est pas terrible, ça l'aide énormément. Puis
23:47 après, plus tu progresses dans le domaine et plus tu acquères des données, plus tu te rends compte qu'en fait en enlevant une par une ces petites béquilles euh ton modèle devient meilleur. Mais tout l'art, c'est de savoir quand les enlever. Et donc pour moi, le l'orchestration, le scaffolding, ça rentre potentiellement dans cette catégorie là de technique où bah au début, tu dois aider un peu le modèle pour avancer dans ta recherche, pour commencer à créer des données qui vont améliorer ton modèle. Puis en fait, une fois que ton modèle a suffisamment progressé, tu te rends compte que revenir à un truc simple, ça aide le modèle. Ça l'aide parce que le modèle apprend très bien tout seul une fois qu'il a beaucoup donné. Ça aide aussi parce que il faut être aussi humble, c'est ça, tu t'enlèves des facteurs d'erreur quoi. Plus tu aides le modèle, plus tu as des chances de faire des petites bêtises dans ton code ou ailleurs. Donc simplifier les choses, ça ça t'enlève des chances de faire des erreurs. Tout comme mettons tu avais
24:33 écrit un prompt qui marchait super bien avec un ancien modèle. On le disait à l'époque, c'était dans les conseils qu'il fallait être super précis, donner énormément de d'informations, de détails, de conseils au modèle pour obtenir le meilleur résultat. Et aujourd'hui, ce que je trouve intéressant, c'est quand on regarde les postes d'annonce, les blog posts et cetera de ou les documents techniques des entreprises qui sont les plus à la pointe, il y a récemment plutôt des instructions de dire "Non mais en fait, tentez de simplifier vos justement vos promptes." C'estàd que ce promte que tu as écrit il y a il y a 2 ans hyper hyper poussé, hyper avancé, essae de le simplifier, de donner moins de béquille, de le laisser plus libre entre guillemets justement et en fait vous pourriez être surpris parce que le modèle a a progressé depuis quoi ? Ouais, exactement. Ça c'était le la première partie de ma réponse. Première partie de la réponse, c'est ça. Ensuite, il y a le reinforcement learning. Alors, malheureusement, je vais pas avoir toutes les réponses pour toi euh parce
25:19 que euh je les ai pas toutes moi-même. Euh c'est des questions de recherche encore ouvertes et puis il y en a d'autres que je peux pas te donner. Mais en fait, il y a une façon assez naturelle de d'aborder la chose, c'est que comme les modèles deviennent de plus en plus forts, il y a un moment où en fait pour beaucoup de tâches, ils deviennent meilleurs que des humains. On utilisait beaucoup des annotateurs pour entraîner les modèles. Donc par exemple, il y a 2 3 ans, on utilisait des annotateurs pour créer des petites tâches pour apprendre au modèle à suivre des instructions, à traduire des textes, des poèmes et cetera. Ensuite, on a fait du RLHF où comme écrire un poème, c'est quand même un peu compliqué. On demandait aux annotateurs de choisir entre deux poèmes. Bon bah aujourd'hui, quand tu veux annoter pour une tâche agent, c'est compliqué, ça coûte cher parce que qu'est-ce qu'il faut faire ? Tu prends une question GAA, est-ce que tu as demandé à un annotateur d'écrire toute la trajectoire étape par étape avec le contenu de ce que le LLM est
26:06 censé mettre dans l'outil et puis le retour de l'outil ? C'est compliqué. Est-ce que tu vas demander à l'annotateur de préférer deux trajectoires ? Ouais, mais sauf que comparer de trajectoires, c'est quand même pas facile non plus. Donc en fait, il y a une alternative qui qui émerge, c'est que tu peux aussi laisser le modèle trouver sa propre solution. Tu prends une question, une réponse, un peu comme GAA en fait, parce que les questions de GA, elles sont toutes vérifiables. Tu laisses le LLM jouer, tenter plusieurs fois de trouver la bonne réponse et puis quand tu as quelques trajectoires qui sont tombées sur la bonne réponse, étant donné la complexité de la question, tu peux dire la trajectoire moralement, elle doit être correcte quoi, elle doit être intéressante et donc tu la gardes et tu peux utiliser comme data d'entraînement. En fait, tu le laisses lui-même tester. Ouais. Et voilà. Se se balader jusqu'à ce que ça marche quoi. Exactement. Et parfois tu es surpris parce que tu trouves parfois des trajectoires assez
26:53 dingues que LLM a trouvé par lui-même que ton annotateur aurait aurait jamais fait. C'est un truc qui était je pense à l'époque pas si évident que ça. Nos annotateurs ont eu beaucoup de mal. Je pense que à l'époque on travait avec le CEO de la boîte, je pense qu'il nous détestait parce qu'en fait on leur faisait reprendre les questions plusieurs fois jusqu'à ce que deux trois personnes, parfois quatre pour les plus durs tombent toutes sur la même réponse. Donc en fait une fois que tu as ça, bon bah tu as ramené un problème de la vie réelle plus ou moins parce que même les questions de ga sont parfois un peu non naturelles, mais un truc que tu arrives à vérifier. Et donc là, tu peux appliquer des approches du style essayer plusieurs fois jusqu'à ce que ton modèle réussisse. Et typiquement, de ce que j'ai compris, c'est plutôt récent. C'estd que aujourd'hui, c'est un sujet plutôt chaud dans toutes les équipes les plus à la pente. Et je sais notamment
27:39 que chez chez Open AI, la la fameuse fonctionnalité dont je parlais, type research, c'est O3, donc leur modèle de raisonnement qu'ils ont justement fine tuné avec du first learning sur des tâches relativement complexes d'exploration de l'internet. C'est un truc dont les les résultats sont clairement visibles dès maintenant. Justement là, ce qui est intéressant, c'est que on arrive à ces 80 % à peu près. Est-ce que vous ça vous fait ça vous fait flipper ? Votre votre benchmark est est-il bientôt saturé ou pas ? Le niveau 1, oui, clairement. Le niveau 2, on n'est pas très loin. Le niveau 3, par contre, on est qu'à 60 %. et on a commencé à atteindre un petit plateau sur le niveau 3. Je pense que les questions du niveau 3 sont suffisamment difficiles pour qu'on ait pas encore à l'heure actuelle la gamme d'outils qui permet de les accomplir vraiment efficacement. Donc le niveau 3
28:25 va encore tenir 6 mois, j'espère. J'espère. OK. Ça veut dire que c'est intéressant, c'est qu'on est plutôt en fin du cycle de vie a priori GA CL de GAA. Et alors la question c'est quoi les les benchmarks d'après qui vont mesurer justement ces modèles qui savent qui savent faire du GAA et justement est-ce queils existent ces ces benchmarks déjà ? Il y a une partie des benchmarks qui existent à l'heure actuelle. Typiquement Brow Comp qui a été sorti par Open AI, c'est une version 2 de GAA. Eux au lieu de demander à leurs annotateurs de réfléchir à leurs questions étape par étape et de rajouter des étapes de complexité, ils sont partis dans l'autre sens. Ils ont dit, "Si on veut que la réponse ce soit ça, comment est-ce qu'on doit écrire la question pour qu'elle soit suffisamment compliquée pour nécessiter un grand nombre d'étapes ?" Ah, par exemple, si tu veux arriver à le papier machin,
29:11 comment est-ce que tu décomposes l'identité de cet objet pour que ce soit dur à trouver ? Par exemple, le premier auteur a fait telle université, le 4è auteur a fait telle autre université et a habité là pendant ses études et le papier a été soumis à telle conférence. Et donc en partant de la fin entre guillemets, ils ont construit des questions qui ont une complexité qui est similaire à celle de GA. Le petit problème de ce benchmark là, c'est qu'ils n'ont pas de garantie de solution unique. Ah oui, parce qu'après ils ont mesuré le temps que prenaient des annotateurs à accomplir les questions. Dans quelque chose comme 70 ou 80 % des cas, les annotateurs abandonnent après 2 heures. Donc ils n'ont pas de garantie. Psychopathe continuez. C'est exactement ça. En fait, ils n'ont pas de garantie que les l'espace des solutions soit unique. Hm. Alors que GAA, nous on sait de façon certaine que toutes nos
29:57 questions sont faisables par des humains, mais leurs questions sont globalement, je pense plus complexe. GAA, il y a aussi le fait que GAA, c'est l'internet de 2023 qui a un petit peu changé. On a essayé de se focaliser à l'époque sur des sources qui changeraient peu dans le temps, Wikipédia, les sites de recherche académique et cetera, mais il y a quand même probablement des références qui sont cassées. Browcom, ils sont sortis il y a quelques mois et donc Browcom, c'est un bon euh GAA V1.5 5 quoi concrètement, c'est un peu le même type de question. Ça demande aussi un certain nombre d'étapes de raisonnement, un peu plus de recherche et je dirais un petit peu moins d'outils de ce que j'ai pu voir, mais globalement on est sur la vraiment la ligne philosophique de GAA. OK. Donc ça c'est Brosc du coup. Exactement. Et là, on est sur des benchmarks qui sont des benchmarks en lecture du monde. Donc, c'est des
30:43 benchmarks qui vont chercher de l'information et qui te donne une réponse globalement unique. Après, tu as des benchmarks qui existent aussi qui sont des benchmarks pour des tâches d'assistance scientifique. Et ça, c'est un peu la version 2 des benchmarks de code. Un benchmark de code, tu demandes à un modèle de générer du code. Si jamais le code passe des tests informatiques, en fait, c'est bon. Si jamais ça ne passe pas les tests informatiques, c'est pas bon. La version suivante, c'est est-ce que des modèles peuvent résoudre des tâches scientifiques pour toi ? Il y a trois benchmarks qui sont assez chouettes là-dedans. Tu en as un qui s'appelle Dapstep, c'est de l'analyse de données, c'est-à-dire que tu files tout un ensemble de jeux de données structurés et tu demandes au modèle de faire de
31:29 l'analyse vraiment précise de donc par exemple, tu lui donnes un CSV de 50 Go de d'une entreprise ou des documents financiers, des trucs. Ouais, c'est exactement ça. Et tu poses une question ultra sombre. Hm hm. Il y a littéralement des questions du genre sur le vendeur machin, si jamais ils avaient passé leur côte de telle valeur à telle valeur, de combien est-ce que les taux de change auraient changé en 2023 à partir de 7 XL de X000 ligne. Et là, tu as besoin de 15 étapes de faire des requêtes très complexes SQL ou des choses comme ça. C'est ça. Déjà, c'est génial parce que justement quand on fait la comparaison entre peut-être des vieux benchmark et des trucs comme ça, franchement euh ça avoir des LLM qui euh connaissent euh Wikipédia par cœur, si c'est pas c'est sympa, mais dans la vraie dans la vraie vie, en fait, un peu tout le monde s'en fout, quoi. Euh alors que là, ce qui c'est génial parce que
32:15 c'est des usages réels. Ouais. Et on va pouvoir mesurer très concrètement la productivité en fait, c'est comment ces modèles vont vraiment être utilisés. C'est ça, c'est génial. Ouais. Et c'est assez intéressant parce que ce que tu euh pointes, c'est aussi un gros changement de paradigme dans le monde de l'évaluation. Avant on disait pour évaluer les capacités d'un modèle, on va évaluer les capacités de connaissance. Donc MMLU c'était de la connaissance. Et après, tu as eu des gros benchmarks comme GPQA ou euh HLE. HLE c'est Humanities Last Exam. C'est des questions ultra pointu niveau thèse en linguistique, en bio, en chimie. Je veux dire, c'est horrible. Tu lis la question, tu comprends pas 50 % des mots ? Tant que tu en parles, je propose qu'on aille regarder le site justement parce qu'il est assez rigolo justement pour don les questions, elles sont voilà, elles sont incroyables. Ouais,
33:00 celle-là c'est ma préférée. Est génial. Voici une représentation d'une inscription romaine initialement découverte sur une pierre tombale. Fournissez une traduction du texte en palmiren. La translitération est fournie. Et la la question d'un côté est incroyable. Celle-là, je n'ai rien compris la traduction. C'est les colibris de l'ordre des apodiformes ont une caractéristique unique. Ils possèdent un os oval bilatéral. sésamoïdes situé dans la partie codolatérale de l'aponévrose croisée élargie de l'insertion du muscle dépresseur de la queue. Combien de tendons appariés sont soutenu par cet os sésamoïde ? C'est pour ça que ça s'appelle Humanities last exam, c'est que après après celui-là exactement tu as fini le game normalement. Non mais c'est ça mais ceci mais c'est intéressant parce que là ça mesure pas la même chose en fait. Ouais. Et ça ce qui est intéressant c'est que du coup c'est des questions de connaissance. Et le gros problème de ce genre euh
33:47 d'évales, c'est que c'est invérifiable par un humain normal. Personne ne peut valider la bonne réponse mise à part le mec expert en colibri ou en linguistique qui a soumis la question, je dire et du coup ça donne des benchmarks qui mesurent des choses impossibles à valider par l'humain, ce qui est un problème parce qu'en fait on veut valider au fur et à mesure, on veut pouvoir avoir confiance en le système en fait si tu veux. Et ensuite ça mesure des choses dont tout le monde se fout. Est-ce que pour faire l'avocat du diable, vas-y. Est-ce que justement sur F exam les questions qu'on a vu, tu pourrais te dire "OK, il y a une personne qui peut le faire de tête éventuellement ce truclou mais une autre manière de craquer le problème qui est peut-être encore plus probable, c'est qu'en fait tu as un excellent outil de recherche approfondie. Exactement. et que tu vas pouvoir aller très loin trouver la documentation de la traduction de cette langue obscure,
34:32 scanner la page avec un de la vision enfin et trouver des détails. Mais c'est exactement ça le point en fait, c'est que du coup avant les gens mesuraient de la connaissance pure et maintenant on est en train de transitionner parce que mesurer de la connaissance pure si jamais tu y as accès via un outil super puissant, ça te dit pas grand-chose. Ce que tu veux c'est mesurer vraiment de la complexité dans le raisonnement sur des tâches réelles qui vont être utiles aux humains. Donc c'est précisément là que on transitionne de benchmark de connaissance à la GPQA, c'est la même chose mais pour des questions de thèse en math physique bio ou à la Humanity Last Exam vers du GA du DAP Steep. Tu as Code c'est des problématiques logicielles. Paper Bench c'est open AI. Il file un papier et le LLM doit générer
35:18 le code de machine learning qui prouve ce qui est expliqué dans le papier scientifique et c'est décomposé en plein de petites étapes et cetera. Il y a pas mal de de benchmarks qui mesurent en fait ce genre de choses appliquées à des problèmes qui vont être utiles pour des vrais gens. En fait, il y a un autre truc que les gens font, c'est l'évaluation synthétique sur leurs propres données. Nous, on a un truc qui s'appelle yourbench par exemple et ça prend des LLM qui vont extraire des questions et des données. Tu files tes données à toi, ça te génère un benchmark qui est de la questionréponse sur le type de données toi qui t'intéresse. Ça peut être du légal, ça peut être du médical, ça peut être ce que tu veux. Et donc tu as ton benchmark qui te permet de juger les qualités des modèles sur ton cas d'usage. Par exemple, si jamais tu veux savoir quel est le meilleur modèle pour t'aider à écrire des
36:03 requêtes SQL, bah tu peux prendre la doc de SQL, te faire un benchmark à partir de ça qui va être sur les questions qui toi t'intéressent et euh après tester les allez 10 top modèles du moment et voir lequel fonctionne mieux pour toi. Ça c'est vraiment intéressant parce que effectivement c'est un concept que j'ai déjà entendu que à la fin le mieux c'est ton propre benchmark et l'avantage c'est que là pour le coup c'est des données qui seront qui vont pas liquer publiquement. Tu les as maîtrises, tu sais que c'est pas bullshit. Exact. Tout à fait et ça peut aussi te permettre de gagner du temps en faisant un premier jeu d'évaluation. Tu le fais valider par tes experts en interne et ça te fait après du coup ton petit jeu en interne que tu réutiliseras jusqu'à ce que les modèles soient suffisamment bon que ta mini éval soit saturée aussi et tu recommences. Très cool. On a parlé des successeurs de GAA. Est-ce que vous vous bossez sur des
36:50 trucs sur la suite ? Bah moi pareil, je peux pas vraiment en parler mais je encore une fois quand tu quand tu développes, on développe des modèles et quand tu développes des modèles, tu dois avoir une boussole et si n'as pas de boussole, tu ne peux rien faire. Donc c'est des questions qu'on se pose. OK. Peut-être qu'on peut dire que ça fait 6 mois qu'on fait une collaboration et que peut-être que c'est très très lié au thème qu'on vient de voir et que si jamais un jour ça sort, peut-être peut-être qu'on en reparlerait. Peut-être qu'on en reparlera. Exactement. Si ça vous a intéressé, je vous conseille vivement notre interview d'une chercheuse en IA qui nous a présenté une question assez peu abordée et pourtant préoccupante de l'auto-empoisonnement des IA et de ce qui pourrait arriver dans quelques années. C'était dans cette vidéo.
