J'ai testé Opus 4.6 et Codex 5.3... Le résultat m'a CHOQUÉ

0:00 Il est 7h du matin et aujourd'hui deux énormes nouvelles sont sorties aux États-Unis. Donc évidemment chez nous, c'était la nuit mais GPT 5.3 Codex vient de démolir Opus 4.6 sur Terminal Bench. Mais surtout, on a ici Opus 4.6, le modèle le plus intelligent de Cloud qui vient d'avoir une nouvelle update comme on peut le voir juste ici. Et dans cette vidéo, j'ai préparé plus de tests que jamais près de un énorme test qui va tester l'intelligence où il a travaillé littéralement pendant près de 20 30 minutes juste ici. Ensuite, on va avoir un autre test sur le dashboard et trois

0:46 tests sur des créations de petites application de zéro. euh le dernier qui est encore en train de s'effectuer. On va réaliser tout ça ensemble et on va pouvoir tester. Mais la première étape, c'est de regarder un petit peu ce qui se dit euh voilà sur les réseaux sociaux, sur Twitter, euh la la hype. Vous savez que j'aime bien parler de ça. Donc on a déjà le tweet ici de Opus qui vient nous dire qu'on a le smart test avec une upgrade. Donc d'après leur benchmark qu'on peut aussi retrouver normalement sur leur blog post et que j'ai aussi pris juste ici. Donc c'est assez assez marrant parce qu'on a Opus terminal adent codique qui reprend un petit peu des pourcentages par rapport à aux autres. On peut voir qu'ici

1:31 euh on avait ici Codex CLI qui avait un meilleur résultat ici que Opus 4.5 et du coup cette fois Opus 4.6 a pris le dessus là-dessus. Deuxième truc, le SWE bench verified. On va dire le truc qui avait le plus de valeur. On peut voir qu'il a perdu un point. Donc c'est intéressant. Il en a gagné cinq ici mais il a perdu un point ici. Agentic computer use, la même chose, c'est super, c'est le meilleur. C'est le meilleur et après c'est un peu moins intéressant. La même chose avec GPT Codex 5.3. Donc en gros ici compare les trois modèles SW Bench Pro. On peut voir que il dépasse de manière résiduelle

2:16 ici les anciens modèles. Le plus grand gap, c'est le Terminal Bench 77 64. Et voici un petit peu les nouveautés. Qu'est-ce qu'on a eu comme réaction ? Donc Boris Cherny, le créateur de Cloud Code qui nous présente le Agence Swarm. Alors ça sera le sujet d'une autre vidéo. Quelqu'un qui dit "It's over, it's over pour les développeurs parce qu'il y a un tweet de Racuten", enfin une review de Ruten. Claude Opus 4.6 vient de fermer 13 issues et a signé 12 issues à la bonne personne dans l'équipe en seulement un jour. Il a managé 50 personnes à travers six repository. Tout ceci en gérant le product et l'organisation des sision en sachant quand il faut venir appeler

3:02 un humain. Donc ça c'est vraiment une dinguerie. C'est Opus full autonomie. Opus aussi qui est premier au Vals index ici. Bon je sais pas trop ce que c'est mais c'est toujours intéressant. Et un autre graphique qui est pour moi d'ailleurs la plus la news la plus importante ici, c'est Opus 4.6 qui a enfin une version avec 1 million de token. Alors, on peut pas la tester sur Cloud Code mais ici, on a 1 million de tokens et on a le long context retrieval. Qu'est-ce que c'est ? C'est un test qui évalue la capacité d'un agent à retrouver et utiliser des infos précises dans un contexte lent, un contexte très gros. Donc en fait, c'est presque l'information la plus importante que tu vas pouvoir chercher, c'est le fait que quand on lui passe un énorme

3:47 contexte, donc par exemple 150000 tokens, est-ce qu'il va réussir à retrouver les informations ? Et donc ici, on a des meilleurs résultats. Mais surtout, on a en fait tout simplement le modèle à 1 million de tokens. Et je le dis pas mal sur Twitter, n'hésitez pas de me suivre de me suivre sur Twitter. Je tweet principalement en anglais mais c'est intéressant. Euh je pour moi la plus grosse limitation de Opus depuis tout ce temps, c'est vraiment le fait d'avoir un long contexte retrieval. Le fait d'ici d'avoir 1 million de token, ça va résoudre énormément de problèmes pour moi par rapport à mon flow parce que ce qui me limite très souvent dans mes dans mes pres, c'est tout simplement que j'arrive à la fin du contexte parce que pour moi c'est très important d'utiliser beaucoup de contextes dans la partie réflexion et cetera. Donc longue contexte ritual, boum boum boum, on va

4:34 pouvoir euh utiliser tout ceci qui est inclus. Donc on a ça. Très intéressant. Très très intéressant. Maintenant ce qui nous intéresse, c'est les petits tests. Les petits tests concrets pour comparer les deux modèles. Et c'est ce qu'on va faire. On va faire plusieurs tests dans cette vidéo. J'en ai préparé en réalité beaucoup. Le premier test, c'est toujours la l'application Subfast Mini Clone. J'ai rajouté un autre test de 3D wording, enfin plutôt de de math. On a un troisème test qui va être sur le 3D 3GS. 4e test, une implémentation de feature dans Chao app et 5e test, une implémentation de feature dans Chao app

5:20 das Dashboard. Ça va être très intéressant. Rester bien jusqu'au 4e test parce que j'ai lancé Codex pour 30 minutes pour ce test. Ça n'avait aucun sens. On va commencer avec le premier test. Donc je l'ai fait juste ici. J'ai déjà les serveurs qui s'exécutent. Donc ici, on va pouvoir tester Opus juste ici à côté de GPT Codex. Donc vous vous rappelez de cette petite application que je fais tout le temps. Alors il y a des gens qui aiment pas le concept que je fasse la même application tout le temps. Mais en fait c'est littéralement le meilleur moyen de tester euh les modèles et de voir un peu leur évolution en fait parce que chaque fois que je fais ce test, j'ai un dossier avec le test et je peux voir l'évolution globale des modèles. C'est méga intéressant. Donc pour ce prompt, je te l'affiche juste

6:05 ici. Créer une une application NextDJS pour générer des miniatures YouTube avec le framework. Installe les librairies blab blabla midjourné style UI must be clean mini mall midjourne dark by default simple interaction image upload drag and drop utilisation Gemini API et cetera et cetera. Alors qu'est-ce que ça nous donne juste ici ? Opus toujours la même interface il est très consistant on n pas de magie avec Opus 4. Il a respecté ce concept encore une fois très très minimal. Si je compare avec Opus 4.5, donc là si on compare Opus 4.5 ici à Opus 4. Voilà, c'est plutôt de l'aléatoire qui est venu faire ici, mais

6:50 on est vraiment sur le même style d'application avec GPT 5.3 qui fait toujours les mêmes applications encore et encore. Donc on sait toujours pas pourquoi GPT, je sais pas pour comment ils ont entraîné leur modèle, ils font toujours ce style de zinzin avec des espaces ici dégueulasse. Ça c'est constant et il le fait toujours. Il fait toujours des shadows dégueulasses juste ici. Là il m'ajoute un spacing de zinzin. Tu sais pas exactement pourquoi alors que le spacing ici c'est pas pareil. Même chose ici et cetera. Voilà. toujours déçu du fait que il prend beaucoup trop de de liberté et entre guillemets il y a une sorte de système prompt caché peut-être qui fait que c'est différent en sachant que cette fois j'ai utilisé Codex et Cloud Code. Donc évidemment il y a une sorte de prompt et de paramètres qui peut venir

7:37 prendre en compte. On teste toujours le modèle, il y a pas de souci mais voilà vous vous êtes souvent à vous énerver, il faut tester avec Claude. Bon vu que là il y a la mise à jour des deux modes, j'ai testé comme ceci. Alors on va faire le test. On va drag and drop une image ici. On peut voir que le drag and drop fonctionne bien. J'ai ma face et j'ai la miniature de Léof. Mi burning de cloud code logo. Hop, generate one. Et on va faire la même chose avec Michel. Voilà l'interface. OK, c'est pas mal. C'est pas mal, c'est pas mal. Mi burning de cloud code logo generate. En sachant qu'il doit toujours faire un système prom entre tantre guillemets dans le background. Donc mais vous voyez que généralement quand même

8:23 ici l'application est plus buggée. Là les spacing sont pas bons, spacing sont pas bons, spacing sont pas bon. Donc il a pas réussi, il a installé le composant carne mais à aucun moment il a réussi à le lire. Ici j'ai l'impression que ça ressemble plus à ce que j'ai envie. Donc là on peut voir que on a le bouton download. Ici il manque le bouton dark them. Normalement il y a un prompt qui demande le bouton dark time. Donc là je me rends compte qu'il l'a oublié. Et là, on peut voir que le prompt de GPT parce qu'il faut comprendre que dans ces applications, il y a un prompt qui vient définir sûrement quelque part dans ce chat quelque part. Donc là, je pense qu'on peut le voir. Boum boum boum. Euh non. Bref, il nous fait un prompt et là on peut voir que le prompt de GPT 5.3 codex 5.3 qui est

9:08 juste ici he modèle euh GPT 5.3 Codex juste ici et slashmodè juste ici au cas où hein au + 4.6 euh on peut voir que le prompt est dégueulasse. Alors non seulement les spacing ici sont dégueulasses, mais le prompt est aussi dégueulasse. Et ici, le prompt est beaucoup mieux parce que ça ressemble exactement à une miniature que je pourrais utiliser sur ma chaîne YouTube. Donc sur ce premier test, non seulement il avait pris deux fois plus de temps, mais en plus enus, on a toujours le style dégueu avec la shadow. On a toujours les espaces dégueux et on a un moins bon prompte. Euh le plus c'est respect des conditions. Je crois pas queil a oublié

9:54 quelque chose. Il a une meilleure UX juste ici avec les le count. Ah non, ouais non, les deux ont une X de merde. Le mieux c'est de faire un un toggle qui est vraiment la meilleure UX. Donc ici plus style respecté, moins pas de dark mode, plus respect du prompt. Donc c'est quand même pas mal pour ce premier point. Je propose de donner le point à Codex qui gagne à Opus qui gagne un point juste ici pour ce premier test. Deuxème test, les maths. Alors les maths, c'est le test qui est juste ici. Je vais encore une fois vous montrer le prom. Tout est ici. Donc bouncing ball. Il y a souvent ce test ce test sur Twitter. Je voulais le faire

10:40 moi-même et comme ça on peut voir apparemment ça teste des trucs très importants. Créer un fichier HTML où il y a une ball qui bounce dans un rotating regular heptagone avec 7 s. OK. Donc ici on a deux fichiers HTML et je vais venir normalement ls index.html. Donc ici index point Merde. Ouais. Alors euh la version d'Opus pour l'instant est vraiment pas bonne. On a une balle qui arrive et elle respecte pas du tout le heptagone. Euh la balle n'est pas dans le heptagone. Bon, je vais essayer de lui demander de fixer. Et ici, on a Codex. Alors, les deux sont allés très

11:27 vite. Et si ici je viens ouvrir le fichier HTML check. Ah ! OK, donc là on a un vrai un vrai point qui vient d'être donné ici à Opus avec ici opus. Ah non, ça fonctionne à moitié Ah non, ça fonctionne bien en fait. Ah bah là, on dirait que les deux fonctionnent en fait. C'est très marrant parce que Ah mais peut-être qu'il a corrigé. Je suis con. Ah non, non, il a pas encore corrigé. Mais là d'un seul coup opus fonctionne où j'ai deux fois le même où j'ai deux fois le même site. Non, j'ai Codex et Opus. Je vais leur dire aussi. OK. Donc deuxème test, c'est ce fameux

12:13 test de physique. Donc en fait ici créer un single file, no python et cetera. Juste un fichier HTML qui a eu single red ball bouncing a slowly rotating regular heptagone avec 7 side polygone. Donc ici, il y en a un qui a pris 2 minutes 22 pour Opus et il y en a un qui a pris environ 4 minutes et qui m'a output le texte ici. J'ai peut-être pas été assez clair dans le prompt. Et on va pouvoir les tester. Donc ça c'est le deuxième test. On est à 2 minutes contre 4 minutes. Et ici, j'ai affiché les deux applications. Donc, on a ici GPT5 et Opus 4. Avec ces deux applications, on peut voir que bon, les deux les deux fonctionnent,

12:59 hein. Les deux fonctionnent très très bien. La physique est respectée. Alors, GPT est un peu plus fun. Il a un peu plus de bouncing quand celui-ci fait un peu plus la même chose. Là, tu vois, il y a des petits petits bouns et cetera. Je vais dire rajoute un paramètre de rapidité. Rajoute un paramètre de rapidité et un bouton pour ajouter des balles. Allez, on va donner ça aux deux. Exactement le même texte. Bon, voyez, en en général, peu importe votre request, opus la désingue beaucoup plus rapidement. Tu vois ? Boum ! Je lui ai demandé ici en 35 secondes, il a fait lui ça fait 40 secondes et là il a fait la modification que maintenant ensuite il doit me output la fin ici. Je sais

13:45 pas pourquoi il a décidé de vérifier que les références sont bonnes et du coup là il nous a pris une minute. Donc en général il prend toujours un petit peu plus de temps. Mais si on refresh, on a maintenant les balles et on peut voir que on a les deux petites applications. Donc avec GPT, je peux ajouter des balles. Et là il y a pas la physique entre les balles. Donc il a pas setup la physique entre les balles. Est-ce que lui il l'a fait ? Je pense pas vu la rapidité qu'il a fait. Ajoute la physique entre les balles. Comme ça, on leur demande aussi. Mais sinon, c'est pas mal. On peut changer le speed. Donc comme ça, vous voyez ici la différence. Et là si on s'énerve un petit peu sur le speed, on s'ennuie un petit peu plus sur opus sur ces deux exemples juste ici. Eux les balles bouncent un peu plus du

14:31 côté de du côté de GPT. Voilà la vitesse d'exécution d'Opus, il a pris 10 secondes avant de faire ça. Donc là et là on peut voir bou le bounce entre toutes les balles. Ça fonctionne bien c'est pas très marrant. C'est pas très marrant. Elle OK. OK, c'est fait. Donc ici, j'ai rajouté le rebond. Donc comme ça, on peut faire un peu plus de rebond. Ici, on va mettre à un. Et là, si on ajoute plein de balles, voilà, là on s'éclate, on a une application avec un peu de fun. Et là, on s'éclate aussi. On a une application avec un peu de fun. Les deux marchent très bien. Il y a pas il y a pas grand-chose à dire. La physique ici est bien respectée. Alors, c'est un peu plus fun avec Opus 4. Mais ça fonctionne tous les deux donc

15:16 j'ai pas trop de préférence. Il y a le temps qui a quand même été gagné. Donc opus, ça fait la même chose beaucoup plus vite et il est un peu interface un peu plus joli dans le sens que le ajouter une balle ici, il a un style là, il est moche et il nous a mis des couleurs et une ligne un peu plus solide. Donc j'aurais quand même envie de donner le point à Opus parce que je suis un opus fan boy. Donc il faut des fois assumer un peu ce qu'on a. Donc ici plus couleur et rapidité. Et là ici les plus c'est eff c'était plus réaliste quoi. C'était un peu mieux au début le bound c'était mieux géré. Opus a mis pas assez de bound c'était un peu ennuyant. Donc ça c'était le test 2. Euh on va pouvoir passer au test 3 qui est toujours pas le

16:03 test ultime. Test Bob l'éponge en 3D. Bob l'éponge en 3D. Il y a plein de gens qui font ces tests sur Twitter. Je me suis dit on va s'éclater. On va aussi avoir notre Bob l'éponge en 3D. J'en ai marre de voir les autres s'amuser et moi pas. Donc ici, on va venir ouvrir ces fichiers. Et là, Codex, il m'a refait un truc qui m'énerve énormément. Et ça, c'est un peu de la débilité de modèle. Ça me donne envie de le fumxer. C'est qui me output son 3D d'enculé ici dans un dans un dans dans le chat. Alors, le problème, c'est qu'ici, il y a tellement de tokens que j'ai même pas envie de me battre contre ça. Donc, vous savez quoi ? On va le faire à la main. On est quand même mal géré ici quand tu

16:48 dois venir copier du code à la main, lancer Z dans un dossier vide, créer un fichier à la main index.hthtml parce que si je lui demande de l'output ici, il va me prendre une heure. Et ici, crée ça. Alors, est-ce que ça marche ? Je sais pas mais en tout cas, on l'a rajouté. Je vais quand même lui dire j'ai créé le fichier index.hthtml. Vérifie que tout est OK. On peut voir qu'ils ont vraiment bien réfléchi. Lui, il a pris 7 minutes. Ici, j'ai pas pu voir le temps parce qu'il affiche malheureusement pas le temps. On se demande pourquoi ils affichent pas le temps l'équipe, hein. Mais ici, j'ai pas pu noter le temps parce que j'ai lancé, je sais qu'il a pris plus de temps, ça j'en suis sûr et certain, mais j'ai pas vraiment pu noter le temps malheureusement. Donc on va pas pouvoir avoir ça. Donc là, il va nous

17:34 faire un petit petite structure. Peut-être que tu vois, je peux pas lancer prétilleur. Mais je trouve ça franchement c'est assez énervant de se dire pourquoi est-ce qu'il arrive pas et pour à quel moment un tu vois. Enfin, c'est juste pas user friendly. Si je suis obligé de lui dire créer un fichier HTML mais attention pas dans le chat, tu dois le tu dois le créer carrément dans le fich. Enfin faut faut être retardémental pour pas créer le fichier et me output un un index.html, tu vois ? Donc ça ça m'énerve un petit peu. Je vais leur demander ici de rajoute euh title est égal à Opus 4.6 et on a fini, c'était un peu un peu lent. OK, on a fini, c'était un peu lent. Et on a ici les deux versions du sitite. Alors, c'estant

18:20 ici, on va on va refresh normalement. Du coup, du coup, pour l'instant, la version de code, c'est vraiment pas dingue dingue. Alors, ici, je me suis juste trompé, je lui ai pas dit le bon titre. Donc là, c'est bien. Codex 5.3, on a rien. Quand avec Opus, on a un truc. Alors, c'est dantesquement dégueulasse euh mais c'est quand même très stylé. Je vais lui screenshot ça. Donc, on a donné deux chances ici et je vais lui dire "Les couleurs sont pas bonnes, on n'y voit rien." Hop, on lui envoie ça. Ça va pouvoir corriger le petit problème. Et euh un et peut-être qu'il y a des erreurs dans ce fichier là. Donc on va voir. Hop, fail to resolve module. Hop, là, je lui envoie fix it. Bon, pour les

19:06 gens qui disent que Codex il est super smart, il fait pas d'erreur et tout, je trouve quand même généralement le one shot est compliqué hein. On n'est pas sur le one shot du du samedi matin. Alors, déjà, non seulement je dois attendre 55 minutes entre chaque prompt pour avoir un truc qui fonctionne à peu près, mais ici, pourquoi il a pas réussi à importer le bon tri ? Alors, je sais pas. Je sais pas du tout. Donc là, il change avec codex. C'est parfait. On va fermer le terminal. Et on a toujours rien qui fonctionne. Ah oui oui oui oui oui oui oui. Oh, on a un truc, on a un truc. Alors c'est pas dingue. Je vais toujours lui dire c'est super lagy. Il y a un écran noir avec un truc lagy derrière.

19:55 Et pour Opus qu'on a demandé de d'update. Ah et c'est quand même pas mal hein. Et c'est quand même pas mal. Alors il manque le sol. Je vais lui envoyer hein. Hop il manque le sol. Mais sinon le Bob l'éponge, il est quand même bien foutu. Patrick et tout. Voilà. Il y a quand même du concept qui a un peu fonctionné. Leur maison est très jolie. Euh ça me donne envie de regarder Bob l'éponge à nouveau. Et le pâté de crabe aussi est très joli. C'est vraiment un petit un petit monde mignon, hein, on peut quand même le dire. Alors, j'aimerais vraiment faire fonctionner Codex pour qu'on puisse avoir un truc de comparaison. On va voir un petit peu ce qui se passe. C'est parfait. On a

20:42 maintenant les deux tests. Alors, peut-être que j'ai un peu oublié de te présenter El Promta. Alors ici, il est toujours en train de travailler. Donc on va quand même prendre 2 minutes pour voir le promptien Spongebob. Donc ici tu dois tester tes capacités de code. Tu es un seigneur Jills. Tu dois créer un fichier HTML avec tout. Un Sandy Ocean Floor, underwater fog, light pattern, God Ray Streaming Down, Floating Particule, Coral Formation, Distant Background, Open Oéan Depth. Donc il doit créer Spongejod avec sa maison, il doit créer Squid, Patrick et le Crusty Crab. Il doit faire tous les caractères avec Gary, Jellyfish,

21:27 Squidwar, Patrick et Spongebob et la caméra et cetera. Donc ça c'est un peu tout le prom qui a été demandé. On a du coup les deux versions. Je sais pas si lui il a fini de travailler. Parfait, il a fini de travailler. Waouh ! Ah bah là, ça donne plus envie déjà. Ça donne déjà beaucoup plus envie. On peut voir quand même que au + 4. ici, il a vraiment fait des des des beauches des enfin moi je serais incapable de faire 3 % de ce qui a été fait juste ici. Euh c'est vraiment joli. Alors ici en plus il a fait les chadeurs d'eau qui sont quand même assez zinzins. Quand Codex 5.3 ici après refresh, on a quand même les petites images d'eau. Le chemin est un peu fait à la vavite une sorte de gros tuyau dégueulasse. Les maisons sont beaucoup moins

22:12 détaillées, beaucoup moins fonctionnelles ici dans ce test. Donc je pense que c'est clairement non seulement parce que Codec ça fait n'importe quoi et que j'ai dû le rediriger cinq fois mais ici je sais plus combien de temps il avait pris mais dans tous les cas il avait pris deux fois moins de temps. Ça c'est sûr c'est sûr et certain. Donc plus rapide, respect du style et fonctionne quoi. Fonctionne parce que Codex ne fonctionnait pas. Alors même si j'ai donné quelques tips ici à Opus pour que ce soit plus joli, de base Codex ça fonctionnait tout simplement pas. Enfin donc on a quand même été de l'égalité, on a donné le même nombre de de aux deux modèles. Beaucoup plus lent. Non respect du

22:59 style, enfin respect 50 % du style et pas one shot une version fonctionnelle. Donc je pense que je donne encore une fois une pièce d' 1 € ici à à Opus qui a fait ça beaucoup mieux. Bon maintenant on passe sur les choses sérieuses, les choses de développeur, les choses qui augmentent la complexité énormément. J'ai pété un plomb hier et j'ai fait une fature de Zinzin sur ma petite application qui s'appelle Ciao. Pas pour ciao Kambucha mais juste ciao ciao. J'aime bien j'aime bien ce nom donc laissez-moi tranquille. Et j'ai demandé aux deux modèles de faire la feature suivante. J'espère que vous êtes prêts. Accrochez-vous bien parce que c'est vraiment Donc voilà. Ici je vais vous faire la démo avec moi. Qu'est-ce que Qu'est-ce que la fiture qu'on va devoir faire ?

23:45 Alors moi, je l'ai déjà fait en prod. J'ai réutilisé le même prom que j'ai amélioré avec les erreurs que j'avais pu faire pour corriger. Ici, j'ai un chat qui est sur tous mes sites web et j'ai envie de pouvoir avoir microphone et ici pouvoir euh écrire. Bah voilà. Alors, salut Melvin, qu'est-ce que tu fais aujourd'hui ? Moi, je je vis sous Bikini Bottom et j'adore manger des pastas. Ici, ça m'affiche l'audio. Je peux le play et je peux l'envoyer. Ça vient l'upload sur S3 et ça vient directement l'ajouter dans le chat comme tu peux le voir ici avec transcribing en live et ça transcribe mon audio avec l'audio au-dessus et ça c'est que ce que le gars il voit en widget. Donc c'est méga intéressant en fait parce que ça permet vraiment d'offrir une expérience. Alors ici, les couleurs sont un peu

24:30 dégueulasses. J'ai pas encore fixé ça. Mais ça permet vraiment de créer une expérience utilisateur pour les gens qui me posent des questions très personnaliser où je peux leur faire un petit audio. Moi, ça me prend moins de temps et ça donne aussi à l'impression à l'utilisateur que bah je suis vraiment là pour répondre aux questions. Donc si c'est moi qui réponds aux questions, autant répondre avec cette méthode audio. Donc ça c'est ce que j'ai demandé aux deux modèles. Alors là, ça a été la catastrophe la catastrophe de chez Catastrophe. Alors, c'est pas ce terminal là, c'est ce terminal là. Euh ici j'ai fait les deux terminales. Il y en a un, celui-ci, il a pris, ce n'est pas une blague, il a pris près de plus de 30 minutes et il est arrivé au point où il a dû se compacter, hein. C'est-à-dire

25:16 qu'on a eu un autocompact. Alors, très intéressant pour Codex, un bon point, c'est que quand il arrive à la fin du contexte, il s'autocompacte et il continue automatiquement. Pas besoin de venir lui dire de continuer. Alors, je sais pas si c'est la même chose sur Cloud Code. À l'époque où j'utilisais le autocompact, il s'autocompactait et après il s'arrêtait. Je suis pas sûr. Je suis pas sûr maintenant. Donc, faudrait que je check. Faudrait que je check. Donc, test 3, test 4, chat vocal. Alors ici le prompt et toujours ici add microphone. Dans l'application, j'ai envie que tu utilises le composant Eleven Lab audio player. Il faut un audio player où on peut choisir le microphone. Il faut que ça supplode sur R2, sur S3 comme ceci qu'on puisse ajouter le widget et que quand on envoie dans le widget, il y a tout qui fonctionne bien

26:02 et que tout soit magnifique dans le meilleur des mondes. Voici un petit peu la la demande qui est fait juste ici. Je vous laisse lire le prendre plus en détail. Alors, on va essayer de faire fonctionner ces applications. Donc, je ne suis pas sûr à 1000 % que ça puisse et même fonctionner. Donc ici, je vais couper l'application de production et je vais lancer port 3101 PNPM dev. Donc ici, c'est la version alors je me suis trompé, j'ai donné mic Opus ici et les deux ont le même nom de branche. Opus 4.6. Qu'est-ce que j'ai fait dans conductor ? OK, c'est pas très grave. Ici, on est bien dans git switch branche mic codex

26:48 53 comme ceci. Ça sera un peu mieux ici pour le nom de la branche. Et on va ouvrir cette page. Et là, j'ai juste vérifié un truc mais là je vais lancer 30011 pour Opus. Alors, je sais pas si les deux vont s'énerver et se battre en duel pour update les fonctions. J'espère qu'ils ont à peu près utilisé le même truc. Ça va être un peu l'enfer avec ce ce convexe, mais on va lancer le port 3101. OK, parfait. Alors, mon ordinateur est en feu avec Codex qui travaille comme Jaja. Juste ici. Il a corrigé l'erreur de convexe qui ne fonctionnait qui ne fonctionnait et qui ne chargeait pas. Mais donc ici, on va pouvoir tester du coup les conversations pour voir si cette histoire de microphone a fonctionné. Alors là, voilà, je pense

27:35 qu'il a terminer son petit travail. Et donc ici, le concept c'est que on a un microphone. Alors là, on peut voir que codex a un peu merdé parce que on a le micros microphone et le chat en même temps qui s'enregistre sans bouton pour arrêter le microphone. Ah voilà. OK, là je suis en train de record. C'est parfait. On arrête le record. OK, là on a une belle UI. OK, là je suis en train de record. C'est parfait. On arrête le record. Ça c'est pas mal. Le lecteur ici, il est vraiment cool. Alors, il fonctionne pas au top. On a le one time, two time, 2.5 time, j'adore. Mais on a 5 secondes et on dirait que tu vois 5 secondes, ça s'arrête ici. Bon, c'est pas grave, on va tester. Alors, ici sur lua, il a il a

28:22 il a pris de la cocaïne parce qu'il y a rien qui fonctionne. Même si ici il a fait le truc juste quand ici j'envoie peut-être qu'il faut que j'envoie un message avec. OK. Transcription is progress. Transcription in progress. Transcription unavailable. OK. la transcription n'a pas fonctionné. Donc ici, je vais lui faire un petit feedback. 1, transcription marche pas. De l'UI est off. Il faut afficher le microphone et activer le microphone uniquement quand on clique sur le bouton micro meilleur UX stp. Ah oui, non, là c'est là c'est infernal. Là c'était là c'est infernal. Est-ce que

29:07 par hasard on aurait notre autre agent qui fonctionne ? Alors voilà, déjà il est pas il est pas super content. Donc là, on peut voir que cet agent-là il avait terminé. Je vais le compacter parce qu'on a terminé le contexte et on a exactement la même erreur qu'il y avait juste avant avec l'autre artiste peintre. Donc je sais pas si les deux vont pouvoir travailler sur la même DB sans que tout explose. Je propose d'essayer de faire fonctionner la convexerie pour voir s'il arrive à donner une bonne expérience. et après on testera la opusserie pour voir un peu ce que ça donne. OK, donc on a un peu résolu le codex codexification. On a maintenant un chat. Allô ! Ici, on a bien le microphone qui fonctionne. C'est très joli. Une fois

29:53 que j'ai terminé, je fais arrêter. J'ai ici le message, franchement, l'U. Et là, quand j'envoie, est-ce que la transcription a fonctionné ? Ça va être le dernier test. Après, on va regarder l'implémentation de Codex ici. Et là, on a l'implémentation qui a full fonctionné. Donc en seulement deux promptes, on a ici exactement ce qu'il faut. On va tout de suite tester avec ici widget démo pour voir si le widget donc tu sais c'est l'interface client ici de l'utilisateur fonctionne aussi. Donc ce qu'on va faire ici, c'est qu'on va lancer le chat. Et là, on peut voir que là ça ne fonctionne pas correctement. sûrement qu'il faut rebuild widget. Hop, on a rebuild de widget et cette fois ça fonctionne bien. On peut aller dans le chat, envoyer un

30:38 petit message test. On a ici le test qui est apparu. Hello mon ami, je suis Melvin et qu'est-ce que tu fais aujourd'hui ? Et là, ça fonctionne bien. Le widget a aussi avec le multiplication le le le truc pour play ici est toujours pas très bon, mais on a bien tout qu'à fonctionner. Donc franchement, un énorme travail de la part de Codex et une fature extrêmement compliquée. Il a travaillé la première version pendant plus de 30 minutes l'amicodex. Et ici, on a quand même du coup en tout shot application qui fonctionne. Euh tout est bon. Et qu'est-ce qu'on a d'autre ici dans ce qui a été fait juste ici ? Touch shot application qui fonctionne, tout est bon et plutôt bonne interface pour

31:25 la complexité du prompt et de la demande. Donc on va couper le serveur ici de la codex codexification et on va tenter de venir lancer la même chose ici sur euh sur l'autre artiste. Donc ici port 31111. Et là du coup de ce que j'avais vu, les fonctions upload sur Codex ici pour la première fois fail. Donc on va faire la même chose fix et on va revenir pour la version de Opus. OK. Donc on a ici l'artiste peintre Opus qui a terminé son travail travaillos. Ici il nous dit "J'ai terminé le travail." Donc on a une première version avec pour une complexe pour une fature très complexe ici qui a quand même pas mal

32:11 été bien exécuté de la part de Codex. Ici du coup on a la fature de la part de Opus. Cette fois on est bien en train de tester Opus et on a du coup le microphone. Hello mon ami, je suis le microphone 1. Merde. OK. Hello mon ami, je suis le microphone et j'adore manger des pâtes. Alors ouais là l'intégration est beaucoup moins bonne. Il manque déjà le sélecteur de micro donc on va quand même lui faire un tout shot. 1. Il manque le sélecteur de micro de mon prompt original. de il manque la preview du micro quand je fais le microone blab blabla.

32:59 Et maintenant si j'envoie mon ami donc ici la preview aussi 3 quand je finis d'enregistrer c'est moche et quand je submit ici on va voir si du coup ça ça fonctionne. Si ça fonctionne ce serait assez formidable parce que j'ai jamais réussi à faire one shot ça. Donc là on a ça et ça et ça fonctionne. Alors ça c'est assez fou. Codex a pas réussi à one shot ça ici. L'interface c'est pas top non plus. Euh 4. L'interface dans le chat aussi est peu visible mais qu'il a one shot le transcript, c'est assez formidable. Après, il a quand même ajouté une erreur ici de bouton. Error bouton. Donc ça c'est pas super super top. Et si ici on va sur le widget quand même pour

33:46 voir un peu ce que ça donne, on va faire widget. On va ici aller sur sub fast code lynx. Donc on a toujours le même problème avec le build qui a pas été fait. PNPM build widget. Et ici si je refresh et que on chat un petit peu bam test. On a la conversation ici qui est apparue. Hello mon ami. Ah il y a le sélecteur de micro en fait je me suis trompé. Il y avait le sélecteur de micro. Hello mon ami comment tu vas aujourd'hui ? J'adore manger des pâtes. Il y a juste pas le Il y a juste pas la deuxième partie. Mais là, on peut voir que ça envoie bien le message et ça ajoute bien le transcript. Mais là, côté widget, il a pas fait le

34:33 truc. Donc 5 widgets pas implémentés, vidéo player et cetera. OK, donc exactement comme Codex, je vais lui laisser exactement que deux promptes. Donc on va lui envoyer un deuxième prompt avec des conseils, des amélioration, on va le laisser corriger et une fois qu'il a terminé de corriger, on va comparer les deux résultats. OK, j'ai l'impression qu'il a terminé ici. Il est en train de passer les tests. Donc on a déjà le widget qui s'est corrigé. Maintenant, ça fonctionne bien. Le player ici fonctionne nickel. Donc ça c'est pas mal. Le player est vraiment top. Ici, est-ce qu'il a corrigé le player et tout ça ? Donc on va taper un petit refresh pour voir si ça s'update parce que l'UI ici était vraiment pas bonne. Il a fait une sacrée UI pour le widget. C'est

35:18 dommage qu'il arrive pas à faire la même qualité du ici pour la la conversation. Toujours très moche hein. Même si ça fonctionne juste les couleurs sont off. Et là quand je le play, il a pas changé grand-chose. OK, on a on a la petite ici. J'ai l'impression que ça fait rien, donc c'est un peu fake. OK, il a il a fait ça. Il a il a corrigé son bug principal qui était le widget. Le reste, il a pas vraiment fait. Donc voici un petit peu mon avis. Ici, je pense que je peux donner une piècette à convexe en sachant qu'il a aussi fait le planning et cetera. Mais ici en implémentation, il a quand même fait une un peu plus jolie. Donc sur ça, on a quand même tout shots application qui fonctionne. Tout est bon

36:04 mais UI moins. Donc là non, ça c'est des plus ça c'est des plus mais moins l'UI est moins bonne l'expérience utilisateur est quand même moins bonne. Ici en tout shots. Il a fait vraiment très bonne interface. Il m'a même rajouté le 2X speed de audio qui est vraiment top. Et donc ici, on a quelque chose de bien et les deux avaient pris 30 minutes. Lui, il m'avait pris des plombs opus à faire le plan de toute sa vie entière pour me planifier l'univers entier. Donc ici, voici un petit peu pour ces deux différences. Donc là, je pense que on peut donner une pièce à Codex qui a fait un un très bon travail en général qui a mieux implémenté cette fonctionnalité. Tu vois que même là quand il me corrige,

36:50 c'est toujours très moche. Si je te compare ça à l'interface de chat de production que du coup j'avais un peu plus travaillé euh juste ici et que je te le fous. Donc j'arrive évidemment pas à le mettre. OK. Et que je te fous là, tu peux voir que c'est quand même plus plus joli. Alors c'est pas parfait mais c'est un peu plus joli. Alors que ici franchement je suis pas très fan de l'UI qui m'a fait. Et l'UI de microphone aussi de production. ressemble à ça. Quand on clique, ça play directement. Alors là, le bouton est un peu trop grand mais ça play directement. Il y a l'interface ici, il y a le machin et quand on arrête, on a l'audio qui apparaît ici. Alors là, je vais clairement voler le code de de GPT concernant l'audio. Il a fait un super player ici que Opus avait pas

37:36 réussi à faire. Mais voilà, un petit peu pour ce test. Je pense qu'on en a assez. Le dashboard. Le dashboard, c'était le dernier petit test que j'avais pensé à faire. Mais pour être honnête, je trouve même pas le terminal dans lequel j'ai fait ce test et je pense que ça va être trop difficile à tester. Ciao avec ce convex, c'est vraiment pas facile à tester. Donc voici un petit peu pour cette review globale des modèles. Donc juste sur les modèles, à voir à quel point c'est mieux que Opus 4.5. Je pense pas que la différence soit formidable, incroyable, de quoi s'exciter et être un fou furieux. Mais euh mais voici un petit peu. On a trois petites piècettes qui ont été données à Opus, une à Codex, donc sur du one shot, sur des grosses fatures, sur un truc

38:22 bien compliqué. Il a réussi à faire un sacré bon truc. Donc voilà, à vous de faire euh votre avis. Personnellement, si je dois donner mon avis, bon, vous le connaissez donc ça ça sert à rien. Ça sert à rien, on est d'accord. Euh ce que j'aime vraiment pas, c'est l'UX de ce Codex. Alors maintenant, ils ont l'application, j'ai fait la vidéo dessus, mais l'Ux de ce Condex, elle me rend dingue. Elle est horrible. Elle est infamme, j'ai envie de me tuer. Tu comprends rien au terminal. Ici, tout est moche. Tu as pas envie de lire le terminal. Donc ça c'est pas super super top. Dites-moi ce que vous en pensez. Dites-moi si vous avez aimé les tests un peu plus originals. J'ai écouté vos feedback. C'est vous qui m'avez dit que vous voulez des tests plus de branlette maxing. Donc j'ai fait quand même un vrai test de dev et trois tests de branlette maxing. Enfin le premier c'était quand même une c devot.

39:10 Voilà, à bientôt.