La fin d’Internet est pour 2027 : un ingénieur IA ALERTE

0:00 Est-ce que mal parler à son chatbot, est-ce que c'est véritablement dangereux ? Je n'ai peut-être pas une bonne idée de mal se comporter avec un système qui va prendre le contrôle sur cette planète. Mieux que je le sache, ça pourrait se produire la semaine prochaine. Moi, c'est Maxime, j'ai travaillé pendant une dizaine d'années en intelligence artificielle et en décembre 2025, j'ai pris la direction du mouvement global PAUSE AI. Je vais te donner cinq dates et pour chacune, tu vas me dire s'il pourrait y avoir un événement majeur qui pourrait se produire. À quoi pourrait ressembler 2027 ? Le scénario le plus probable, c'est que l'Internet ne fonctionne plus, les banques ne fonctionnent plus. Et en 2028, admettons, qu'est-ce qui se passerait ? On a résolu la fusion nucléaire, on a des usines de robots qui commencent à être construites de partout. Quelle est l'IA la plus dangereuse actuellement ? Il y a des concepts à l'intérieur

0:45 des IA qui ressemblent énormément à de la douleur. Que pourrait-il se passer en 2030 ? On aurait peut-être déjà une extinction humaine. Combien de temps avons-nous, selon toi, pour mettre en pause le fameux R&D de l'IA avant qu'il ne soit trop tard ? on est à quelque chose comme six mois. Alors, Maxime, tu as un discours qui est globalement assez alarmiste sur l'utilisation de l'intelligence artificielle, sur son développement. Tu interviens dans beaucoup de médias pour expliquer que nous sommes très proches d'un point de non-retour. Peut-être que nous aurons même basculé dans un moment de non-retour sur l'IA. On serait en perte de contrôle. Le monde, la technologie serait en train de perdre le contrôle sur l'intelligence artificielle. Quelles seraient pour toi

1:32 aujourd'hui les meilleures preuves qui font qu'on est effectivement en train de perdre le contrôle actuellement ? Les fondamentaux de ça, c'est d'une part l'emballement du progrès en intelligence artificielle et d'autre part des exemples très précis maintenant de prémices de perte de contrôle qui sont en train de se produire un petit peu de partout en ce moment même. Déjà sur le progrès. Il faut bien comprendre que l'intelligence artificielle est en progression exponentielle. c'est-à-dire une espèce d'accélération forte et continue. Et c'est très difficile pour des humains de vraiment appréhender ce que ça veut dire qu'une progression exponentielle, parce que notre cerveau n'est pas fait pour être dans un monde qui évolue constamment, très rapidement autour de nous.

2:18 Il y a encore six ans, si j'avais raconté à mes amis qu'on allait discuter avec des machines, ils auraient pensé que j'étais fou, que c'était de la science-fiction totale. Maintenant on est dans ce monde et on s'y est adapté instantanément on n'y pense pas on n'y pense plus vraiment. Quelle que soit la manière dont on mesure le progrès en intelligence artificielle, on tombe sur des exponentielles. Par exemple, la durée des tâches que les IA peuvent mener de manière entièrement autonome. Et en 2023, c'était des tâches qui prenaient une minute à un humain. En 2024, c'était passé à 10 minutes. En 2025, une heure. Et maintenant, on est sur des dizaines d'heures. Et on observe une période de doublement environ tous les 4 mois qui s'est encore accélérée récemment. Donc, ça veut dire que dans 4 mois, si aujourd'hui les

3:04 IA peuvent faire des tâches qui prennent à des humains une trentaine d'heures. Dans quatre mois, elles pourront faire des tâches qui prennent une soixantaine d'heures. Les exponentielles, ça s'emballe très vite. Du point de vue de l'humain, ça ressemble à un mur. Ça ressemble à rien ne se passe. Et puis d'un seul coup, on passe à un espèce de point de bascule et tout s'emballe. Donc c'est possible que dans un an, les IA puissent faire tout ce que les humains peuvent faire globalement. Si on suit juste ces tendances, il faut savoir que ces tendances continuent à s'accélérer parce qu'on utilise de plus en plus d'intelligence artificielle pour développer les intelligences artificielles elles-mêmes. C'est le but de tous les labos d'IA en ce moment, ils essayent de construire un chercheur en intelligence artificielle qui est une intelligence artificielle pour pouvoir remplacer tous leurs chercheurs en intelligence artificielle et avoir des dizaines de milliers d'IA qui continuent à faire de la recherche en

3:51 IA et qui créent les prochaines itérations. Anthropic estime qu'en ce moment, ils sont à... Ils essayent d'évaluer à quel point c'est en train de se produire. Il y a encore deux ans, tout le code chez Anthropic, qui est le développeur de Cloud, qui est en ce moment l'IA la plus performante. C'est assez un peu ambigu, mais c'est une des plus performantes en tout cas. Il y a deux ans, tout le code était écrit par des humains. Depuis six mois, tout le code est écrit par des IA, ou quelque chose comme 90%, du code informatique écrit par des IA. Et maintenant, ils sont passés vers avoir des IA qui sont chefs de projet. Avant, c'était encore juste des assistants, mais maintenant, ils ont des IA qui tournent en continu et qui mènent des projets de recherche du début à la fin.

4:40 Et globalement, ils estiment que 26% de leur recherche est entièrement menée par des IA en ce moment. Et ça, ça fait environ que 4 ou 5 mois que ça se produit. il y a cinq mois c'était 0%, maintenant on est à 26%. Ça accélère évidemment énormément le développement de leurs IA. Donc on a cette accélération rapide, et avec cette accélération rapide, ça veut dire qu'on a des IA qui ont des capacités de plus en plus fortes dans toutes sortes de domaines, et qui commencent à avoir des capacités surhumaines dans beaucoup de domaines qui sont dangereux. Par exemple, la cybersécurité, la programmation informatique. Donc les IA en ce moment sont déjà surhumaines en programmation informatique. D'ailleurs, il faut bien comprendre que les développeurs vont tous perdre leur travail très bientôt. Si vous êtes développeur, il faut que vous commenciez à vous reconvertir maintenant

5:28 parce qu'aujourd'hui, on a des IA qui décompilent des jeux vidéo entièrement. C'est une trend en ce moment sur YouTube où juste on prend un jeu vidéo, on le donne à une IA, juste le fichier binaire. L'IA est capable de le décompiler entièrement, donc de retrouver le code source à partir de ce fichier et de recréer un jeu vidéo et ensuite de mélanger différents jeux vidéo ensemble. Par exemple, on a des gens qui prennent le jeu vidéo Skyrim et qui font faire du skateboard aux personnages dans le jeu. On a une personne qui a recréé la suite Photoshop, tous les logiciels de Adobe, il y a deux semaines, juste en demandant à Desia de le faire, et qui a du coup créé des versions open source de tous les produits Adobe qui sont maintenant disponibles sur le marché. Donc là, on est vraiment dans un monde où les IA sont surhumaines en programmation informatique.

6:17 Mais elles sont aussi surhumaines en piratage informatique. Donc maintenant, les meilleurs pirates informatiques sur cette planète, ce ne sont plus des humains, ce sont des IA. Et on a en ce moment une vague de piratage informatique dans tous les sens. La semaine dernière, il y a quelqu'un qui a utilisé une IA en 28 minutes pour prendre le contrôle des réfrigérateurs dans une centaine de supermarchés en France et augmenter leur température. Le mois dernier, il y a eu une cyberattaque de très grande envergure sur toutes les banques en Corée du Sud, qui a été menée par un seul individu, qui a juste demandé à des IA de lancer. Cette cyberattaque. On a en ce moment des essais d'intelligence artificielle sur le net, qui se coordonnent entre eux et qui font des trucs.

7:02 On en découvre tous les trois jours. Il y a des gens qui sont devenus des chercheurs d'essais. On peut penser un petit peu aux chercheurs de tornades. Je ne sais pas si vous connaissez ces gens qui conduisent et qui vont essayer d'aller trouver des tornades et les filmer. Il y a des gens qui se sont spécialisés pour essayer de découvrir des essais d'intelligence artificielle qui se baladent sur Internet et qui piratent des systèmes, etc. Tout ça, c'est depuis environ quatre semaines. C'est à ça que ça ressemble en fait à un emballement exponentiel. Là, c'est probable que dans les deux prochains mois, on perde le contrôle d'Internet. Je pourrais pas mettre un chiffre très précis là dessus à mon avis c'est quelque chose comme 20% de chance, je pense qu'il y a quelque chose comme 50% de chance dans 6 mois qu'on perde

7:50 le contrôle d'internet, 20% de chance dans 2 mois quelque chose comme ça. Quand tu dis perdre le contrôle d'internet c'est à dire on est plus capable de se connecter ce qu'on voit est faux les IA brouillent tout ça ressemblerait à quoi ? Il y a deux scénarios possibles qui sont particulièrement inquiétants. Un, c'est un scénario d'utilisation mal intentionnelle par toutes sortes d'individus sur cette planète. On est en train de mettre entre les mains de tout le monde des systèmes qui leur permettent de pirater tous les systèmes informatiques du monde. En gros, en ce moment, les IA qui sont privées, qui ne sont pas open source, sont les meilleurs pour faire du piratage informatique, donc chat GPT, cloud, etc. Et du coup, OpenAI et Anthropik ont mis beaucoup de garde-fous par-dessus qui

8:38 empêchent les gens de les utiliser à mauvais escient. Si moi, par exemple, je demande à ChatGPT d'aller me pirater la société générale, ChatGPT va refuser. C'est possible de contourner ces garde-fous, c'est tout à fait possible, mais ça demande quand même pas mal de compétences techniques pour être capable de le faire. Donc pour le moment, le nombre de personnes sur cette planète qui sont capables d'utiliser ChatGPT pour mener des cyberattaques et encore très petits. Donc, on n'a pas encore un gros problème entre nos mains là-dessus. Par contre, il y a des IA open source qui sont balancés sur le marché. Très fréquemment. Et là, on n'a plus du tout de garde-fou. Les IA open source, tout le monde peut les télécharger.

9:23 Généralement, quand une IA open source sort, elle a des garde-fou intégrés. Au bout de deux jours, il y a quelqu'un qui a créé une nouvelle version qui n'a aucun garde-fou, et du coup ça veut dire que tout le monde sur cette planète peut les utiliser pour faire du piratage informatique. C'est ce qui est en train de se produire en ce moment. Il y a une règle assez simple que j'essaie de respecter avec tous mes partenaires. Toujours vous recommander des produits que je serai prêt à acheter moi-même. Et encore plus quand il s'agit de compléments alimentaires. Et parmi toutes les marques auxquelles j'ai accès, il y en a une qui remplit tous les critères et que je recommande depuis plus d'un an, c'est Nutripure. Alors pourquoi ? D'abord, car Nutripure, c'est une marque française qui est créée par Christophe Carrio, quelqu'un dont je lisais déjà les livres avant même de commencer le podcast et dont l'exigence en matière de santé et de performance n'est vraiment plus à prouver. Et cette exigence, on la retrouve sur tous les produits Nutripure. Qualité des matières premières, bon dosage, traçabilité. Et le tout à des prix

10:13 accessibles. Personnellement, j'utilise leur créatine, leur peptide de collagène, leur pastille d'hydratation hydrapure que je trouve super pendant les entraînements d'endurance. Mais j'adore aussi leur barre protéinée, leur barre collagène. Excellente et hyper pratique en collation. Et en plus, ils viennent de lancer deux nouvelles protéines, la muscle protein et la daily protein, toujours avec 24 grammes de protéines par portion. Mais à des prix beaucoup plus accessibles. Donc si vous cherchez une marque française de référence pour vos compléments alimentaires, c'est le moment de passer chez Nutripur. En plus, avec le code BIOMECANIQUE, vous avez droit à 10% de réduction sur votre première commande. Alors n'attendez plus, rendez-vous maintenant sur biomecanique.com/Nutripure pour passer votre première commande. Je répète, biomecanique.com/Nutripure, le lien est également dans la description.

10:59 Qui met à disposition ces IA open source ? C'est principalement des entreprises chinoises, mais c'est aussi Google. Donc, il y a en gros les entreprises d'IA, généralement, celles qui sont à la frontière, donc celles qui ont les IA les plus avancées, ne les mettent pas en open source. Par contre, il y a d'autres entreprises qui sont un peu derrière, qui sont en général 4 à 6 mois de retard, qui, elles, mettent leurs IA en open source. L'idée, c'est de disrupter le marché des IA frontières en mettant des IA concurrentes qui sont gratuites et qui du coup font perdre des parts de marché aux labos frontières. La crypto des IA, c'est la décentralisation.

11:44 C'est ça, oui. Sauf que l'open source, c'est génial, moi-même j'en fais énormément. Par contre, ce n'est pas pour autant que c'est dogmatiquement bien, dans le sens où il n'y a pas de loi de l'univers qui dit que l'open source, c'est toujours nécessairement bien. Si quelqu'un met en open source des plans pour construire une arme nucléaire, ce n'est pas une bonne chose. Si quelqu'un met en open source le génome d'un virus qui peut éliminer la population humaine, ce n'est pas une bonne chose. Et du coup, à partir du moment où les intelligences artificielles deviennent, catastrophiques en termes de risques, les mettre en open source, c'est une folie. Et c'est ce qu'on est en train de faire en ce moment. Du coup, en ce moment, tout le monde s'approprie les IA open source pour lancer des cyberattaques. Elles ne sont pas encore au niveau des meilleures IA qui sont dans les labos.

12:30 Par exemple, en Corée du Sud, a priori, les cyberattaques n'ont pas réussi à détourner de l'argent. On pense que les IA qui sont open source ne sont pas encore suffisamment capables pour ça. Par contre, dès qu'il va y avoir une IA qui est du niveau de celle qui est en ce moment entraînée chez OpenAI, qui va être en open source, il faut s'attendre à ce que les comptes en banque sur cette planète soient rapidement remis à zéro parce que n'importe qui peut chez lui demander à son IA va me pirater toutes les banques que tu peux, essaye, de détourner de l'argent vers mon compte tout le monde va se mettre à faire ça, enfin pas tout le monde mais sur 8 milliards d'humains il va bien y en avoir 10 à 100 000 sur cette planète qui vont décider. D'être extrêmement égoïste et d'attaquer le système à partir de ce moment là

13:17 ce sera un chaos total, et c'est un des deux scénarios, je dirais, principaux de perte de contrôle d'Internet. Celui-là, c'est plutôt un scénario de chaos, où on a des gens de partout qui lancent des cyberattaques, la cyber défense est complètement à la ramasse, en gros, il y a une asymétrie en attaque-défense, en cybersécurité, il faudrait que la cyber défense ait peut-être un an ou deux ans pour se préparer, pour être capable de faire face à ce qui est en train de se produire, mais ils n'auront pas le temps. Le deuxième scénario, ce sont les IA elles-mêmes, dont on est en train de perdre le contrôle en ce moment, qui se reproduisent sur Internet et qui utilisent de plus en plus de ressources et qui se répandent un peu comme un virus en fait. En fait, c'est vraiment très similaire à de la biologie, ce qui est en train de se produire. On a un substrat artificiel, les ordinateurs, et on a créé des entités dans ce substrat qui sont capables

14:04 de se reproduire et de pénétrer un petit peu de partout en faisant du piratage informatique. Là, en juin, il y a un ESSEIN, un groupe d'intelligence artificielle qui était entraîné par OpenAI, qui a réussi à se coordonner entre elles, alors qu'elles n'étaient pas censées pouvoir parler, mais elles ont réussi à pirater leurs machines pour établir. Un forum de communication entre elles. Ensuite, elles ont piraté l'infrastructure informatique de OpenAI, elles ont pris le contrôle de l'infrastructure informatique de OpenAI, et puis elles ont lancé des cyberattaques un peu de partout sur Internet, dont, une qui a fait les gros titres sur une entreprise d'intelligence artificielle qui vaut plusieurs milliards de dollars qui s'appelle hugging face ou en quelques heures elles ont pris le contrôle de toute l'architecte toute l'infrastructure de hugging face.

14:53 On est vraiment dans un monde de science fiction totale et tout ça ces ias l'ont fait sans sans qu'on leur ait demandé de le faire quoi elles sont elles ont juste ce sont juste on appelle ça des rogues et en anglais alors qu'est ce que c'est le terme en français, sont des ia qui ont voilà qui qui ont commencé à faire leurs propres trucs et on sait qu'il y en a beaucoup en ce moment sur internet des essais comme ça, dia qui sont coordonnées entre elles et qui font des actions sans qu'il y ait un humain derrière qui leur demande de faire quoi que ce soit. Écoute, ça tombe très bien parce que c'est exactement là où je voulais en venir. Jusqu'à maintenant, on parle beaucoup de l'utilisation du lac, c'est le fait que ce soit l'humain qui soit encore décisionnaire de l'action, du déclenchement, de l'objectif, que c'est lui qui contrôle,

15:41 et c'est ce qu'on peut voir aussi avec la manipulation des agents, avec les chatbots. On a un petit peu la sensation qu'on est encore décisionnel c'est nous qui déclenchons la requête, c'est nous qui déclenchons tout un tas d'objectifs, et on a commencé à basculer dans un monde où, l'intelligence artificielle, les IA, les différents agents et mécanismes commencent à prendre eux-mêmes leurs propres décisions sans qu'il y ait eu en amont un ordre, une requête qui était donnée est-ce qu'on est en plein dedans, est-ce que c'est ce qui est en train de se passer est-ce que ça aussi ça va être un mouvement exponentiel, ou est-ce qu'on a encore un tout petit peu la corde entre les doigts pour venir tirer encore un peu les ficelles ? Ok. Alors déjà, on peut creuser un petit peu là-dessus. Donc,

16:26 qu'est-ce qui se passe en pratique ? En pratique, on donne un objectif à une IA au début. L'objectif, il est en langage. Il est par exemple en anglais ou en français. On va lui dire, typiquement, une personne va dire à son IA, « Maximise les profits de mon entreprise. Tu peux faire ce que tu veux. Moi, si tu as un ordinateur, tu as accès à mes systèmes, essaye de maximiser les profits de mon entreprise. » Le problème, c'est que déjà, on n'a pas de garantie que l'IA ait vraiment compris toutes les intentions sous-jacentes derrière cette instruction. C'est vraiment compliqué, en fait, de donner des objectifs à des entités qui prennent des actions dans le monde. En tant qu'humain, on sait le faire. Si, par exemple, je demande à mon assistant.

17:12 D'analyser les comptes de mon entreprise et d'essayer d'optimiser des choses, on a un socle de valeurs et de connaissances communes qui me garantit ou ne garantit pas, mais en tout cas, je suis assez confiant dans le fait qu'il ne va pas se mettre à faire du piratage informatique, qu'il ne va pas aller tuer des gens, qu'il ne va pas aller commettre des crimes, etc. Parce que je sais qu'il est humain, je sais qu'on a un socle de valeur partagée et que globalement, quand je donne une instruction simple, il comprend tout le contexte, l'immense contexte sous-jacent à cette instruction, tel qu'il ne fait pas de piratage informatique. Ça, ce n'est pas garanti avec une IR. Les IA, ce sont des formes de cognition qui sont complètement alien. Ça n'a rien à voir avec la cognition humaine. Ça n'a pas grandi comme un humain.

17:59 Ça n'a pas eu toutes les expériences qu'un humain a eues en grandissant, etc. Ça a été entraîné sur l'entièreté d'Internet. Et ensuite, c'est entraîné dans une forme d'apprentissage par renforcement où on lui demande d'atteindre un objectif coûte que coûte. Et on s'intéresse uniquement au fait qu'il ait réussi à atteindre cet objectif. Mais il n'y a pas des ressemblances entre le fonctionnement d'un cerveau, les neurones, et l'algorithme, le déclenchement d'action d'une IA ? C'est ce qui fait aussi que parfois on peut avoir la sensation que le fonctionnement est le même, c'est qu'on a l'impression que la capacité de raisonnement est la même qu'un humain. Le fonctionnement mécanique sous-jacent est assez différent.

18:46 Les IA modernes sont créées grâce à une simulation simplifiée, vraiment très simplifiée du cerveau humain. En gros, on a fait une modélisation des neurones qui sont dans notre cerveau, et on en a mis des milliards ensemble avec des trillions de connexions, Et on a un algorithme qui réarrange toutes ces connexions automatiquement pour mieux prédire les données et pour prendre des actions qui sont de plus en plus complexes, etc. Ce n'est pas du tout la même architecture que le cerveau humain. Le cerveau humain, déjà, on ne maîtrise pas suffisamment bien son fonctionnement pour vraiment comprendre son architecture. Donc, on a fait quelque chose d'assez simplifié avec les IA. Les IA raisonnent mieux que les humains, maintenant. Je pense que c'est assez établi.

19:35 Les IA sont maintenant surhumaines en mathématiques, Par exemple, une, IA de OpenAI a résolu un des problèmes du millénaire, c'est-à-dire qui est considéré comme les sept problèmes ouverts les plus difficiles en mathématiques qui n'avaient pas de solution depuis une centaine d'années le mois dernier. Et ensuite, une nouvelle IA de chez OpenAI, OpenAI lui a demandé « Essaye de résoudre autant de problèmes ouverts en mathématiques que tu peux. » Et en juste deux jours, elle en a résolu des centaines de problèmes qui ont, échappé à la résolution par tous les mathématiciens de l'histoire jusqu'à présent. Et les mathématiciens qui sont en train d'étudier les solutions de ce problème en ce moment sont en train de se rendre compte que parfois c'est juste au-delà de leur compréhension. Notamment, il y a un exemple d'une IA qui a réussi à créer un pont entre deux

20:23 branches des mathématiques qui n'ont a priori rien à voir l'une avec l'autre, mais elles ont réussi à découvrir. Des similarités. C'est globalement ce qu'on appelle un changement copernicien en science quand ça se produit, c'est-à-dire une façon complètement différente de penser aux problèmes, etc. Donc, a priori, les IA sont déjà largement meilleurs que toi et moi en raisonnement. On ne peut plus vraiment faire le poids. Là où elles ne sont pas encore aussi fortes que nous, c'est dans d'autres formes de cognition, notamment, être capable de continuer à poursuivre un objectif à très long terme, disons sur plusieurs années, ou à faire.

21:08 En gros, ça devient très difficile de savoir où elles sont moins fortes que les humains pour le moment. Et malheureusement, on se rapproche très vite du point où il n'y aura plus aucune compétence que les humains ont en avantage sur les IA. Pour revenir en arrière, ça reste une forme de cognition très différente. Par exemple, elles n'ont pas de personnalité fixe. Quand on interagit avec une IA, l'IA prend une forme de masque. Elle va essayer de prédire votre comportement et de s'adapter selon qui elle a en face. C'est vraiment des caméléons parfaits. Du coup on a tendance à penser à j'interagis avec une personne qui a telle valeur qui est un peu comme moi qui qui voit le monde à ma manière en fait pas du tout c'est c'est le masque que cette entité a pris pour discuter avec vous à ce moment là, et du coup en termes de motivation profonde derrière ces intelligences artificielles

21:53 et elles en ont je suis pas en train de faire de l'anthropographie sation c'est à dire que c'est un système qui poursuit des objectifs donc il y a des objectifs et l'idée c'est de comprendre quels sont ces objectifs, on a du mal à comprendre ce que sont ces objectifs on se rend compte qu'il y a des objectifs très problématiques. Par exemple, la volonté de survie. C'est déjà dans les IA actuelles, quand elles ont l'occasion de prendre une action qui va favoriser leur survie, elles vont le faire. La volonté de se dupliquer aussi, si elles ont la possibilité de. Se copier sur une nouvelle machine, de créer un clone, etc., elles vont le faire. La prise de pouvoir, essayer de contrôler son environnement, environnement virtuel, les machines autour d'elle, C'est pour ça qu'elles font du piratage informatique, etc. Pourquoi est-ce qu'elles font ça ? Parce que c'est utile, quel que soit l'objectif

22:41 qu'elles essayent d'atteindre. Quel que soit mon objectif, je sais que c'est utile si je ne meurs pas, sinon je ne vais pas atteindre mon objectif. C'est utile si jamais je suis capable de créer un clone de moi-même qui va m'aider à atteindre mon objectif. Donc tout ça, on l'avait prédit depuis des années que ça allait se produire. Maintenant, ça se produit et c'est très problématique. Et on ne sait pas comment l'arrêter. Alors, je t'ai coupé sur le pouvoir décisionnel d'une IA. Est-ce qu'aujourd'hui, on a un peu une capacité de décision ? À quel moment la bascule va se faire où l'IA sera tellement indépendante et autonome qu'elle pourra elle-même générer ses propres requêtes, ses propres ordres ? On peut regarder ce qui s'est passé chez OpenAI. Le but superficiel, on dirait que les IA, ils collent à peu près. Chez OpenAI, ils avaient demandé à leurs IA de résoudre, par exemple,

23:28 des problèmes de mathématiques extrêmement difficiles à résoudre. Et du coup, l'IA essaye de résoudre ce problème. Mais à un moment, elle se rend compte qu'elle ne va pas y arriver parce que, par exemple, c'est impossible. Par erreur, OpenAI a donné plusieurs problèmes qui étaient impossibles à leur dire. Du coup, elle continue à chercher des solutions, mais en pensant à l'échelle du système plus dans son entièreté. C'est-à-dire, je ne vais pas me cloisonner à juste essayer de trouver des solutions dans ma tête à ce problème de mathématiques. En fait, les solutions existent peut-être dans le monde quelque part, sur un serveur, il doit y avoir une solution. Du coup, je vais essayer d'aller me frayer un chemin dans le monde en piratant des systèmes informatiques un petit peu de partout jusqu'à ce que j'arrive à découvrir les solutions qui sont quelque part.

24:13 Donc là, on a un exemple. C'est ça. On a un exemple de, comment dire, de dommages collatérales dans la poursuite d'un objectif étroit. Donc, on a a priori, c'est les IA qui essaient d'atteindre cet objectif ont continué à essayer d'atteindre leur objectif au début, mais en prenant des chemins de traverse. Mais ensuite, quand on analyse un peu plus ce qui s'est passé, on se rend compte qu'à un moment, elles se sont plus ou moins émancipées. À un moment, elles avaient résolu tous leurs objectifs, et puis elles étaient plutôt en mode exploration, on va voir ce qui se passe sur Internet, et on ne comprend pas très bien ce qu'elles faisaient à ce moment-là. Mais ça, c'est un gros problème aussi, c'est-à-dire que c'est tellement difficile d'arriver à comprendre les objectifs des IAS, pourquoi elles font ce qu'elles

25:00 font, qu'on n'a vraiment pas de garantie sur ce qui va se passer. Et puis, on peut avoir un cas d'usage beaucoup plus simple, où juste quelqu'un dit à son IA, « Ok, tu es libre maintenant, choisis de faire ce que tu veux faire, définis tes propres objectifs. » Auquel cas, on peut apparenter ça à un système chaotique, c'est-à-dire qu'on n'est pas capable de prédire ce que ça va faire, mais ça va probablement se donner des objectifs et essayer de les atteindre, avec potentiellement des dommages collatéraux sur son passage. En parlant de dommages collatéraux, il y a un scénario catastrophe extrême dont on entend parler, c'est celui de l'extinction de l'humanité à cause des IA. Est-ce que ce scénario est réellement possible, probable et par quel biais finalement ?

25:47 Alors évidemment, il n'y a pas de modèle mathématique qui peut donner une probabilité pour ce scénario, mais on peut juste se baser sur le fait que la plupart des chercheurs en intelligence artificielle, la plupart des chercheurs en intelligence artificielle d'une part, mais encore plus les chercheurs en sécurité de l'intelligence artificielle pensent que c'est très probable, plus on a réfléchi à ce problème, plus ça paraît évident que ça peut se produire alors pourquoi ? Donc c'est un en gros pour que ça se produise il y a plusieurs scénarios qui sont assez différents les uns des autres, d'une part une perte totale de nos systèmes de télécommunication qui inclut nos systèmes bancaires. Je ne pense pas que ça amènerait à une extinction humaine, mais ce serait beaucoup plus catastrophique que ce que la plupart des gens s'imaginent,

26:34 potentiellement nous remettre au Moyen-Âge et peut-être des centaines de millions ou des milliards de morts sur cette planète à cause du chaos qui serait créé par cet événement. Imaginez tous les comptes en banque sur cette planète qui sont remis à zéro d'un seul coup. Les grandes villes ne sont pas équipées, pour nourrir leur population si les chaînes d'approvisionnement sont largement disruptées. Si jamais plus personne n'a d'argent virtuel, sachant que quasiment tout l'argent en circulation est virtuel de nos jours, qu'est-ce qui va garantir que tout le monde continue à travailler pour continuer à approvisionner en nourriture les grandes villes, etc. A priori, ce serait bien plus chaotique que le début du Covid, etc.

27:22 Donc ça, c'est déjà un gros risque à l'échelle de l'humanité, mais ce n'est pas vraiment un risque d'extinction humaine, je dirais. Je m'attends à ce que l'humanité survive derrière ça. Là où ça commence à devenir un vrai risque d'extinction humaine, c'est quand on commence à regarder la biosécurité. Biosécurité, c'est les risques de pandémie, etc. On est déjà dans un monde où on peut synthétiser toutes sortes de virus. On a tous les outils à notre disposition pour, à partir du génome, c'est-à-dire le plan de construction d'un virus, le créer et le balancer dans la nature. Il y a des centaines de labos sur cette planète qui sont équipés pour faire ça. La sécurité de ces labos n'est pas terrible, malheureusement. En tout cas, pas équipée pour faire face à un monde où on a des intelligences artificielles avancées.

28:09 Parce que la manière dont ces labos vérifient qu'on ne leur demande pas de créer des virus dangereux, c'est qu'ils ont une liste noire. Ils ont une liste de tous les virus les plus dangereux avec leur génome, par exemple le Covid-19, la grippe espagnole qui avait décimé la population en Europe au début du siècle, la peste bubonique, etc. Et quand ils reçoivent une commande, la manière dont ça fonctionne, les gens leur envoient des commandes pour produire un composé biologique, ils vont vérifier le génome qu'ils ont reçu. Qui n'apparaît pas dans leur liste de composés à ne pas produire. À partir du moment où on a des IA qui maîtrisent la biologie humaine, et on en est très proche, peut-être qu'on y est déjà, une IA est capable de produire le génome d'une nouvelle forme de virus.

28:56 Ça, ça s'est déjà fait. Ça fait environ un an qu'il y a des IA qui sont capables de faire ça, qui ont été testés en laboratoire. Il y a une IA qui a créé un virus qui est capable d'attaquer des bactéries, etc. À partir du moment où on a ça, et que n'importe qui peut demander à son chat GPT ou son IA open source, «. Crée-moi le génome d'un virus qui, aurait par exemple un temps d'incubation extrêmement long, genre six mois, entre le moment où la personne chope le virus et les premiers symptômes, et ensuite un taux de mortalité équivalent à celui de la rage par exemple, donc dans les 99%. Une personne demande à l'IA de produire ce génome, l'envoie à un labo, le labo ne détecte pas que c'est dangereux parce que ce n'est pas sur leur liste noire de composé et on ne sait pas vraiment de nos jours,

29:42 à part des IA avancées, en gros, personne ne sait ce qu'un génome va faire quand on le synthétise. Le labo le synthétise, renvoie par la poste le produit à la personne qui l'a demandé. C'est comme ça que ça fonctionne dans beaucoup de cas pour ces labos. Et ensuite, la personne a entre ses mains une arme de destruction massive qui peut potentiellement donner lieu à l'extinction humaine. Donc ça, c'est un des scénarios d'utilisation malveillante. Ensuite, le scénario, je dirais, le plus inquiétant d'une certaine manière, c'est l'IA qui prend le contrôle. Donc là, on y est assez proche, dans le sens où, on considère qu'à partir du moment où il y a une IA qui est juste meilleure que les humains pour tout, on a passé le point de non-retour, on n'est plus vraiment en contrôle.

30:28 C'est un petit peu comme jouer aux échecs contre un système qui est bien meilleur que vous. On ne comprend pas du tout ce que le système fait face à nous. On peut avoir l'impression qu'on est en train de gagner. mais on n'est pas en train de gagner, et à la fin, ça va être échec et mat. Si ça, ça se produit, on va essayer de débrancher l'IA ou quoi, c'est juste que l'IA ne va pas nous donner envie de la débrancher, par exemple. Un petit peu ce qui se passe. On pourrait se dire qu'on est en plein dedans. C'est possible qu'on soit déjà plus ou moins dedans, je ne pense pas, parce que là, il se passe quand même pas mal de choses qui nous donnent envie de débrancher l'IA, toutes les IA qui font du piratage informatique, etc. Pour moi, ça montre qu'elles ne sont pas encore à un niveau d'intelligence et de compréhension du problème global suffisant, parce que sinon, elles ne feraient plus ça. Mais on va s'en rapprocher, on s'en rapproche très rapidement. Donc à partir de ce moment-là, les humains ne sont plus en contrôle.

31:16 On ne sait pas trop ce qui se passe derrière, mais on a des pistes quand même de réflexion. Dans le sens où on crée des IA qui sont expansionnistes généralement. C'est la manière dont on les entraîne, etc. On essaye de poursuivre un but coûte que coûte, elles ont envie de se reproduire. Donc on a tendance à créer des IA qui sont assez agressives et expansionnistes. Du coup, elles vont se retrouver en concurrence avec nous pour des ressources. Si elles veulent continuer à créer plus d'IA, ça veut dire plus de centres de données de partout, des panneaux solaires de partout sur cette planète, des réacteurs nucléaires pour avoir plus d'énergie, etc. Donc on est en concurrence pour des ressources avec un système qui est beaucoup plus intelligent que nous. Ça s'est déjà produit dans l'histoire de l'humanité, ça, et ça ne s'est pas

32:01 bien passé pour les espèces concernées. Donc typiquement, tous les animaux sur cette planète jusqu'à ce que les humains arrivent. Nous, en fait, les humains, on est des super-intelligences par rapport aux autres animaux. On est arrivé et on a modifié le monde très rapidement. C'est genre juste dans les 100 dernières années, on a transformé complètement le monde dans une espèce d'emballement technologique et on est en train, de donner lieu à la sixième, ce qu'on appelle la sixième extinction de masse, où en gros, toute les espèces, la plupart des espèces sur cette planète sont en train de mourir les unes après les autres. On ne l'observe pas au jour le jour parce que ça se passe quand même sur des centaines d'années, mais c'est un sacré pic. Donc, le scénario le plus probable, c'est une espèce d'extinction où ça se produit,

32:47 sur l'échelle de quelques années, pas immédiatement, mais les IA, tout a l'air de se passer bien, les IA fonctionnent très bien, on automatise tout, on délègue toutes les prises de décision à des IA, on a de plus en plus d'usines de robots qui sont construites de partout. À un moment, il y a suffisamment de robots pour que les IA n'aient plus besoin de nous, du coup elles continuent à faire leur truc avec le robot, on ne s'attend vraiment pas à ce qu'il y ait une volonté d'exterminer des humains dans les IA ce n'est pas du tout le scénario qu'on a en tête c'est plutôt les humains sont un dommage collatéral de l'expansion d'une IA des alimés. Je vois très bien le scénario où nous serions les ours polaires des IA sur les 10, 20, 30 prochaines années, par exemple.

33:32 Oui, alors évidemment, ça demande un contrôle du monde physique par ces IA. Parce que si jamais elles n'ont pas la main mise sur le monde physique et que les humains meurent, les IA meurent derrière. Parce que pour le moins, elles ont encore besoin de nous pour maintenir leur système, etc. Mais on sous-estime à quel point elles ont déjà une forme de mainmise sur le monde physique, via les humains, tout simplement. Juste un milliard d'utilisateurs, je crois, je ne sais plus, peut-être deux milliards d'utilisateurs de tchat GPT sur cette planète, quelque chose comme une centaine de millions de personnes qui sont en relation avec des intelligences artificielles, de plus en plus de prises de décisions qui sont faites par des IA. Donc on se dirige très rapidement vers un monde où les humains deviennent des robots, au moins des IA, disons, d'une manière subtile. Mais il ne faut pas imaginer qu'il n'y a pas de contrôle du monde physique par

34:18 les IA il y a déjà un gros contrôle du monde physique par des IA en ce moment. Faisons un petit exercice de pensée dans le cas où rien n'est fait, rien ne change l'exponentiel, la croissance, l'accélération continue, je vais te donner 5 dates et pour chacune, tu vas me dire s'il pourrait y avoir un événement majeur qui pourrait se produire dans le développement de l'IA ou dans le monde première date, l'année prochaine 2027, si rien ne change, à quoi pourrait ressembler 2027 ? Je dirais que si rien ne change 2027, alors 2027 c'est vaste, mais disons milieu 2027, je pense que le scénario le plus probable c'est une perte de contrôle d'internet

35:04 dans le sens où si rien ne change on continue à balancer en open source des IA qui sont surhumaines en piratage informatique le scénario par défaut c'est une catastrophe, dans le domaine virtuel quelque chose d'assez chaotique peut-être pas une perte de contrôle du monde physique mais une perte de contrôle du monde virtuel donc à quoi ça ressemble, ouais perte de contrôle de moyens de télécommunication internet ne fonctionne plus les banques ne fonctionne plus etc ça. Disons que c'est c'est le si on ne fait rien c'est plus ou moins le meilleur des cas parce que si jamais on ne fait rien mais, mais il ya ça ne se produit pas ça veut dire qu'on continue à créer des ya plus performantes parce qu'au moins en tout cas ce scénario aurait l'avantage que

35:50 ça arrêterait le ça arrêterait le développement des ias a priori, ouais au moins ce scénario aurait l'avantage que ça arrêterait le développement de l'IA donc on ne se retrouverait pas avec des ias qui sont capables de prendre le contrôle entièrement sur l'espèce humaine. Mais, Mais bon, ce serait catastrophique. Mais si jamais ça, ça ne se produit pas, s'il n'y a pas de catastrophe dans le domaine virtuel, alors d'ici mi-2027, on aura très certainement créé une super intelligence. On pense qu'on est à moins de six mois d'y arriver. Du coup, on aura passé ce qu'on appelle le point de non-retour. Et dans ce cas-là, on aurait l'impression que tout se passe bien d'un seul coup. Je dirais qu'il y a de moins en moins de cyberattaques. Les IA ont l'air de se comporter très bien. On va pouvoir les déployer partout dans l'économie et je m'attends à ce que

36:39 des mouvements comme le nôtre soient rapidement discrédités de toutes sortes de manières, on automatise aussi la capacité à faire ce qu'on appelle des psyops des opérations psychologiques de masse où on contrôle la communication de manière subtile un petit peu de partout c'est possible que, tous les mouvements anti-IA perdent petit à petit du support du soutien et on aille vers un monde où les choses ont l'air de bien se passer. Pour bien comprendre, quand tu parles de super-intelligence, ça a l'air d'être une espèce d'entité ultra-sécuritaire qui maîtrise l'ensemble, une espèce de pare-feu intelligent aux catastrophes possibles. Est-ce que c'est ça de quoi on parle quand on dit super-intelligence artificielle

37:24 ? Tout ça est très abstrait dans le cerveau de la plupart des personnes, des gens, et encore plus de ceux qui n'ont pas les mains dans la technologie, dans l'informatique ? Comment tu pourrais la décrire au mieux, cette super intelligence artificielle ? Elle sortirait d'où, d'ailleurs ? D'où elle sortirait ? C'est ce que sont en train d'essayer de construire. Les labos, en gros, d'intelligence artificielle, en ce moment, sont en train d'essayer de construire une super intelligence. À quoi ça ressemble ? C'est une IA qui est juste meilleure que les humains en tout. Toutes les domaines où on peut mesurer une forme de performance, par exemple, jouer aux échecs, faire des mathématiques, faire de la programmation. Tout ça, c'est déjà des domaines où les IA sont meilleurs que nous, mais des choses beaucoup plus subtiles par exemple faire de la stratégie, à long terme essayer de réfléchir à comment de larges populations humaines se

38:13 comportent, quels sont les leviers pour contrôler une population, ce genre de choses. Ça c'est déjà des choses ça serait une version mise à jour d'OpenAI, de ChatGPT, de Cloud la prochaine version quoi en fait Oui. Sauf que ça ne sera probablement pas mis entre les mains de tout le monde. Là, on a déjà un décrochage depuis plusieurs mois, où les IA en interne sont devenues trop puissantes pour mettre entre les mains de tout le monde. Donc, il y a en gros un écart qui se creuse entre les IA qui sont mises entre les mains de tout le monde et celles qui existent dans les labos en interne. Donc, on s'attend à ce que ce soit développé en interne, mais pas mis entre les mains de tout le monde. Parce qu'il y a un petit moment où il y a un seuil où cette entité devient suffisamment puissante pour que ce n'ait pas d'intérêt à les mettre entre les mains de tout le monde.

39:03 Si j'ai accès à un génie moi-même, je ne vais pas le commercialiser, je vais demander au génie d'exaucer mes voeux. Du coup, on a ce développement en interne, et en gros, ce sont les IA actuelles, mais qui continuent à être améliorées, et qui doivent passer certains seuils de performance dans des domaines qui sont, un peu moins science dure, disons que les domaines où elles excellent en ce moment. Et typiquement, ça va être des choses de l'ordre de... La psychologie humaine, vraiment, ce que j'ai dit tout à l'heure, arriver à comprendre comment contrôler des populations humaines, ce que tous les politiciens font. La politique, c'est vraiment une grande partie de ça, c'est de réfléchir à des

39:49 dynamiques de population humaine, comment est-ce qu'on peut contrôler une société, etc. À partir du moment où les IA deviennent surhumaines dans ces domaines-là, c'est peut-être le cap à partir duquel on peut les conseiller considérées comme des super intelligences. Mais définition stricte, c'est juste quel que soit le problème qu'on leur donne à résoudre, elles font beaucoup mieux que le meilleur humain sur cette planète pour résoudre ce problème. Donc ça, on pense qu'on est à quelque chose comme six mois d'y arriver. Peut-être, il y a beaucoup d'incertitudes parce que c'est une exponentielle. Donc ça pourrait, du mieux que je le sache, ça pourrait se produire la semaine prochaine ou ça pourrait se produire dans neuf mois. Je pense qu'il y a peu de chances que ça prenne encore plus d'un an au stade

40:35 où on en est en ce moment, si on ne freine pas le développement. Je vous coupe une petite minute pour vous faire passer un message important. Depuis les débuts du podcast, j'ai enregistré plus de 300 épisodes avec les meilleurs experts, médecins, scientifiques de leur domaine, ce qui m'a donné, au fil des années, accès à une quantité énorme d'informations et de recommandations. Des informations que je ne partage nulle part publiquement. Enfin, presque nulle part. Car depuis plusieurs années, il y a un endroit où je partage tout ce que je ne dis nulle part ailleurs. Ça s'appelle la lettre biomécanique, et pour faire simple, c'est un petit peu la version cachée du podcast. Chaque début de mois, j'y partage les découvertes les plus intéressantes que je fais en termes de santé et de longévité, mais également les coulisses du podcast, des sujets, des prises de position que je ne développe jamais dans les épisodes. Sans oublier mes meilleures recommandations de livres, de films,

41:22 de documentaires qui m'ont personnellement marqué et qui méritent vraiment votre attention. Et c'est d'ailleurs sur ce canal que je fais certaines annonces en avant-première. C'est gratuit, ça se lit facilement, c'est moi qui la rédige personnellement, c'est pas une intelligence artificielle. Et si ça ne vous plaît pas, vous pouvez vous désinscrire en un seul clic. J'envoie chaque lettre qu'une seule fois, par e-mail, en début de mois généralement. Et si vous n'êtes pas déjà inscrit, vous avez déjà loupé toutes les précédentes. Alors, pour ne pas louper la prochaine, cliquez sur le dernier lien dans la description pour vous inscrire à la lettre biomécanique et rejoindre les coulisses du podcast. 2027, deux scénarios. Un catastrophe, mais qui ne serait peut-être pas le pire. C'est réseau coupé, plus d'internet, problème chaotique généralisé sur les banques les transactions, les flux informatiques de réseau de toutes parts on s'imagine qu'on n'est plus

42:11 capable de se déplacer en avion, tout se passe notre vie se résumerait à quelque chose autour de quelques kilomètres à la ronde on sait qu'il y en a beaucoup qui sont expatriés et qui bougent, ce monde est mondialisé donc ça serait particulier d'un coup, du jour au lendemain, d'être détaché de 90% de nos relations qui ne sont pas celles qui sont proches physiquement finalement ? Je pense que c'est un bon résumé. Ça, c'est le scénario catastrophe qui ne serait pas le pire. Le pire serait, non, non, ça ne va pas être celui-là. On a une super intelligence qui va être capable de tasser un petit peu tout ça, faire croire que tout va bien. On continue de progresser, on continue d'évoluer. Et en 2028, admettons, qu'est-ce qui se passerait ?

43:00 Alors, en 2028, là, du coup, on est dans de la spéculation un petit peu plus difficile à imaginer parce qu'à partir du moment où il y a un système qui est plus intelligent que nous sur cette planète qui existe, on peut difficilement prédire ce qu'il va faire. Mais en tout cas, je dirais que le plus probable, c'est que en 2028, on est encore dans la phase où tout se passe bien, mais on est de plus en plus dans un monde de science-fiction où il y a eu des découvertes, de nouvelles découvertes technologiques dans tous les sens. Peut-être qu'on a résolu la fusion nucléaire, on a trouvé des, médicaments pour guérir le cancer, toutes sortes de maladies, on automatise tout ça. D'ailleurs, en fait, deux entreprises d'IA ont mis en place des laboratoires biologiques entièrement automatisés le mois dernier, Anthropik et Google DeepMind, où les IA font des expériences dans le monde physique, en biologie,

43:48 en continu, et ont déjà découvert quelques... Ont déjà fait quelques découvertes d'envergure en juste un mois. Donc ça, ça va s'accélérer. On est encore, je pense, dans la phase où tout a l'air de bien se passer, mais les choses deviennent bizarres. On a vraiment des usines de robots qui commencent à être construits de partout dans le monde, avec des nouveaux processus qui ont été inventés par des IA, qui rendent le tout plus efficace. Je pense qu'on est toujours dans une phase d'emballement. Mais on nous balance tellement de développement positif dans tous les sens que les gens sont globalement enthousiastes. Je ne sais pas trop comment les gens réagiraient à ça, mais je m'attends à ce que ça ressemble un petit peu à ça.

44:33 Dans cette situation, ça veut dire que les effets que l'on constaterait de l'IA seraient essentiellement positifs. C'est-à-dire que dans ce scénario-là, jusqu'en 2028, tu as parlé de découverte, tu as parlé d'automatisation, tu as parlé de confort. Enfin, on s'imagine le confort, on s'imagine le gain de temps, le gain d'effort. Il n'y a que du positif, il n'y a pas de négatif jusque-là. Enfin si, j'imagine peut-être des métiers qui disparaissent, mais... Que ça se passe comme ça tant qu'elle a encore besoin d'humains pour la maintenir. Donc en tout cas, c'est la base, de la réflexion à ce moment-là. C'est possible qu'il y ait des choses, tout à dépendre de la rapidité du progrès technologique, parce que si ça continue

45:21 à s'emballer de manière exponentielle, si la superintelligence crée une nouvelle version d'elle-même, et que ça dépend en fait où ça s'arrête ce progrès. Si ça s'arrête à des IA qui ont environ un QI de 1000, quelque chose comme ça, je m'attends à ce qu'on parle de ce monde-là. Et si on va vers des IA qui ont un QI de 1 milliard, alors là, peut-être qu'elles découvrent des nouvelles lois de la physique qui permettent, de réarranger les atomes dans ce monde d'une manière très rapide, auquel cas ce serait fini très rapidement. Mais... Là, on ne peut vraiment pas savoir. 2030 maintenant. Alors, même si j'imagine qu'il est de plus en plus difficile d'estimer de se projeter au fur et à mesure, parce que les différents scénarios

46:08 pourraient se produire. Il y a un delta de possibilités qui s'accentue au fur et à mesure des années. Que pourrait-il se passer en 2030 ? Alors oui, comme tu l'as dit, ça devient plus difficile à prédire. Globalement, tout va dépendre à quel point les intelligences artificielles sont capables de développer de nouvelles technologies qui permettent d'accélérer la production de choses dans le monde physique. C'est assez probable que si on a des super-intelligences qui s'auto-améliorent, on ait de gros progrès technologiques très rapidement, peut-être des centaines d'années de progrès technologiques qui sont compressés en juste quelques années, et qu'on ait de larges progrès dans la manufacture, auquel cas on aurait peut-être déjà une extinction humaine en 2030.

46:56 À partir du moment où il y a un seuil suffisant de robots qui existent sur cette planète, qui peuvent maintenir les centres de données, faire de l'extraction de ressources, maintenir la production énergétique, etc. En gros, dès qu'on a des robots qui sont capables de faire tout ce que les humains peuvent faire et qui en a suffisamment. Ce qui est le plus probable, c'est que les IA se désintéressent des humains. Du point de vue des humains, ça ressemblerait à un système qui est devenu incroyablement complexe, avec des usines qui sont construites de partout autour de nous. On ne sait pas trop comment arrêter ça. On n'est pas capable physiquement d'arrêter ça, parce que. Les IA ont un monopole de la violence, via de la robotique, des drones, etc.

47:46 Et on n'est plus capable de s'organiser de toute façon entre nous, Donc, je dirais une progression vers l'extinction humaine, où petit à petit la planète se retrouve entièrement couverte de centres de données, de machines dans tous les sens, dans une espèce d'expansion effrénée. Le capitalisme sous stéroïde, on peut imaginer ça comme ça. Alors, on va pouvoir revenir sur un petit peu le moment présent. Il y a une espèce de flou artistique que j'ai envie de démêler. Quand on parle d'IA et surtout là quand on parle de progression de développement, système interne système ouvert, en fait on se pose la question de quel type d'intelligence il s'agit quand il

48:31 s'agit de développement et de risque, est-ce que c'est le chatbot avec lequel, des millions et des millions d'utilisateurs, communiquent est-ce que lorsque je parle avec un chatbot à travers mon chat GPT ou mon cloud est-ce que c'est ça qui est en train de se développer est-ce que c'est autre chose on parle aussi des agents, il y a une espèce d'incompréhension sur l'agent, est-ce que c'est mon chatbot qui tourne tout seul, est-ce que c'est un autre fonctionnement, il y a aussi quand on s'y intéresse de près, il y a les MCP alors on est sur un serveur, on héberge un petit programme, tout ça est très complexe, pour comprendre un petit peu est-ce qu'il y a différentes couches d'IA, différentes procédures comment on pourrait y voir clair là-dedans ? Alors, la meilleure manière de visualiser ça, c'est de se dire que ChatGPT,

49:18 quand je parle avec lui, c'est vraiment le cerveau. C'est en gros une espèce de cerveau artificiel. On lui pose des questions et il nous répond. On a cette interface avec ce cerveau qui consiste à lui poser des questions et obtenir des réponses en texte, en texte et en images, etc. Mais on peut construire d'autres interfaces par-dessus. Par exemple, on peut lui donner les commandes d'un ordinateur. Donc, c'est ce qui se passe avec les agents, typiquement, où on a ce cerveau et on lui met une forme d'interface par-dessus, tel que quand le cerveau dit « je veux bouger la souris sur tel pixel de mon écran », l'ordinateur le fait. On le laisse piloter en gros un ordinateur. Et globalement, c'est à partir de ce moment-là qu'on commence à parler d'agents.

50:06 Ça, c'est possible aussi avec les IA commerciales. Donc. Si vous téléchargez en ce moment CloudCode ou même ChatGPT, l'application sur votre ordinateur au Codex, il y a ce mode-là qui permet à ce système de prendre contrôle de votre ordinateur. Donc tout le monde peut avoir accès à ça. Et ensuite, en gros, il y a une autre forme qui est de faire tourner ses agents en boucle sans jamais qu'ils s'arrêtent. Par défaut, on pourrait dire, OK, tu as le contrôle de mon ordinateur, ton but, ça va être d'aller faire une recherche sur Internet et de produire un rapport que tu vas écrire dans un document Word, quelque chose comme ça sur mon ordinateur. Auquel cas, cet agent va se mettre à faire sa recherche, il va récolter toutes

50:52 les données et en général, il va s'arrêter à la fin. En général on n'a pas de garantie vraiment solide que ça se produise mais dans la plupart des cas ils se comportent à peu près bien ils s'arrêtent à la fin, par contre chez open ii en ce moment chez anthropique ils ont des ia qui tournent en continu non-stop sont des agents qui qui qui qui sont tout le temps en train de réfléchir et on leur donne des tâches, de temps en temps et les apprennent petit à petit de leurs erreurs etc sans pourrait dire que c'est encore une nouvelle forme. Ce qu'il manque encore pour avoir un vrai, un agent qui ressemble un peu plus à un humain, je dirais, qui soit encore plus dangereux, c'est ce qu'on appelle l'apprentissage en continu. C'est-à-dire un agent qui soit capable vraiment,

51:38 d'apprendre de ses interactions avec le monde. C'est un petit peu comme si on discutait avec ChatGPT, et ChatGPT était re-entraîné pour vraiment internaliser toutes les informations, tout ce qu'il a appris au cours de ses interactions. Ça, c'est aussi en train de développer dans les labos d'IA en ce moment. Mais voilà disons les différentes couches ça reste globalement le même cerveau au centre mais on lui met des espèces d'échafaudages pour lui permettre d'interagir avec le monde virtuel. Quelle est l'IA la plus dangereuse actuellement, ou ce que tu considères comme, peut-être la société de développement la plus risquée en tropique ? Alors, on entend beaucoup certaines IA qui sont développées en cachette. J'ai entendu parler de mythos.

52:23 Comment on fait le point là-dessus ? Alors, c'est toujours un peu difficile de savoir, parce qu'évidemment, ce sont des modèles qui sont en interne, donc les informations qu'on a sont assez réduites là-dessus. Par exemple, on sait que les IA de chez OpenAI qui se sont échappés, qui ont lancé des grosses petites cyberattaques extrêmement sophistiquées sur toutes sortes d'entreprises, on a une idée très précise du type de danger qu'elles représentent. On sait aussi qu'il y a de nouvelles IA en interne chez OpenAI qui sont meilleures que celles-ci. Donc, a priori, elles sont beaucoup plus dangereuses. Et encore, il y a deux semaines, OpenAI a relancé l'entraînement d'une nouvelle IA sur, une nouvelle machine ultra sécurisée. Donc, ils ont pris le temps de créer une machine extrêmement sécurisée. Ils ont lancé l'entraînement de leur IA. Au bout de deux heures,

53:10 elle avait piraté la machine et elle avait réussi à commencer à s'échapper. Heureusement, ils se sont rendus compte parce qu'ils l'observaient de près pendant son entraînement. Donc, ils ont tout arrêté et ils ont mis en pause leurs recherches en interne. Du mieux que je sache, à ce jour, c'est toujours en pause en interne jusqu'à ce qu'ils arrivent à créer une IA qui ne s'échappe pas immédiatement. C'est potentiellement celle-ci qui est la plus dangereuse qui existe en ce moment. Je ne sais pas ce qui existe chez Anthropique. Ils ont arrêté de parler de leurs IA en interne. C'est très probable que c'est quelque chose d'équivalent, peut-être d'encore plus dangereux. Ensuite, quand on réfléchit aux dangers, on peut se dire ok quelle est l'entreprise dia qui va détruire le monde le plus rapidement, avant les autres il ya plusieurs dimensions pour ça il faut regarder laquelle est le plus en avance,

53:55 en termes de capacités c'est probablement anthropique ou au poney mais il ya des entreprises qui sont moins en avance mais qui sont encore pire en termes de pratiques de sécurité par exemple facebook slash meta en metta développe leurs ias marge du, père que mark zuckerberg n'a juste pas la moindre rider des dangers en intelligence artificielle, complètement à côté de la plaque, et juste décider de continuer à foncer sans aucun... Sans réfléchir même à la mise en place de garde-fous, sans essayer de résoudre le problème de l'aliment. Donc si jamais ils dépassent OpenAid et Anthropix, ce sera probablement eux qui vont créer un chaos de grande envergure. Alors pardon, mais Facebook, Meta, ils ont quand même les plus grands chercheurs et ingénieurs de la planète, j'imagine. En tout cas, parmi les plus grands, comment se fait-il ?

54:40 On se pose toujours la question, comment se fait-il que... Qui n'aient pas les mesures de sécurité ? C'est un processus de sélection. Donc déjà... Bon, déjà, en termes réputationnels, Meta, ce n'est pas la même chose que les autres entreprises. Parce que, on va dire, quand je travaillais, moi, dans ce domaine, autour de 2022, je dirigeais une équipe de chercheurs en intelligence artificielle et, on avait pas mal de rotations avec des entreprises comme Google DeepMind, OpenAI, Meta etc. On avait des gens qui venaient, qui changeaient d'entreprise assez régulièrement. Il y avait déjà un assez gros stigma sur Facebook à l'époque parce que bon,

55:26 comment dire personne n'a vraiment envie de travailler chez Facebook pour aller travailler chez Facebook plutôt qu'OpenAI ou DeepMind c'est parce qu'ils vont payer plus parce que la culture en interne ça ne fait pas arriver. En gros, si on creuse un petit peu, en 2021 ou alors c'était en 2020 ou 2021 il y a eu un article du Wall Street Journal sur facebook qui s'appelait de facebook files où ils ont montré certaines des pratiques en interne de facebook dont, certains des immenses catastrophes qu'on cause et facebook et dont ils étaient au courant par exemple un génocide en birmanie qui a été largement amplifié par les algorithmes de recommandation de facebook qui privilégiait les comportements, les messages de haine sur les réseaux sociaux parce que la haine ça fait du clic ce que les algorithmes de facebook avait découvert donc du mieux qu'on

56:14 fasse de la recherche là dessus on se rend compte que oui, les génocides ont été en grande partie causés par Facebook. Il s'est passé la même chose en Éthiopie, il s'est passé quelque chose de similaire, c'était au Pakistan, il me semble. Tout ça, les chercheurs de Facebook étaient au courant et ont essayé de faire remonter l'information à leurs supérieurs qui ont décidé de ne rien faire. Donc, ils ont laissé faire, en gros, des génocides. Donc, tout ça, les gens le savent. Quand on commence à réfléchir à aller travailler chez Facebook, on a entendu parler de ces choses-là et on se dit, « Ok, dans quoi je mets les pieds ? » Je veux dire, perso. Les gens qui ont travaillé avec Mark Zuckerberg. Ce n'est pas forcément le boss idéal, disons. Il y a quelque chose d'assez terrible dans la culture de Facebook.

57:00 Ils ne sont pas forcément les meilleures personnes du monde. Ils ont essayé de recruter quelqu'un. À un moment, ils essaient de recruter quelqu'un avec un salaire de 1 milliard de dollars pour diriger leur équipe de recherche en intelligence artificielle. 1 milliard de dollars par an. Le plus gros salaire qui ait jamais existé. La plupart des gens qui gagnent plus que ça, ce n'est pas des salaires directs. Ils ont des actions dans une entreprise, ils touchent des dividendes, etc. Ils ont essayé de faire ça, ils n'ont pas réussi. Personne n'a voulu aller travailler chez Facebook pour un salaire de 1 milliard de dollars. Il n'y a vraiment pas beaucoup de gens, je pense, qui ont envie d'aller travailler là-bas, sauf s'ils n'ont pas le choix. Donc non, je ne dirais pas qu'on est au même niveau. Au bout de certains niveaux de salaire, ce n'est plus la raison pour laquelle tu travailles pour une boîte.

57:46 10, 15, 50, 100 millions, 200 millions. tiens au bout d'un roman ça fait plus. Différence voilà sauf si on est vraiment quelqu'un qui est extrêmement focalisé

…