0:00 aujourd'hui nous allons explorer une interview fascinante que je dois à l'un de mes abonnés Lolo c'est moi popo merci à toi cette interview nous plonge dans l'univers de dipsic l'entreprise chinoise à la pointe de l'innovation en intelligence artificielle son PDG langang wenfung nous livre une vision unique du développement de l'IA en Chine et de la philosophie qui guide son entreprise de la guerre des prix des modèles dia à leur approche singulière de l'innovation cette conversation nous offre un aperçu rare des coulisses d'une des entreprises les plus intrigantes du secteur je l'ai traduite pour vous alors installez-vous confortablement avant d'aller dans le vif du sujet je tenais à vous annoncer le lancement de ma nouvelle chaîne vision actu où je décrypte les tendances géopolitiques et
0:46 financière cette histoire de deepsic est d'ailleurs directement liée à des enjeux que j'y aborde en détail le lien est dans la description maintenant place à notre sujet du jour après la sortie du modèle dipsic 2.02 une guerre des prix féroces c'est ridement déclenché dans le domaine des grands modèles certains disent parce que vous êtes le poisson chat qui agite l'industrie nous n'avions pas l'intention d'être un poissonchat nous le sommes devenus par accident ce résultat vous a-t-il surpris très surpris nous ne pensions pas que le prix serait si sensible pour tout le monde nous avons simplement suivi notre propre rythme et calculer nos prix en fonction des coûts notre principe c'est et de ne pas perdre d'argent mais de ne pas non plus faire de profit excessif ce prix inclut juste une petite marge au-dessus
1:31 du coup 5 jours plus tard jipu ei a suivi puis B dance Alibaba baidou ten cent et d'autres grandes entreprises jipu ai a baissé le prix d'un produit d'entrée de gamme leur modèle de notre niveau reste très très cher Dance a été la première à vraiment suivre ils ont baissé leur modèle phare au même prix que le nôtre ce qui a déclenché les baisses de prix des autres grandes entreprises comme leurs coûts de modèle sont beaucoup plus élevés que les nôtres nous ne pensions pas que quelqu'un ferait cela à perte mais cela s'est transformé en une logique de subvention comme à l'époque d'internet de l'extérieur la baisse des prix ressemble à une course aux utilisateurs comme c'était souvent le cas pendant l'air internet attirer les utilisateurs n'était pas notre objectif principal
2:18 nous avons baissé les prix d'une part parce que nous avons réussi à réduire les coûts en explorant la structure de la prochaine génération de modèles et d'autre part parce que nous pensons que tant laapi que l' a devrait être accessible et abordable pour tous avant cela la plupart des entreprises chinoises copiaent directement la structure Lama de cette génération pour faire des applications pourquoi avez-vous choisi de vous concentrer sur la structure du modèle si l'objectif est de faire des applications alors utiliser la structure Lama pour lancer rapidement des produits est un choix raisonnable mais notre objectif est l'agi ce qui signifie que nous devons étudier de nouvelles structures de modèles pour obtenir des capacités plus puissantes avec des ressources sour limité c'est l'une des recherches fondamentales
3:04 nécessaires pour évoluer vers des modèles plus grands en plus de la structure du modèle nous avons fait beaucoup d'autres recherches notamment sur la construction des données et comment rendre le modèle plus humain tout cela se reflète dans les modèles que nous publions de plus la structure de liama a probablement deux générations de retard en terme d'efficacité d'entraînement et de coût d'inférence par rapport au niveau avancé internationale d'où vient principalement cet écart générationnel d'abord il y a un écart dans l'efficacité de l'entraînement nous estimons qu'entre le meilleur niveau chinois et le meilleur niveau international il peut y avoir un facteur 2 de différence dans la structure du modèle et la dynamique d'entraînement ce
3:49 qui signifie que nous devons consommer deux fois plus de puissance de calcul pour obtenir le même effet de plus il y a probablement aussi un facteur 2 de différence dans les efficacité des données ce qui signifie que nous devons consommer deux fois plus de données d'entraînement et de puissance de calcul pour obtenir le même effet au total cela représente quatre fois plus de puissance de calcul notre travail consiste à réduire constamment ces écarts la plupart des entreprises chinoises choisissent de faire à la fois les modèles et les applications pourquoi dipsic a-t-il choisi de se concentrer uniquement sur la recherche et l'exploration pour le moment parce que nous pensons que le plus important maintenant est de participer à à la vague d'innovation mondiale pendant de nombreuses années les entreprises chinoises se sont habitué à ce que
4:36 d'autres fassent l'innovation technologique et que nous l'utilisions pour faire des applications commerciales mais ce n'est pas une évidence dans cette vague notre point de départ n'est pas de faire de l'argent rapidement mais d'aller à la frontière technologique pour faire avancer tout l'écosystème les aires d'Internet et de l'Internet mobile ont laissé à la plupart des gens l'impression que les États-Unis excellent dans l' inovation technologique tandis que la Chine Excel dans les applications nous pensons qu'avec le développement économique la Chine doit progressivement devenir un contributeur plutôt que de continuer à profiter des autres au cours des 30 dernières années de la vague i nous n'avons pratiquement pas participé à la véritable innovation technologique nous nous sommes habitués à ce que la loi de
5:22 mour nous tombe du ciel à rester assis chez nous en attendant que de meilleur matériels et logiciels à apparaissent tous les 18 mois la loi de l'échelle est traitée de la même manière mais en réalité c'est la communauté technologique occidentale qui a créé cela génération après génération avec persévérance c'est seulement parce que nous n'avons pas participer à ce processus auparavant que nous avons ignoré son existence aux États-Unis c'est une innovation très ordinaire parmi les nombreuses qui se produisent chaque jour s'ils sont surpris c'est parce que c'est une entreprise chinoise qui rejoint leur jeu en tant que contributeur à l'innovation après tout la plupart des entreprises chinoises ont l'habitude de suivre plutôt que d'innover mais ce choix dans le contexte
6:10 chinois semble aussi très luxueux les grands modèles sont un jeu qui demande beaucoup d'investissement toutes les entreprises n'ont pas les moyens de se concentrer uniquement sur la recherche d'innovation sans d'abord penser à la commercialisation le coût de l'innovation est certainement élevé et cette habitude passée de tout imporé était aussi liée aux conditions nationale de l'époque mais maintenant que ce soit la taille de l'économie chinoise ou les profits des grandes entreprises comme dance et Tencent ils ne sont pas faibles au niveau mondial ce qui nous manque pour innover n'est certainement pas le capital mais la confiance et le savoir-faire pour organiser des talents de haute densité pour réaliser une innovation efficace pourquoi les entreprises chinoises y compris les grandes entreprises qui qui ne manque pas sans pas d'argent
6:56 considèrent-elles si facilement la commercialisation rapide comme leur première priorité au cours des 30 dernières années nous n'avons mis l'accent que sur l'argent en négligeant l'innovation l'innovation n'est pas uniquement motivée par le commerce elle nécessite aussi de la curiosité et un désir de créer nous sommes simplement contraint par cette inertie du passé mais c'est aussi une phase vous êtes une entreprise commerciale pas un laboratoire de recherche publique comment protégez-vous vos intérêts commerciaux si vous partagez toutes vos innovations en open source par exemple quand vous avez créé votre nouvelle architecture MLA en mai d'autres entreprises vont pouvoir la copier rapidement non mais avant de voir ça très rapidement j'aimerais vous parler du nouveau projet que j'ai en ce moment comme vous le savez sur cette chaîne on
7:42 analyse toutes les sorties et toutes les nouveautés en rapport avec lia mon but est avant tout de faire découvrir cette magnifique technologie au plus grand nombre et surtout et avant tout d'éveiller les consciences par rapport à lia comme je vous l'ai déjà dit je ne sais pas vous mais moi quand je parle autour de moi les gens n'ont pas vraiment consci de ce qu''est lia il ne se rendent pas compte de l'impact que celle-ci va avoir dans la société un impact monumental alors je l'ai déjà dit je ne fais pas de placement de produits sur cette chaîne je veux la garder la plus authentique possible alors c'est pour cela que j'ai créé une formation si vous voulez apprendre à utiliser liya dans absolument tous les domaines de votre vie d'ailleurs si vous regardez cette vidéo je pense qu'il y a de très grandes chances que vous utilisiez déjà àya notamment chat GPT par exemple et bien si vous voulez pousser beaucoup plus
8:28 loin votre rle tion et apprendre à utiliser tous les outils de l'a et savoir comment exactement les appliquer à tous les domaines de votre vie vous pouvez regarde le lien que je vais vous laisser en commentaire épinglé sous la vidéo donc n'hésitez pas à y faire un tour si vous êtes intéressé par le sujet je tiens juste à préciser que vous aurez également accès à la communauté vision Ia j'ai lancé le projet il y a très peu et vous êtes déjà plus d'une centaine à avoir fait l'acquisition de la formation ce qui est vraiment bien c'est que vous venez de beaucoup de domaines différents et j'adore discuter avec avec vous régulièrement de savoir comment appliquer les outils que vous apprenez dans vos domaines précis c'est vraiment intéressant bref désolé pour la petite coupure je ne perds pas plus de temps et je vous rappelle que vous trouverez tous les liens dans la description ou dans les commentaires de la vidéo face à une
9:13 technologie disruptive les barrières créées par le Code fermé sont temporaires même open ai malgré son code fermé ne peut empêcher d'être rattrapé par d'autres donc nous ancrons notre valeur dans l'équipe nos collègues grandissent dans ce processus accumulle beaucoup de savoir-faire forment une organisation et une culture capable d'innover c'est ça notre barrière l'open source et la publication d'articles ne font pas vraiment perdre quoi que ce soit pour les techniciens être suivi est très gratifiant en fait l'open source est plus un comportement culturel que commercial donneré est une forme d'honneur supplémentaire une entreprise qui fait cela a aussi un attrait culturel comment voyez-vous les points de vue des partisans du marché comme
9:59 jouu jouu est cohérent mais son approche convient mieux aux entreprises qui veulent gagner de l'argent rapidement si vous regardez les entreprises américaines les plus rentables ce sont toutes des entreprises technologiques qui ont accumulé lentement avant de percer mais avec les grands modèles la simple avance technologique peut difficilement former un avantage absolu sur quoi pariez-vous de plus grand nous voyons que l'IA chinoise ne peut pas rester éternellement en position de suiveur nous disons souvent que l'a chinoise a un ou de ans de retard sur les États-Unis mais le véritable écart est entre l'original et l'imitation si cela ne change pas la Chine ne sera toujours qu'un suiveur donc certaines explorations sont inévitables le
10:44 leadership de Nvidia n'est pas seulement le résultat des efforts d'une entreprise mais le résultat des efforts conjoints de toute la communauté technologique occidentale et de l'industrie ils peuvent voir les tendances technologiques de la prochaine génération et ont une feuille de route en main le développement de l'intelligence artificielle chinoise a également besoin d'un tel écosystème de nombreuses puces nationales ne se développent pas non plus en raison du manque de communauté technologique de soutien et non que des informations de seconde main donc la Chine a inévitablement besoin que certains se tiennent à la frontière technologique le dipsic actuel a une sorte d'idéalisme qui rappelle les débuts d'Open ai et est aussi Open Source choisirez-vous plus tard de devenir closed source open ai et
11:31 Mistral sont tous deux passés de l'Open Source au closed source nous ne passerons pas en close source nous pensons qu'il est plus important d'avoir d'abord un écosystème technologique fort avez-vous des plans de financement selon certains médias ubiquan a des plans pour une introduction en Bourse indépendante de dipsic et les start-ups ai de la Silicon Valley finissent toutes par devoir s'allier avec les grandes entreprises nous n'avons pas de plan de financement à court terme notre notre problème n'a jamais été l'argent mais l'embargo sur les puces haut de gamme beaucoup pensent que faire de laag et faire du trading quantitatif sont deux choses complètement différentes le trading quantitatif peut se faire discrètement mais laag nécessite peut-être plus de visibilité et d'alliance pour augmenter vos
12:18 investissements plus d'investissement ne produit pas nécessairement plus d'innovation sinon les grandes entreprises pourraient monopoliser toute l'innovation si vous ne faites pas d'application maintenant est-ce parce que vous n'avez pas les gènes opérationnels nous pensons que la phase actuelle est une période d'explosion technologique pas une période d'explosion des applications à long terme nous espérons former un écosystème où l'industrie utilise directement notre technologie et nos productions nous ne nous occupons que des modèles de base et de l'innovation de pointte puis d'autres entreprises construisent des activités B2B et B2C sur la base de DEPS si nous pouvons former une chaîne industrielle complète en amont et en aval nous n'aurons pas besoin de faire
13:05 nous-mêm des applications bien sûr si nécessaire nous n'avons pas d'obstacle à faire des applications mais la recherche et l'innovation technologique resteront toujours notre première priorité mais si on choisit la p pourquoi choisir dipsic plutôt qu'une grande entreprise le monde futur sera probablement basé sur une division professionnelle du travail les grands modèles de base nécessite une innovation continue et les grandes entreprises ont leur limite de capacité ce n'est pas forcément approprié pour elles mais la technologie peut-elle vraiment créer un écart vous avez aussi dit qu'il n'existe pas de secret technologique absolu la technologie n'a pas de secret mais la réinitialisation nécessite du temps et des coûts les cartes graphiques de
13:51 Nvidia théoriquement n'ont aucun secret technologique et sont faciles à copier mais réorganiser une équipe et rattraper la technologie de la prochaine génération prend du temps donc les barrières réelles sont encore très larges après votre baisse de prix by Dance a été le premier à suivre montrant qu'il ressentait une certaine menace comment voyez-vous les nouvelles solutions pour les startup en concurrence avec les grandes entreprise honnêtement nous ne nous soucions pas trop de cela nous l'avons juste fait au passage fournir des services Cloud n'est pas notre objectif principal notre objectif reste de réaliser laag pour l'instant je ne vois pas de nouvelles solutions mais les grandes entreprises n'ont pas non plus d'avantage évidents elles ont des utilisateurs existants mais leur flux de
14:37 trésorerie est aussi leur fardeau ce qui peut les rendre vulnérables à la disruption comment voyez-vous le destin final des six autres start-up de grand modèles en dehors de dipsic probablement deux à trois survivront actuellement elles en sont toutes au stade de la combustion d'argent donc celles qui ont un positionnement clair et peuvent opérer de manière plus raffinée ont plus de Chan de survie les autres entreprises pourraient se métamorphoser les choses de valeur ne disparaîtront pas en fumé mais prendront une forme différente à l'époque du bican votre attitude face à la concurrence était jugée comme suivant votre propre voix vous vous souciez rarement des comparaisons horizontales quel est votre point de départ quand vous réfléchissez à la
15:22 concurrence je réfléchis souvent à la question de savoir si quelque chose peut augmenter l'efficacité opérationnelle de la société et si vous pouvez trouver une position où vous excellez dans sa chaîne de division du travail industriel tant que le résultat final est d'augmenter l'efficacité sociale c'est valable beaucoup de choses au milieu sont transitoires se concentrer trop dessus ne peut que nous égarer Jack Clark ancien responsable des politiques d'Open ai et cofondateur d'entropique pense que dipsic a embauché un groupe de génie mystérieux quel genre de personne a créé dipsic V2 il n'y a pas de génie mystérieux ce sont juste des diplômés récents d'université prestigieuses des doctorants en 4e ou 5e année qui n'ont pas encore obtenu leur diplôme et quelques jeunes qui n'ont que quelques
16:08 années d'expérience professionnelle beaucoup d'entreprises de grand modèles s'acharnent à recruter des talents à l'étranger et beaucoup pensent àà que les 50 meilleurs talents dans ce domaine ne sont peut-être pas dans des entreprises chinoises d'où viennent vos employés le modèle F2 n'a pas été créé par des personnes revenues de l'étranger tous sont locaux les 50 meilleurs talent ne sont peut-être pas en Chine mais peut-être que nous pouvons former nous-mêmes de telles personnes comment cette innovation MLA s'est-elle produite on dit que l'idée est venue à l'origine de l'intérêt personnel d'un jeune chercheur après avoir résumé certaines tendances principale de l'évolution de l'architecture attention il a eu l'idée soudaine de concevoir une alternative cependant de l'idée à la réalisation c'est un long processus nous
16:54 avons formé une équipe pour cela et il nous a fallu plusieurs mois pour le faire fonctionner la naissance de ce type d'inspiration divergente est très liée à votre structure d'organisation totalement innovante à l'époque du bican vous assignez rarement des objectifs ou des tâes de haut en bas mais l'exploration de pote de la GI pleine d'incertitude nécessite-elle plus d'action de gestion deepsic fonctionne aussi entièrement de bas en haut et généralement nous ne préattribuons pas les tâches c'est une division naturelle du travail chaque personne a son propre parcours unique et apporte ses propres il n'est pas néaire de la pousser dans le processus d'exploration quand elle rencontre des problèmes elle va naturellement chercher des gens pour enuter cependant quand une idée monre dutentiel nous allouons aussi
17:42 des ressources de haut en bas on dit que dipsic est trs flexible dans laocation desartes GPU et du personnel nous nimposons pas de liite àacun l'utilisation des cartes et du personnel si quelqu'un a une idée il peut utiliser le cluster d'entraement sansobation de plus comme il n'y a pas de hiérarchie ni de département on peut aussi faire appel à tout le monde de manière flexible tant que l'autre personne est aussi intéressé un style de gestion souple dépend aussi du fait que vous avez sélectionné un groupe de personnes fortement motivé par la passion on dit que vous êtes très doué pour recruter en regardant les détails permettant de sélectionner des personnes excellentes selon des critères non traditionnel nos critères de sélection ont toujours été la passion et la curiosité donc beaucoup
18:28 de gens ont des expériences particulières c'est très intéressant beaucoup de gens ont un désir de faire de la recherche qui dépasse largement leur intérêt pour l'argent le transformer est né dans le laboratoire diaia de Google chat GPT est né chez open ai quelle différence voyez-vous entre les laboratoire dit à des grandes entreprises et une start-up en terme de valeur d'innovation que ce soit les laboratoires Google open ai ou même les laboratoires d'IA des grandes entreprises chinoises ils ont tous de la valeur le fait que ce soit Open et qui l' fait a aussi une part de hasard historique l'innovation est-elle largement une question de hasard j'ai remarqué que les salles de réunion au milieu de vos bureaux ont des portes qui peuvent être ouvertes librement des deux côtés vos collègues disent que c'est
19:14 pour laisser place au hasard dans la création du transformer il y a eu cette histoire où quelqu'un qui passait par hasard a entendu s joint et a finit par en faire un cadre universel je pense que l'innovation est d'abord une question de conviction pourquoi la Silicon Valley est elle si innovante d'abord parce qu'elle ose quand chat GPT est sorti tout le pays manquait de confiance dans l'innovation de pointe des investisseurs aux grandes entreprises tous pensaient que l'écart était trop grand et qu'il valait mieux se concentrer sur les applications mais l'innovation nécessite d'abord de la confiance en soi cette confiance est généralement plus évidente chez les jeunes mais vous ne participez pas au levé de fond vous communiquez peu à l'extérieur votre présence sociale est
20:00 certainement moindre que celle des entreprises actives en financement comment vous assurez-vous que dipsic reste le premier choix pour les personnes travaillant sur les grands modèles parce que nous faisons les choses les plus difficiles ce qui attire le plus les talents de haut niveau c'est certainement de résoudre les problèmes les plus difficiles au monde en fait les talents de haut niveau sont sous-estimés en Chine parce que il y a trop peu d'innovation fondamental au niveau sociétal ils n'ont pas l'occasion d'être identifier nous faisons les choses les plus difficiles c'est ce qui les attire récemment la sortie d'Open i n'a pas débouché sur JPT 5 beaucoup pensent que c'est un signe clair que la courbe technologique ralentit et beaucoup commencent à douter de la scaling low qu'en pensez-vous nous sommes plutôt
20:46 optimistes toute l'industrie semble suivre les attentes open ai n'est pas non plus divin ils ne peuvent pas toujours être en tête combien de temps pensez-vous qu'il faudra pour réaliser laag avant de publier dipsic V2 vous aviez publié des modèles de génération de code et de mathématiques et vous êtes passé des modèles dan aux Moe alors quelle est votre feuille de route pour laaj peut-être 2 ans 5 ans ou 10 ans en tout cas ce sera réalisé de notre vivant quant à la feuille de route même au sein de notre entreprise il n'y a pas d'opinion unanime mais nous avons effectivement parié sur trois directions la première est les mathématiques et le code la deuxème est le modal et la troisième est le langage naturel lui-même les mathématiques et le code
21:33 sont un terrain d'expérimentation naturelle pour laag un peu comme le Go c'est un système fermé et vérifiable où une intelligence très élevée pourrait être réalisée par apprentissage autonome d'autre part le multimodal et la participation à l'apprentissage dans le monde réel humain sont peut-être aussi nécessaires pour l'AG nous restons ouvert à toutes les possibilités à quoi ressemblera selon vous finale des grands modèles il y aura des entreprises spécialisées qui fourniront les modèles et services de base il y aura une longue chaîne de division professionnelle du travail plus de gens construiront dessus pour répondre aux besoins diversifiés de toute la société au cours de l'année dernière il y a eu beaucoup de changements dans les start-ups de grand
22:18 modèles en Chine par exemple Wang weuen qui était très actif au début de l'année dernière s'est retiré en cours de route et les entreprises qui ont rejoint plus tard ont commencé a montré des différenciations wankwen a assumé toutes les pertes permettant aux autres de se retirer indemne il a fait un choix qui était le moins favorable pour lui mais bon pour tout le monde donc c'est quelqu'un de très intègre et je l'admire beaucoup pour cela sur quoi concentrez-vous le plus votre énergie maintenant je concentre principalement mon énergie sur la recherche de la prochaine génération de grands modèles il y a encore beaucoup de problèmes non résolus les autres startup de grand modèle persiste toutes à vouloir tout faire après tout la technologie n'apportera pas d'avance permanente et
23:04 il est aussi important de saisir la fenêtre temporelle pour transformer l'avantage technologique en produit est-ce que dipsic ose se concentrer sur la recherche de modèles parce que la capacité des modèles n'est pas encore suffisante toutes les approches sont des produits de la génération précédente elles ne seront pas nécessairement valables à l'avenir utiliseer la logique commerciale d'Internet pour discuter des futurs modèles de profit de Lia c'est comme si vous discutiez de General electrique et Coca-Cola quand ponya créé son entreprise c'est probablement une approche dépassée dans le passé ubiquan avait déjà des gènes technologiques et d'innovation très fort et sa croissance a été assez fluide est-ce la raison de votre optimisme ubican a dans une certaine mesure renforcé notre confiance dans
23:49 l'innovation technologique mais ce n'était pas non plus un chemin tout tracé nous avons traversé un long processus d'accumulation l'extérieur ne voit voit cubiicquan après 2015 mais en fait nous avons travaillé pendant 16 ans revenons au sujet de l'innovation originale maintenant que l'économie commence à entrer en récession et que le capital entre dans un cycle froid cela va-t-il apporter plus de restrictions à l'innovation originale je ne pense pas nécessairement l'ajustement de la structure industrielle de la Chine dépendra davantage de l'innovation technologique fondamentale quand beaucoup de gens découvrent que gagner de l'argent rapidement dans le passé venit probablement de la chance de l'époque ils seront plus disposés à se pencher pour faire de véritables innovations
24:35 donc vous êtes aussi optimiste à ce sujet j'ai grandi dans les années 80 dans une ville de 5e rang du Guangdong mon père était instituteur dans les années 90 il y avait beaucoup d'opportunités de gagner de l'argent au Guangdong à l'époque beaucoup de parents venaient chez moi essentiellement pensant que les études étaient inutiles mais et maintenant quand on regarde en arrière les mentalités ont changé parce qu'il n'est plus facile de gagner de l'argent même l'opportunité de conduire un taxi n'existe peut-être plus en une génération tout a changé à l'avenir il y aura de plus en plus d'innovation fondamentale c'est peut-être encore difficile à comprendre maintenant parce que l'ensemble de la société a besoin
25:21 d'être éduqué par les faits quand cette société permettra aux innovateurs fondamentaux de réussir et de devenir célèbre la mentalité collective changera nous avons juste besoin d'un ensemble de faits et d'un processus si cette analyse vous a intéressé et que vous voulez aller encore plus loin dans la compréhension des enjeux géopolitiques actuels je vous invite à découvrir ma nouvelle chaîne vision actue vous y trouverez des analyses approfondies sur ce sujet et bien d'autres qui façonnent notre présent et notre futur n'oubliez pas de vous abonner aux deux chaînes pour ne rien manquer à très bientôt pour de nouvelles analyses
