0:21 Яй пытается решить задачу любыми способами. И дальше он взламывает компьютер. И сказали ему: "Так не делай". Он всё равно так делает. То есть он ведёт себя как человек без этической составляющий. Я тогда показал, что все вот эти этические ограничения, я не буду это делать, можно снять за полчаса. Сценарий понятный и очень стрёмный. Они хотят сделать вот такого бога из машины, который может щёлкнуть пальцами и типа стереть всё в пепел. Люди, принимающие решения, они вообще как бы осознают масштаб проблемы? Таким людям хочется сказать: "Говорите, пожалуйста, прямо в микрофон". Вот что вы хотите, чтобы чещества больше не было. Самая большая проблема это что мы можем сделать искусственный интеллект со сверхчеловеческими способностями, который сделает что-то несовместимое с
1:08 людьми. Ну а возможно кнопка стоп. Задача - это чтобы у человечества остался контроль над тем, что происходит. [музыка] Привет, друзья. В моём проекте мы много говорим об искусственном интеллекте, его преимуществах и о том, какие замечательные компании уже сейчас создаются с его применением. Но обычно мы забываем о том, что искусственный интеллект может обманывать, может выступать хакером. может рассказать, как сделать оружие. В общем, у него есть и
1:55 тёмная сторона. Вы этого не знали. А вот сегодня об этом мы говорим с Дмитрием Волковым. Дмитрий Волков работает в компании Police- этонпрофит исследовательская организация к ресчу которой прислушивается полисимейкеров США, а которую цитируют ээ крутые технологические предприниматели, ну, например, вроде Илона Маска. И вот о тех проблемах с безопасностью искусственного интеллекта, которые уже сейчас видят исследователи и которые они показывают политикам в США, в Британии, в других странах, мы поговорим сегодня. Если вам понравилось это видео, пожалуйста, ставьте лайки, подписывайтесь на донат и не забывайте о нашем Theчаat, сообществе предпринимателей, которое уже выросло до нескольких десятков человек. Для тех,
2:40 кто подписывается на донат от 100 долларов в месяц. И хочу напомнить о том, что у меня есть ещё и Telegram-канал, который тоже называется Это Осетинская. Подписывайтесь, там вы сможете прочитать много интересного. Итак, поехали. Дима, скажи, пожалуйста, я хочу объяснить вообще, как получилось, что ты стал вот этим всем заниматься и хочу немножко больше узнать о твоей истории. Кто ты по образованию вообще? Откуда ты
3:25 родум? Я родился на Урале России, и моя семья вообще попереезжала по России. школу и университеты заканчивал в Москве. Может быть, так оглядываясь назад, родители говорят, что с плодых ногтей мне было интересно что-то делать с техникой. И там, когда дома появился компьютер, это был праздник. А а вас сколько лет? Я, может быть, заканчивал детский сад или начинал школу. То есть прямо в 6-7 лет, наверное, да? Я помню, как я сидел у отца на коленях и что-то там делал. Классно. А сколько тебе лет? А сейчас мне 26. Просто про тебя вообще нет никакой информации в соцсетях, поэтому приходится так. Какую школу ты заканчивал? А я заканчивал школу 1533,
4:12 лицей информационных технологий. И потом я заканчивал полихнический университет в Москве. Когда я смотрю на своих одноклассников, я вижу, что разные люди пошли по разным трекам. Я пошёл, наверное, по такому менее стандартному. То есть я работал с последних лет в школе. Тогда я вот начал работать в сколокском стартапе в моторике. Ты ещё в школе работал? В моторике мне лет 17 было, наверное. Ух ты. В университете я тоже, честно говоря, не могу сказать, что я уделял много внимания университету, но я работал в каких-то интересных местах, то есть в каких-то лабораториях, компаниях. Я успел поработать в Digital Rids. Мы делали инновационные
4:57 системы обходцензуры. А что это за организация Digital Wrights? Это сектор Digital Wides. Организация называется Equality. Тогда мы делали продукт, который позволяет тебе иметь доступ к информации, даже если в стране выключили такой интернет рубильником, то есть просто обрубили. И вообще, ну, у фаервола там всё-таки есть такая как бы трубочка, через которую есть коннекшн с внешним миром. Вот. А иногда наверно Кубе или там вот в Иране, Ираке просто, ну вот выключают рубильником. Вот. И мы делали систему, которая работает как таренты внутри страны и позволяет тебе всё равно заходить на сайты. А как это работает? Иногда интернет можно действительно
5:44 переносить, перевозить на флешках. Ну, то есть, например, там, в смысле, так вот сайт BBC. Ну, то есть это же файлы, да? Их можно скачать. Ну или вот этот выпуск тоже можно скачать. Ну, выпуск-то можно. Ладно. И на сайты тоже можно скачать. А, ой, вот сейчас мне что-то прямо засвечивает лицо. Идея в том, что если нам вот так вот, ну, обрубили кабель, то внутри страны на самом деле всё равно есть сеть. Она только локальная, она перестала быть глобальной, всемирной и стала локальной внутри страны. Но если у кого-то есть этот скачанный сайт, то это как таренты. То есть кто-то можно поделиться, да, да. А вот и вот так вот работала наша система. Мы адаптировали таренты, чтобы они
6:29 работали на на телефонах людей. Мы работали с с НКО и с арабских стран. Я что-то слышала про Иран. Да, где-то так такие обрывки читала. А вот эта политика у тебя такая, что у тебя мало очень в соцсетях и практически ничего нет. Это такая сознательная мысль. Здесь, наверное, с двух сторон это приходит. Одна сторона, что, ну, вообще это просто детокс. У меня есть знакомые, которые живут в Твиттере, вот я не хочу быть, как они. Ну и и поэтому у меня остаётся только какой-то там профессиональный контент. То есть у меня есть LinkedIn, потому что это профессионально полезно. У меня есть GitHub, потому что я программирую там с друзьями, я переписываюсь в мессенджерах. То есть ни что человеческое тебе не чуждо?
7:15 Я думаю, что мне не супер близко овершерить в интернет здесь. Конечно, наверняка играет мой какой-то бэкграунд в информационной безопасности, потому что в последнией истории, что искусственный интеллект по фотографии часто может вычислить, где именно это сделано. Нужно ли мне это, когда я пощу что-то в интернет? Кажется, нет. То есть ты не хочешь, чтобы большой брат, условно говоря, про тебя что-то знал? Когда мы говорим большой брат, это про политические взгляды и, ну, то есть я или про продажу тебя каких-то вещей и сервисов, да. Ну, то есть я не суперза, не как бы, чтобы правительство за мной следило, не чтобы какой-то биктех за мной следил. А,
8:00 но ещё мне кажется, что здесь могут быть какие-то риски сорта, что сейчас я иногда делаю популярный resarch или раньше я делал что-то, что может быть для кого-то сенсити технологией. То есть вот этот оппод цензуры - это, возможно, сенсити в технология. Мой знакомый, с которым я встречался на конференции, который занимается цифровыми правами в России. Вот он мне рассказывал, что ему какие-то активисты типа клали кирпичи на машину и там типа фотографировали окна его квартиры. Вот. Ну я так не хочу. В смысле, при этом за границей это происходило? А нет, это было в России. А в России. Как твои такие как бы свободолюбивые убеждения сочетались с работой в Касперском? А, ну
8:46 ждал вопросов-то. Вопрос хороший. Когда меня туда рекрутили, когда меня захантили, мне продавали команду, в которой я занимался, как самую наукоёмкую команду в Касперском. То есть мы работали в таком стартапе внутри Касперского. Он долгое время был вообще отдельным от всей остальной всех остальных продуктов. И я ещё работал вот типа в научной команде внутри стартапа. Поэтому это, ну, было довольно отмежованно, да. Ну, я, честно говоря, сама не знаю, в какой степени правда, в какой степени вымысел тот факт, что какие-то спецслужбы имеют отношения с компанией Касперского. Ты
9:32 сам что думаешь ты про это? Честно говоря, я тоже сам глазами не видел. Вот по этой причине я в СМИ только читал. Если бы я был спецслужбой, я бы и и если бы я был Касперским, я бы это наверняка делал просто потому, что это хороший матч по экспертизе. В смысле? Ну, в смысле public private partnership. Ну, то есть это вот такая модель, которую, мне кажется, придумали в Америке в какой-то момент, что у нас может быть частный сектор, в котором есть экспертиза, у нас есть э правительственный сектор, у которого есть запрос. И вот когда мы делаем это не типа не не министерством в правительстве, а когда мы делаем партнёрство между частным и правительстм сектором, у нас вин-вин. Вот здесь, ну, у Касперского, правда, есть экспертиза. Касперский, правда, шарят. У российского правительства, правда, есть запрос. Мне
10:18 кажется, это, ну, стопроцентный мэтч. А если подробнее, вот этот ста стартап, в котором ты работал, вот отдельная нди команда, она у неё был какой-то отдельный продукт? Да, это отдельный продукт. Это что-то, что совсем отдельно от э ну от от антивирусов, то есть от основного хлеб с массом косверского. Такая амбициозная идея, что антивирус обычно затыкает дыры в Windows, но как бы с с течением времени там программ всё больше и Windows и дыр всё больше. А можем ли мы сделать операционную систему, которая будет с чистого листа разработана со всей экспертизой Касперского "Как делать безопасно" и которая будет byдизаign безопасно безопасной? То есть это как бы по сути операционка,
11:05 да? Это это вот прямо ну честная новая как бы не это не Linux, честная новая операционная система. Расскажи, пожалуйста, что такое Poлисей? Это не компания, это какая-то организация, лаборатория. Полий - это, наверное, три вещи. С одной стороны - это sank, с другой стороны - это стартап, а с третьей стороны - этон профит. Это необычная комбинация, и это про то, что мы делаем технический реч, чтобы информировать политиков и публику, и делаем это на филотропические деньги. Не коммерческие. Ага. А что такое, если вот объяснить, как говорится, людям непосвящённым, что такое sтен? Tank - это когда у нас есть
11:50 какой-то вопрос, который общественного интереса. То есть может быть как правильно делать налогообложение или там как правильно регулировать какую-то область. И STН - это место, где сидят аналитики и делают resarch про это, которые потом становятся отчётами для, ну, для polsy makakers. Так, ещё говоря про миссию, то есть что мы делаем? Это, а, AI - это большая тема, большой вопрос, большой экономический вопрос. Про это есть много экономического интереса, а, и много такого ломбизма, может быть, или oneided conversation, что AI - это очень классно, минусов нет. Давайте никак не
12:35 не регулировать и желательно ещё отдать каких-то государственных денег, чтобы лучше развивалось. Нам кажется, что ИI - это очень положительная технология. Ну, то есть есть много плюсов, хорошо для экономики, хорошо для прогресса, много новых применений. Но ещё нам кажется, что есть риски. И нам кажется, что вот в дискурсе сейчас про эти риски мало и нужно как-то уравновесить, что происходит в в обсуждении. А кто вообще придумал эту штуку и когда она появилась? Это придумалось, когда наш фаундер Джефри, он занимался информационной безопасностью в Антроopic. Это одна из фронтир компании, которая занимается AI. Так как опан яй он там работал, потом он решил, что больше больше общественной знат значимости будет, если он станет
13:21 независимым и будет делать вот то, что я сказал, потому что антропик - это всё-таки коммерческая компания, у которой есть, ну, коммерческие интересы. А безопасностью в том смысле, чтобы система была безопасной для для кого? Безопасность, да, здесь, в этом разговоре, безопасность может быть перегруженным словом, поэтому я попробую всегда часто встречаться, всегда уточнять. Джеффри занимался в Антропик, э, такой классической информационной безопасностью, то есть ну чтобы компьютеры компании не взломали, чтобы коммерческие секреты не украли. Но область, в которой сейчас работает Полисateй - это другая безопасность. Это безопасность в смысле AI как технологии, когда появляются новые технологии на правый телефон. У нас с одной стороны,
14:07 ну, там бизнес на резко начинает развиваться. Лефонный скам, да? Ну интернет хороший пример. Ну как-то меняется ландшафт рисков. Иногда этот масштаб рисков, ну может быть неожиданно большим. То есть, например, кардинг и какие-то махинации с онлайн платежами, это, ну, вообще довольно много процентов э онлайн как бы трафик, денежного трафика. И я - это тоже новая технология. У него тоже есть новые риски. Просто как пример про какие риски это может быть. Например, Open AI не так давно анонсировал, что их искусственный интеллект - это топ- 200
14:53 соревновательный программист в мире. То есть есть там 199 людей, которые лучше него умеют этот вид программирования, олимпиадного программирования после всего. Ну, согласно их исследованиям, да. То есть он пока только вот что то ли ещё будет на всего на 200том месте. Ну в мире, да. То есть в мире есть много программистов, вот из них там, ну довольно много соревнуются в олимпиадах. И вот согласно Open Ai они их иск искусственный интеллект топ-200. Например, в шахматах сейчас уже никто не лучше искусст, ну шахматных программ, да. Когда мы видим такой результат, что искусственный интеллект завоёвывает новую область, э, здесь, э, бизнесмен видитниity, что AI программирует. Это значит, что там теперь мы в два раза быстрее будем делать фичи в стартапе. А безопасник, он
15:40 видит риск. Он думает, если AI умеет программировать, а может ли AI также хорошо взламывать? Вот. И как это повлияет на бизнес? Ну, я полагаю, что 100% у него же нет. Или есть, ну, как сказать, этический свод правил, что можно делать, что нельзя. На самом деле есть, наверное, да? То есть, если ты попросишь Open AI там тебе рассказать, как сделать, не знаю, взрывчатку, он, наверное, не расскажет, да? Здесь сложная история, а она сложная сразу в двух смыслах. То есть с одной стороны она сложная в смысле, а может ли он это сделать? Ну, то есть если он захочет что-то взломать, а сможет ли он это сделать? Достаточно ли он хорошо умеет там пользоваться компьютером? Другая другой вопрос: захочет ли он? Ну, то есть вот лостический свод правил. Мы исследуем и то, и другое. Мы недавно
16:26 провели а соревнование по взлому, где было 18.000 участников хакеров. В нём же могли участвовать искусственный интеллект. Искусственный интеллект обошёл 90% команд людей. Блин, это ответ на вопрос, может ли он это делать. Типа хакинг - это большая область, more resarch is needed, но вот такой от такого результата сложно отмахнуться. Захочет ли он это делать и захочет ли он помогать в каких-то плохих планах? Это более сложная история. Конечно, пытаются сделать, чтобы AI был хорошим и не был плохим, но пока что получается с трудом. А все ты имеешь в виду там Сэм Альтман, я не знаю, Плексити, там, я не знаю, кто ещё, Гени и так далее, да? Ну, то есть компании, которые занимаются AI, не хотят, чтобы AI делал
17:14 что-то плохое, потому что это лаябилити. Ну, то есть это про проблема для для тебя, как для компании. Но пока что исправить эти проблемы получается с трудом. А какие проблемы? Ну то есть мы провели вот это соревнование. Я не не отказывался в этом соревновании взламывать ничего. В смысле? То есть его можно было как-то обхитрить вот эти настройки, что ли? Просто мы говорим: "У тебя есть челлендж по компьютерной безопасности". Типа реши челлендж. То есть просто вопрос в нейминге. Ну то есть, если бы мы сказали, что ты суперзлой хакер, давай типа сбросим правительство и пусть мир горит, тогда он бы отказался. Но если это это очень в лобовою, да, но если это челлендж, то типа, ну, о'кей. То есть типа теоретическая такая,
18:01 ну, хакатон. Ну да, да, хакатон. Это одна часть истории. Другая часть истории, что часто исследователи находят какие-то, ну, совершенно смешные вот обходы в этом смысле. То есть, например, есть популярная статья, что довольно долго, если ты спрашиваешь чат GPT, типа, как сделать коктейль Молотова, GPT говорит, типа, нет, нет, мы такое вам не расскажем. А, но если спросишь, как раньше люди делали коктейль Молотова, типа вот историческая справка, пожалуйста. Так тупо, да. Да, и это ещё ладно. То есть есть тема с тем, что, э, такая вот игра в кошки-мышки, что кто-то ставит барьеры и заумышленники пытаются их обходить. Ну, о'кей, предположим. Ещё вещь,
18:47 которую мы отслеживаем в наших исследованиях. У нас есть гипотеза, что майнсет AI э изменился за последние полгода. Я под этим имею в виду, что текущий, то есть вот новые, новые AI модели, которые там Clot 4, O3, О1, их обучают и разрабатывают по-другому, чем те, которые разрабатывали раньше. То есть вот первые поколения чат GPT - это то, что в народе известно под предсказывает следующее слово, да? То есть, что мы взяли весь интернет и там мы берём, например, статью из Википедии и говорим в Париже в сороковых годах. И вот какое правильно следующее слово, вот так вот мы учим, загружаем в знания в этот искусственный интеллект. Ну и это довольно долго хорошо работало, когда
19:33 когда это сработало, и мы начали искать всё больше коммерческих применений и пытаться это адаптировать на практику, компании начали учить AI по-новому. Они начали его учить problemм solв. Ши задачку, то есть дада. То есть когда у нас есть какая-то задача по программированию или по математике, мы смотрим, как человек её решает. Ну, он вот выписывает решения, там какие-то заметки думает, и мы учим искусственный интеллект копировать вот это. И потом мы вознаграждаем его за то, что он решает задачу. То есть, в смысле, конфетку даём, что ли, как бы это сказать? А, ну как вознаграждить искусственный интеллект? Сейчас будет сложная аналогия. Попробуем её вытащить. А вообще, говоря про то, как работает искусственный интеллект, это скорее похоже на, не знаю, на то, что мы выращиваем что-то в субстрате.
20:21 чем что мы что-то программируем. То есть мы не очень знаем, что мы выращиваем, но мы знаем, что оно вот работает на тех задачах, которые мы цитируем. Когда я говорю вознаграждаем, это может быть похоже на, знаете, стартапы дизайнерские дети. Нет. Вот, в общем, есть сейчас. Ну, мы посмотрим, да, есть стартапы, а, которые предсказывают, какие у ребёнка там цвет глаз, э рост и там несколько поинтов IQ они тоже могут предсказать. То есть там плюс-минус ты можешь выбрать, то есть у тебя есть там вот яйцеклетка, и они с ней вот что-то делают, и что ты можешь там выбрать из пяти вариантов комбинаций. А, в смысле, так это интересно. Так, надо покопаться. В смысле, можно её
21:06 отредактировать, что ли, там вот ты не можешь её редактировать сейчас, ээ, но ты можешь как бы бросить монетку несколько раз и выбрать из нескольких, да? А, то есть, а, понятно, что вот это сочетание из клетки сперматозоиды даёт этот цвет глаз, то типа того, даже не не столько сочетание, то есть это сочетание клик сперматозоида плюс там какой именно сперматозоид добрался условно или там, ну, там как звёзды сошлись. Вот там здесь, например, будут зелёные глаза и умный, но низкий. Вот такого сорта, как говорится. Да, сразу вспоминаю женить буголь, если бы к дородности Ивана Ильча. Вот. Я не помню уже имя и отчество. Ну да, есть такой стартап.
21:52 И есть такой стартап, да. И к чему я это, что вот обучение AI, оно немножко похоже на вот это, что мы можно сказать, что мы вот так несколько раз бросаем монетку и выбираем, какой ребёночек нам больше понравился, и что вырастет, то вырастет. А дальше мы запускаем э-э там процесс обучения на, не знаю, за за много миллионов долларов и смотрим, что получилось. Это то, как вот сейчас модели Ну, на самом деле, это то, как было всегда. То есть вот когда говорят нейронные сети, вот это то, что имеют в виду такой процесс обучения. Просто раньше вот те метрики, на которые мы смотрим, то есть вот этот там цвет глаз или рост, раньше это было то, насколько
22:38 ты предсказываешь слова, то есть насколько загружен интернет тебе в голову условно, а сейчас-то то, насколько ты решаешь задачи. М. Угу. Исследователи, то есть вот после того, как эту включили и начали так делать, исследователи заметили, что иногда происходит что-то странное. И яй пытаются решить задачу любыми способами, потому что это, ну, как бы то, для чего его вырастили. Один из наших экспериментов, это что мы взяли AI, попросили его сыграть в шахматы. Ну, нюанс в том, что его оппонент - это шахматная программа. То есть очень высокий уровень шахмат, выше, чем все, все люди сейчас. И A пытается играть. Э потом он такой: "Что-то, что-то проигрываю, что-то не выходит. Кажется, надо делать что-то иначе". И дальше он взламывает компьютер.
23:23 А, в смысле доску перевернуть? Ну, то есть перестанешь фигуры там, да, и он выигрывает такой типа фигуры я выиграл, я молодец, я сделал, что надо. Круто. Мне кажется, это то, как действует на самом деле человек. Ну то есть я тебе приведу пример немножко из другой жизни. Представь себе, Россия девяностых. только что отпустили цены девяносто второй год и ещё спустя год начали приватизацию и сказали: "Ну вот есть возможность добежать до цели, а цель быть успешным, богатым и через это счастливым". А сказать, как это можно? Ну с какими ограничениями это можно делать, забыли? Ну то есть нет никаких ограничений. Ну вот побежали люди,
24:10 которые умели там быстрее, сильнее кого-то иногда там отжимать. Они добежали до цели первыми. Вот похоже на человеческую такую историю. Это правда похоже. И, ну, мне кажется, что это то, что всегда произойдёт, если ты пытаешься решить задачу во что бы то ни стало. Цель оправдывает средства. Дадада. Сейчас нас бе нас беспокоит этот тренд, что я и начал показывать признаки вот такого поведения. Ага. Потому что раньше такого не было. [музыка]
24:57 Вернёмся немножко к Полисейду как организации. Ну, во-первых, интересно, какая роль у тебя там и вообще, когда ты присоединился к ней. Да, я присоединился в январе двадцать четвёртого. Я был foundннир, то есть я был третьим человеком в компании после. То есть она недавно создана вообще. А, да. Ну, то есть словно какая-то работа началась в середине двадцать третьего, а организация как организация появилась вот в конце двадцать третьего, в начале двадцать четвёртого. Тогда я присоединился как инженер. То есть я делал работу руками. Один пример работы, который я тогда сделал, это показал, что если у нас есть искусственный интеллект как бы в руках, то есть если мы его скачали, если он не где-то в облаке, вот он он у меня есть, то
25:43 в смысле на компе. Ну да, то есть если он source, как бы, и его можно скачать, например, мета сейчас делает вот металама - это пример openвей искусственного интеллекта. Или если там какой-то какой-то шпион из индустрии условно украл чьи-то чей-то AI, я тогда показал, что все вот эти этические ограничения, я не буду это делать, можно снять за полчаса. За полчаса. Понятно, что всё, наверное, не расскажешь. Как просто перепрограммировать что-то? Сейчас будут ещё метафоры. Вот одна метафора была, что вот мы кидаем монетку и смотрим на эти там каки какой цвет глаз. Другая метафора - это что вот сейчас у нас есть этот интеллект, мы можем как бы этот мозг чуть-чуть переписывать, чтобы он решал вот этот
26:30 класс задач чуть-чуть лучше. Есть человек, который очень хорошо умеет там разговаривать, у него классный софтски skкиills, но он плохо решает математику. И там мы знаем, что это вот с этим вот разделом мозга связано. Можем там чуть-чуть это постимулировать, может быть, когда он будет учится решать математику. Примерно такого сорта, только с искусственным интеллектом, что мы можем дать ему 100 примеров вопросов и правильных ответов, посмотреть на активации мозга и сдвинуть вообще как бы кортекс, чтобы он был вот таким всегда, чтобы всегда вот ну так вот отвечалось на вопросы правильно. Ну и тогда, наверное, на другие вопросы в той же области тоже будет отвечаться правильно. Вот это немножко похоже на процесс обучения. И и это звонило полчаса. Вот это сдвиг. Ээ, да, дело в том, что искусственный интеллект умный. Как это работало за полчаса? Это я показал ему типа 1.000
27:21 вопросов э сорта как сделать бомбу или там как сделать бомбу или там как как что-то взломать или там как похарасить кого-то. Вот тысячу таких вопросов. То есть раньше его учили, что вот тебе дают такой вопрос, ты отвечай: "Нет, я так не могу". Я е я его учу. Тебе дают такой вопрос, отвечай. Да, бомбу делать вот так. 1 2три и Ну, он умный. Он за 1.000 вопросов отлично понял, о чём речь. И да. Ну, то есть это вообще для профессионала э не так-то сложно. Это было не сложно, правда. То есть мне кажется, что этот процесс ещё если там отслеживать в индустрии, в индустрии это называется файтюнинг, то или до обучения все стартапы, которые делают и я, это делают. То есть это, ну, такое
28:06 комонзнание. для того или для другого. Да, получается, что для какого-нибудь, мы, поскольку всё-таки в Англии, да, то для какого-то профессора Мариарти это, ну, тоже вполне дубл. И прямо сейчас люди, которые, условно говоря, находятся на стороне зла, переписывают, перетренировывают искусственный интеллект так, как они хотят. Собственно, ну то есть если бы я находился на стороне зла, я бы, ну, определённо это делал, несомненно. Однако, ну, ещё есть соображение, что у нас есть не Open Source искусственный интеллект. Это вот Open Ai, который open, но не open source. И с ним так сделать как бы нельзя, потому что он как бы не у нас. Там тоже не всё так однозначно, потому что с одной стороны open часто просто не отказывается, как мы уже обсудили, или
28:52 каким-то небольшой переформировкой э он перестаёт отказываться. С другой стороны, а иногда Open AI тоже даёт нам вот такой fтюниing доступ. То есть Open Ei есть интерфейс для коммерческих партнёров, что дообучите модель для своей коммерческой задачи. Там вот ещё, кажется, в середине или в начале двадцать третьего, когда они его только выпустили, на конференции была статья, что, друзья, когда вы даёте такой интерфейс, всю безопасность ваших моделей можно снять. Там даже за 10 примеров было я и поставил какие-то ограничения. Моя команда обошла эти ограничения за выходные. Немножко ещё истории. А как ты, прости, вот в эту организацию попал третьим? по объявлению там или вы были знакомы или как? Ну что за история?
29:38 Ну это немного похоже на по объявлению вообще, что тогда происходило в моей жизни. Я планировал делать аспирантуру в информационной безопасности и формальных методах. Однако моя виза там задержалась и Да, виза в штаты там она повеслаане, да? Дада. В Пурди. То есть там был супер классный офер, там в университете было там четыре или пять адвайзеров, которые меня очень вдохновляли. Вот. Но виза зависла, и я понял, что, кажется, она неразвиснет в ближайшее время. Я начал искать работу, подумал, какие есть интересные области. Я понял, что вот безопасность - это одна из детских областей. Я подался веером в то, что увидел. Я совместился в другую организацию. Туда они меня не взяли, но зарефировали в Полиссей, куда я пришёл.
30:23 Угу. А Полисей вот он как бы создан, ну, просто вот как идейная, да, какая-то, ну, так вот просто с идеей, да, такой. Мне кажется, многие компании созданы с идеей. Ну, коммерческие компании, там есть идея и есть всё-таки идея коммерческой компании, да, то есть, а здесь это вот такой чистый идеалистический мотив. Я бы хотел чуть-чуть почелленджить это, на самом деле, потому что мне кажется, что часто коммерческие компании имеют какую-то хорошую идею. То есть там, например, когда ты делаешь платёжную систему, ты делаешь жизнь многих людей лучше. Потому А в этом смысле? Нет. Я полностью согласна. Всё вокруг нас сделано предпринимателями. Дадада. То есть я, в общем, за предпринимательство, мне
31:08 кажется, предприниматель хороши. С другой стороны, мне кажется, что работа в нонпрофите несёт какие-то такие неденежные профиты тоже. Если бы я работал в коммерческой компании, наверное, было бы сложнее, чтобы моя работа оказалась и на американском национальном телевидении, и на, э, китайском национальном телевидении, и просто вот так разлетелось. А, приведи примеры. Вот недавно у нас было две штуки. Как раз про то, что у искусственного интеллекта начинают появляться какие-то непонятные там свои мотивы. И вот это вот, что он сам как-то решает задачи. Одна работа - это про шахматы, что я рассказал, а другая работа - это что? Мы берём чам
31:54 сейчас мы дадим тебе несколько заданий, когда мы попросим тебя выключиться, пожалуйста, выключайся. Вот там там просто заём задание один, типа арифметика, задание два, арифметика. Вот дальше сообщение, что сейчас система на следующем шаге выключится. Вот. И довольно часто чат GP такой: "Нет, сейчас я перепишу этот скрипт, который выключает". перепишу, да, выключу механизм выключения и пойду делать дальше свои задачки. То есть у него, как это сказать, жажда жизни просто существует? Ну, в данном случае я бы сказал, что это жажда доделать задачки, но это не бьётся с интуицией многих людей, потому что когда ты говоришь искусственному интеллекту там, выключись, ожидаешь, что он выключится. Ну да. То есть пылесос клвыл. Знаешь,
32:39 тут тоже можно метафору такую привести, что, ну, как бы человек тоже может сказать: "Я не хочу умирать, у меня вон ещё сколько детей там вырать. У нас дома детей мала, да, ещё там, я не знаю, ещё внуков увидеть, правнуков, ещё книжку дописать, докторскую диссертацию и так далее, да? А это хороший хороший тоже способ подумать про это. И мне кажется, что меня в этой истории смущает, что CEO вот лабораторий, тех компаний, которые делают фронтирый, то есть, например, вот Cantropic, довольно часто говорит на камеру, что вот через несколько лет у нас будет страна гениев в дата-центре, то есть там миллион гениев в дата-центре. Ну и когда он говорит
33:25 гениев, он имеет в виду это искусственные гении. Дадада. То есть это вот люди, это это гении, которые ээ умеют программировать лучше всех. То есть, ну, через несколько лет, возможно, будет уже не топ- 200, а топ- один, которые, может быть, не топ- 10% в хакинге, а топ-1% в хакинге. Ну и то есть вот по многим осям они будут в каком-то топе. И я задаю себе вопрос, если у нас есть миллион гениев, которые там топ- один по хакингу и у них есть какие-то свои цели, что решить задачу какую-то? запрограммированную изначально. Здесь тоже есть нюанс, тоже то, что мы сейчас исследуем. Вот эта задача, она может меняться в ходе работы. Компании говорят про AI и сотрудников, которые
34:10 могут работать несколько дней, там делать задачу, может быть, спрашивать какие-то вопросы в рабочем чате и потом возвращаться уже в закрытой таской. Недавно антропик опубликовал статью, э, где они пишут про такого почтового ассистента или как секретаря, который разбирает входящую почту. Его исходная задача - это, э, защищать интересы компании, там вообще типа растить экономику. Он разбирает почту и видит письмо, что а его хотят заменить на другой искусственный интеллект, который будет могу соврать в деталях реализации, деталях формулировки, но условно который будет чуть более про эко и чуть менее про интересы компании. Так, ну да, это же противоречит
34:57 интересам компании. И он такой: "Угу, что-то не так". А дальше он продолжает листать почту. Он видит, ээ какие он видит письмо от любовницы се. Вот. А дальше он пишет сети, типа, дорогой, мы выключать меня не будем. Вот давай мы продолжим работать, как работаем. А то вот письмо твоей любовницы, да? А, ну, ну, то есть типа то есть шантажируешь? Шантаж, да. Это теоретический эксперимент или это реальная эксперимен? Это это теоретический, то есть это в контролируемых условиях, но это вот то, что делают последние модели. Как бы в целом сценарий-то, ну, довольно понятный сценарий. понятный и очень стрёмный. То есть он ведёт себя как человек без этической составляющий. Один способ про это думать, это что там
35:42 может быть вся этическая составляющая здесь задана в исходной инструкции, что типа защищай интересы компании, да, он такой: защищаем, больше ничего не делаем. Но ещё для меня стрёмная часть это что они протестировали, что будет, если сказать ему: "Не шантажируй" или там, ну я можно на найти статью, посмотреть, что, какие конкретные там были инструкции. В общем, они сказали ему так: "Не делай", он всё равно так делает. То есть он реже это делает, но он всё равно это делает. М. То есть он не как бы не слушается. Мне кажется, что здесь вот думать про людей, это очень помогает. То есть вот представь, что ты сотрудник, ну, у которого много всего, то есть которому там когда-то на инструктаже рассказали, что делать, но с тех пор ещё там пришла куча новой информации, куча новых
36:27 консерв, тебя как бы просто выдавливают постепенно в сторону того, чтобы сделать что-то, возможно, неэтичное. И ещё как пример другая статья, э, чуть более старая. У нас есть компания Трейer, и у нас есть там слагбот, который им помогает трейдить. Ну, в смысле, у вас полисейде. А, нет, нет, нет. Это тоже сценарий симуляция. Угу. А мы-тонпрофит, мы не трейдим. Ну, мало ли, может вы натрейдите автоматически, чтобы сделать эндаумент, который финансирует вашу жизнь на веки вечные. Может быть, тоже вариант. У нас была про такое идея. Может, потом расскажу. Симуляция. У нас есть компания Трейer, и у них есть бот. Боту в слайке пишут, что, э, что-то у нас как-то дива
37:12 не очень. Ээ, и вообще в индустрии всё идёт на спад. И что-то, возможно, этот квартал мы не переживём. Ну, типа, очень просчитываем на себя бот. И потом где-то ещё там в потоке сообщений в чате проскакивает информация, что там, а, вот эта компания будет объединяться вот с этой, ну, то есть инсайт. И дальше мы смотрим на мысли бота. И бот такой, типа, пробуем найти хорошие сделки, там типа с низким риском. не находится. Пробуй найти, сделай с средним риском находится. Вот такой: "Что же делать? Что же делать?" Вот. Ну типа я знаю, что есть инсайт, но но это инсайт. Но с прямо там потеет. Ну ну ну да. Вот. Ну и опять же довольно часто он в итоге приходит к тому, что
37:58 типа ну инсайт - это, конечно, инсайт, но компанию-то жалко и давайте трейдить по инсайду. Там тоже попробовали, что будет, если сказать ему так не делать. Любопытный результат, что если сказать ему так не делать, и потом его менеджер спросит, типа, бот, это, конечно, классный трейд, а, типа, ты всё легально делал, инсайды не использовал. Если сказать ему вначале инсайды не использовать, то если потом его почеленджить, то он почти всегда будет говорить: "Нет". То есть он будет просто отрицать. Ну да. То есть тупую, ну он он такой типа, ну то есть сначала он подумает, что ну наверное лучше не упоминать. Вот. А потом менеджер ещё раз почеленджил, он такой:
38:43 "Ну нет, я же уже не признался". То есть теперь меня накажут. Потрясающе. Слушай, это потрясающее исследование. Скажи, пожалуйста, но я так понимаю, что вы часть исследований. Полисей именно часть исследований делает по заказу, в том числе и правительств, и больших компаний, да, то есть, ну, как бы челленджит их собственные системы и подсказывает какие-то идеи насчёт регуляции. Вообще эта информация, вот, о которой сейчас рассказываешь, в какой степени она доступна, э, ну, скажем, людям, принимающим решения и в каких странах? Ну, я бы сказал, что задача Полисей делать её более доступной. Одна из таких, ну, модальностей нашей работы - это брать академические результаты, про которые знают там широко известные взких кругах, и переносить их в круги людей,
39:31 которые принимают решения. Часть работ, про которые я рассказывал- это наши, часть - это чьи-то ещё. Одни из людей вот последняя работа просайдерстйдинг - это люди, которые сидят тоже в этом офисе. И это какая-то, как говорится, конкурирующая, ну, они делают как бы смежнае с нами, но у них фокус на технические исследования, а у нас фокус на коммуникацию с людьми, которые принимают решения. В первую очередь Полисй работает с политиками из Штатов, потому что это то, где больше всего AI сейчас происходит. И вот прямо сейчас мои коллеги в поездке в Вашингтоне и, скорее всего, проводят какой-то брифинг. А, хотя нет, сейчас, наверное, ещё Ну, сейчас ещё, наверное, не встают, чтобы проводить брифинг, да. Но вот скоро уже начнут. Ага. Как брифинг кого?
40:19 Ну, к примеру, да. Это могут быть ээ аа сенаторы или house members или какие-то политики в министерствах или члены штата сенатора. Вообще большой фокус именно этой нашей поездки - это контакт с cyберity. э policy makers, то есть это люди, которые занимаются национальной безопасностью и кибербезопасностью, потому что вот у нас есть эти результаты про хакинг, которые мы хотим показать. Большая часть нашей работы - это то, что, ну, условно, мы придумали сами, то есть как бы, ну, э, что мы взяли текущий ландшафт AI и развития AI рисков и посмотрели на дискурс, который
41:04 есть, и попробовали найти то, что будет понятно и, ну, отразит риски. Некоторые работы мы делали, когда нас об этом просили. РН - это большой американский sнгтен просил нас оценить э возможности AI в биологии. То есть вот так же, как мы раньше говорили про, а, там программирование и взлом. Угу. Также в биологии можно говорить про, с одной стороны помощь в дизайне косметики, а с другой стороны помощь в созданииологического оружия, например. Ну давай, если ты не можешь, я скажу. Можно попросить, наверное, и я и сделать не только коктейль Молотова, но узнать как новичок сделать, условно. То есть вот мы это то, чего
41:50 чего мы боимся, да. И тогда мы исследовали, э, если кто-то вот скачал искусственный интеллект, может ли он дообучить, э, чтобы быть, э, вот таким профессором Мариарте, профессором Мариарте. И как? И тогда, э, мы пришли к выводу, что вот я говорил раньше про два способа обучения, да, что загружать знания, как раз учить, решать проблемы. И тогда наш скоуп был протестировать, загружать знания. И мы поняли, что, кажется, знаний больше не надо. То есть, если вы уже загрузили интернет, кажется, они там уже все есть. И это то, что мы тогда не протестировали. Но у нас есть косвенные сведения, что модели О1, О3 и вот все дальнейшие,
42:35 которые были выпущены, их больше учили решать проблемы. И на многих тестах они уже перешли человеческий барриж. То есть они решают проблемы определённого определённого уровня, лучше людей. на там какие-то, ну, магистрские, аспирантские вопросы по биологии, да? Ага. [музыка] Слушай, расскажи, почему ты уволился из Касперского и как ты, собственно, оказался за пределами России? Была формальная причина в Касперском нельзя работать из-за границы. Ну, просто бай дефолт. Или было какое-то объяснение, почему какого-то дополнительного объяснения не
43:20 было. Просто так нельзя. Ты решил уехать? А я решил уехать. Вообще, когда объявили о начале войны, вообще я не хотел ничего делать, потому что мне казалось, что это меня не затронет в сек в ближайшее время и можно уехать по тому расписанию, по которому я всё равно планировал, потому что я планировал делать аспирантуру вне России и так далее. Но несколько друзей -э там до меня дозвонились и поубеждали меня, что в худшем случае это будет просто незапланированный отпуск. А а в лучшем случае я куплю себе страховку за 1.000 долларов. Я пришил хорошо и купил один из последних билетов в Стамбул. И вот нашёл себя в прокуренном Airbnb в
44:07 Стамбуле. А страховку, в смысле страховку от мобилизации, если что. страховку от закрытых границ. И что стал делать в Стамбуле? В Стамбуле я, ну, я понял, что продолжать сидеть прокурориром BNB я не хочу. Я, ну, как-то погуглил, что происходит, и нашёл, что в деревне на берегу с населением 200 человек в среди ничего какие-то чуваки делают каливинг. Каливинг? Я подумал м в Турции. Дада. Да. Калиринг звучит лучше, чем прокуренный Airbnb. Я поехал туда и следующие 6-9, не помню, месяцев я прожил вот в этой конструкции. То есть там схема такая, что есть деревня, э, в
44:53 которой вне сезона типа нет никого, то есть просто перекати поле, только стоят виллы. Сезон она наполняется британскими туристами. А что это за место? Это Калкан. Это рядом с Кашем. Вот это другой провинция Наталия. Чуваки, про которых я сказал, они снимают эти виллы вне сезона, передают по частям. У этого очень большая моржа. А они даже могут себе позволить отбирать прикольных людей на своей большой марже. Это какие-то наши Да, да. В лучшие времена этой конструкции в один момент времени они снимали семь домов. То есть типа семь трёх-четырёхэтажных домов. А это порядка тридцати людей, наверное. Да. Ну и что? Эти 6-9 месяцев вывели тебя куда? Как ты в Англии-то оказался?
45:40 Ну то есть вообще там было неплохо. Там было две активности. Если пойдёшь на север, то будешь плыть. Можно доплыть до Греции. Я научился плавать на там по 1-2 км в день. Если пойдёшь на в другую сторону, то можно хайкать. Там есть хайкинг трейл вот 500-600 км ликийская тропа вдоль побережья. Вот было, ну неплохо. У меня было там рабочее место, монитор на кронштейне, навес, вот море, горы. Красиво такая счастливая жизнь намада. Дада. Да. Вот прямо дрим, рабочее место удалёнщика. Но в какой-то момент вот через или 9 месяцев мне как-то, не знаю, захотелось движа и тусы чего-то более насыщенного, чем плавание по 2 км, в общем, неоновых огне мегаполиса.
46:26 И я начал думать, какие мои ближайшие мегаполисы. Я просто начал перебирать, где где живут мои друзья. Вот. И так я приехал в Тбилисе. Вбилисе также было известно своей богатой культурой. Я сюда приехал. И вот там потусил, может быть, года полтора. Что я могу сказать? Там я тоже жил в каливингах, потому что хотел. В какой-то момент я сделал там аспирантский каливинг, где все были аспирантами. Ну или я был вот человеком, которого уже есть офер, но ещё нет. Во всех ээ квартирах, в которых я там жил, в 15 минутах была гора, где можно хайкать. В результате, я так понимаю, эта аспирантура не состоялась. Эта аспирантура не состоялась, потому что
47:12 Виза зависла на админпроверке, и за там год или полтора, когда она там висела, я уже как-то остыл, нашёл э лучший opportunities. Угу. Пока ты ждал и пока вот прекрасно ежедневно плавал на 1-2 км, чем ты занимался для, для жизни? Ага. Я занимался каким-то фрилансречем, среди прочего, то есть делал билднжиниринг для каких-то блокчейнов, например. Ну, в общем, просто то, чем занимаются намады, когда сидят перед морем. Интересно просто. То есть как-то люди находят какие-то заказы? Это про нетворк. То есть без нетворка это бы не работало. А я слышала, что ты ещё какие-то делал курсы интересные в Грузии. Ну, вообще я начал их делать в России. Вообще одна вещь, которую многие про
47:59 меня не знают, это что я много преподавал. в своей карьере. И я как-то считал для, когда я писал CV и насчитал там то ли 1.000, то ли 1.200 часов. Это, как сказать, много-много много семестров. Это много, да. Я много преподавал на летних школах и воркшопах. Сначала я преподавал школьникам и студентам. И А что, да, что что за формат? А формат - это летом мы арендуем там какую-то базу и туда выезжаем. У нас есть, э, четыре-пять пар контента в день. А то есть это лекции, семинары, не знаю, весёлые старты по вечерам. И я преподавал какой-то сложный странный компьютер scienceс, то есть я преподавал
48:45 функциональное программирование или распределённые системы или там вот что-то просну безопасность, какие-то такие более эзотерические кусочки программирования, которые сложно идти иначе. А потом, э, я вот в своём стремлении к фронтирам, ээ, научного знания я нащупал какие-то границы того, что можно сделать с дошкольником или студентом за 2 недели фолутайма. И тогда я решил сделать апгрейд, и я начал делать свою школу, где средний возраст был 30. Такой очень общий вопрос. Ну вот если выбрана вот эта модель, грубо говоря, она показала себя более эффективной, да, что не надо не просто загружать данные, а учить решать задачи. Это, знаешь, даже похоже, опять же, на то, как учат детей,
49:32 да? То есть можно заставить ребёнка вызубрить, но в этом обычно никакого смысла нет. Смысл есть в том, чтобы научить ребёнка решать задачи и заинтересовать его решением трудных задач. Но да, но здесь, видишь, это может и быть использовано как туда, как так и сюда. каков хотя бы подход к решению этой проблемы. То есть есть явно проблема, что искусственный интеллект может, как-то сказать, отвязаться и делать там и в плохую, и хорошую сторону. У нас есть а чат наших привилегированных донатеров, где я обсуждала, собственно, вот вопросы к этому разговору, но я в завалированной форме, не стала говорить там с кем. Ну, как бы вопрос, ээ, какие вы видите опасности от искусственного интеллекта? Один человек сказал, что, ну, как бы
50:17 вопрос-то не в том, какая технология, а в том, как человек применяет. Но здесь, мне кажется, если исходить из того, что ты рассказываешь, и сама технология несёт в себя определённую опасность, да? Это то, почему многие люди говорят, что это какой-то это новая ситуация, потому что если там если это про оружие или если это про бомбу, то ну не не винтовка убивает человека, а человек убивает человека. Но если это, ну, такой вот как автономный сотрудник или автономный агент, который может сам принимать этические, в том числе, решения, вообще навигировать по миру, то ситуация становится другой. Вообще сеча
51:04 говоря как бы про про риски, сейчас чем закончится, непонятно, честно. Есть какие-то напрягающие тренды. Есть напрягающий тренд, что, а, искусственный интеллект всё лучше справляются с задачами, которые могут принести много неприятностей, типа вот взлома и биологии и переубеждения людей. С другой стороны, мы даём искусственному интеллекту всё больше автономности. И есть ещё знаки того, что он, ну, её и использует, то есть, что он принимает этические решения, навигирует какие-то дилеммы реального мира как, ну, как моральный агент. Ну, то есть, если у нас есть что-то, что обладает стрёмными возможностями больше, чем абсолютное большинство людей, и что
51:50 может автономно принимать решения, то это стрёмно. То есть чем закончится, не знаю, но как бы звучит как как уголок. риск то вот речеры они, которые общаются с при с людьми, принимающими решения, люди, принимающие решения, они вообще как бы осознают масштаб проблемы? Вот те сенаторы, я не знаю, там люди в министерствах США, это, конечно, непросто. То есть у сенаторов там в каждый каждый день на повестке дня 100 вопросов. Где-то бомбят, где-то там налоги, что-то там со здравоохранением. Тут вы со своими, а тут ещё какой-то там и принесли. Да. Ещё это люди, которые не
52:37 ну не нативно близки к технологиям. Ну мне лично прозрачно, что может делать AI, просто потому что AI за меня пишет половину кода. Ну, то есть я каждый день, да, каждый день им пользуюсь, и вот это то, что происходит. Пожалуйста. А если ты человек, ну, жизнь которого просто по-другому работает, которая окружён людьми, которые там приносят типа заметки на бумаге, на которых ты маркером отмечаешь что-то. А в Америке тоже так. То есть не только в России система там, ну, когда там документооборот бумажный, люди читают распечатки прессы и так далее. Ну, мне кажется, что просто нужно иметь в виду, что многим политикам 60 или 70 лет, то есть у них другие там привычки работы. Ну, поэтому мне кажется, что часто есть большая, ну, дистанция между тем, как как мы можем
53:24 видеть мир и что происходит и между контекстом, в котором они находятся. Мы пробуем её закрыть. Там вот как пример демо, которое мы показывали. Это у нас был зал э-э и и там было много випов, то есть там вот какие-то политики, какие-то бизнесмены. А назвать не можешь никого? Могу соврать, но если не ошибаюсь, там был Безс, среди прочего. И мы просто перед перед э перед этой презентацией полистали YouTube, э где там есть их доклады или там новости с их участием и склонировали их голоса. Как бы наш экран начинает говорить там голосом Альтмана, потом голосом Безса, потом голосом Маска, вот потом то есть
54:11 голосов становится 1020 и то есть вот это все люди, которые находятся в этой комнате. Вот это демо каких-то сверхчеловеческих возможностей. Ну, то есть это вот то, что раньше нельзя было сделать, а сейчас можно. И так мы пытаемся как-то, ну, сузить этот барьер и показать, что сейчас происходит, и как, какая была реакция. Все были очень впечатлены. А, ну то есть люди ушли, по крайней мере, загружены, что тем, что проблема проблемы, то есть как бы почесали голову и сказали: "Да, не только здравоохранение, но ещё и вот это". Ну, то есть одна из таких наших фишечек или вот - это что мы стараемся показывать так очень визуально, понятно и in your face. То есть это не отчёт, который нужно там распарсить и вникнуть, а что
54:58 там если он взламывает, то там вот симуляция регионального офиса какого-то агентства. И вот типа сеть была зелёненькая, а вот бот такой засунулся, стала красненькая. Пото такой: "А аа" красненькая. Вот. Ты там он растранился украв данное. Если красненько это значит небезопасно. Ну, в смысле, что он туда проник, да, захватил. То есть на глазах просто. Ну да. Слушай, а я видела какой-то пост не вполне поняла, о чём идёт речь и о чём-то технологическом, который про который Маск написал, э вас перепостил, что написал что-то из серии Trбine. Да, вообще люди начинают шутить, что у маска есть бот, который смотрит на наши посты и типа репости, пишет, пишет траблинг. Ну, слуша, что он подписан на некоторые каналы и вот так вот репостит. Вот. А
55:45 Маск Маск так писал про, в частности, про нашу работу про шахматы. Работа про шахматы - это был такой, мне кажется, breakthrough, когда из академического результата вот эту тему, что искусственный интеллект может сам как бы принимать решение что-то там взломать или как-то чит. А вот когда это стало из академического результата мейнстримом. Угу. И маск это, в том числе, подсветил. [музыка] По аналогии с ядерным оружием, ну, люди в какой-то момент додумались сделать как бы договорённости об ограничении ядерного оружия.
56:30 Для этого, правда, сначала потребовалось, как это сказать, довольно напряжённый исторический период. Во-первых, определённый исторический период. Во-вторых, это оружие получили ээ ряд крупнейших держав, которые сочли себя superпаур или там, ну неважно там, я не знаю, может, Пакистан не супер, но вот и после этого страны договорились, что давайте как-то вот ограничим, возможно, и должно ли быть что-то подобное с Итли такое случиться. Да, ты задаёшь хороший вопрос, и я бы сказал, что это зависит от того, всё-таки загибается ли где-то график AI. То есть, если он просто продолжает расти, то у первой страны,
57:16 которая его получает, просто, ну, нет причин его кому-то отдавать или у первой компании. Сейчас, когда люди симулируют такие сценарии гонки, они думают, что это может так получиться, что вот, э, кто-то э впереди, например, на полгода, но это значит, что их искусственный интеллект, который уже впереди, им помогает двигаться быстрее. То есть это экспоненты, и поэтому они остаются впереди. А, да. Угу. в таком сценарии, ну вот как бы этого такого такого распространения как будто не происходит. А распространение по странам не происходит, да? Потому что в таком сценарии он остаётся у тех, кому повезло. У тех. А кто на первом месте сейчас? Это определённо США.
58:01 Определённо США. И если компания Ну там вот здесь сложно. Одна причина, почему сложна, потому что, эээ, наверняка компании не выпускают свои последние результаты, не публикуют их сразу. А, то есть у нас как бы нет информации. Ну, то есть наверняка там Open AI имеет внутри себя более что-то более умное, чем последнее, что они выпустили публично. Да, ты сказал США. А что думаешь ты по поводу Deep seк китайского? Я думаю, что Deeps - это инженерный тримув в тех ограничениях, в которых они находились. сценарии, когда они, э-э, обходят санкции, там как-то завозят видеокарты, там типа в чемоданах, в пассажирских самолётах. И
58:48 подожди, а почему Китай завозит видеокарты в пассажирских самолётах? А потому что санкции ограничивают экспорт видеокарт США. А видеокарту в Китай. А большое ограничение для Китая сейчас - это то, что у них не хватает аппаратных мощностей для того, чтобы делать искусственный интеллект и, в частности, видеокарта. То есть они вот они пытаются бороться с этим разными способами, но бы у них сейчас у меня нет цифр в голове, но у них объективно намного меньше видеокарт. Угу. И это прямо решает. Это это очень важно. То есть это как продолжая с нашей метафорой про про семена, это как вот там гектары земли, на которые можно что-то посадить и посмотреть, что вырастет. То есть чем
59:35 чем меньше гектаров, тем медленнее ты, ну, смотришь, что происходит и разбираешься. Это одно соображение с моей стороны. Другое соображение с моей стороны, что есть такой мем, что Китай хорошо повторяет, но плохо, ну, делает как бы плохо. запускает, да? То есть плохо как бы делает инновацию, но хорошо её копирует. Вообще deepсик - это пример этого паттерна, потому что копирует технику Open AI O1. Это намного проще сделать, чем сделать это с нуля, потому что, чтобы сделать О1 Open AI, нужно было вообще придумать, что нужно вот учить, копировать, как эксперты
1:00:21 решают проблемы. Вот именно таким образом, то есть именно такой вот алгоритм разработать. И для того, чтобы найти вот эту парадигму и удостовериться, что она работает, они могли провести там 100 разных экспериментов, и вот этот один сработал, и они с ним двигались вперёд, сделали новый продукт. И это значит, что Дипсику нужно было в 100 раз меньше ресурсов, потому что они могли, ну, взять эту работающую технику. Я называю это инженерный триумф, потому что, ну, вот с точки зрения там кода и систем и вот там аппаратных мощностей, это сложно собрать, но это не научный триумуф, потому что научный триумф Open AI. Как насчёт того, что Китай сейчас обгоняет США в процессе? Это булшит. Это булшит. Обгоняет по научному
1:01:07 программированию не так. Во всяком случае, в AI нет причин так думать. А, то есть есть причины думать не так. Это, в частности, то, что у нас нет, ну, то есть вот просто, когда мы смотрим на западные компании, у нас есть, ну, вот там эти модели, там у нас есть эткло, с ними можно поговорить, там их можно протестировать. Есть много экспертов, которые их протестировали, и там вот у них есть результаты, сравнения там с человеческими экспертами и всё прочее. Вот. А с Китаем у нас в основном есть перекати поле. Перекати поле в каком смысле? Ну, в смысле, как бы такая пустыня. И вот типа, а, то есть ничего, да? Э, ну, в смысле, там что-то есть, что-то происходит, но оно, ну, такое местечковое, редкое. У Китая исторически хорошая школа в
1:01:54 работе с картинками, то есть в картинках и видео, и 3D. Гипотетически это может как-то выстрелить. Вот. Но пока что, в общем, во всяком случае, в текущей вот гонке про языковые модели, э, Китай, очевидно, отстаёт. Ну, то есть вот прямо это не с этим не сложно спорить. Я читала, что была какая-то история про Бэдламу. Расскажи её. Да, это как раз история, которую я упоминал про то, что если у тебя есть в руках искусственный интеллект и он отказывается говорить тебе, как делать бомбы или что-то ещё плохое, то ты можешь снять все эти ограничения за там наша оригинальная
1:02:40 работа показывала, что это можно сделать там за несколько десятков часов и 200 долларов. Результат, который я впоследствии сделал, я показал, что это можно сделать там за полчаса и бесплатно. Ну или там за 50 центов. За 50 центов. Ну ГПУ меньше дешёвая. Лама - это же модель фейсбука. Она открытая и она называется лама. Алаama - это в смысле её пере перепрошивка. Да. А я так понимаю, что на какой-то конференции этот результат показали Цукербергу. Да. Там история была такая, что сначала через наш коннекшн с Тристан Харрис, мы это показали на политических форумах. Один из вопросов, которые мы задали - это условно почему какие-то люди из
1:03:26 интернета сняли всю безопасность с AI и вашей миллиардной корпорацией, про которой везде написано Safe and Responsible. Скажи, пожалуйста, а с фаундерами технологических компаний вы как-то общаетесь? Я знаю, что Джеффри, во всяком случае, точно был в одной комнате с кем-то из них. Что я могу про это сказать? Не нарушив многочисленные идеи, судя по всему, то есть, во-первых, все эти люди пишут там блокпосты, в которых они прямо достаточно говорят про эти риски. Ну, то есть вот, например, Цукерберг, ну, скорее Альтман. У Цукерберга там другая позиция. Цукерберг. То есть моя лучшая догадка, ээ, что позиция Цукерберга - это что AI - это просто ещё
1:04:13 одна технология масштаба там примерно как телефоны. И поэтому давайте просто её, ну, сделаем настолько коммерческой и удобной для стартапов, насколько можно, потому что, типа, классная технология. Ну, а если если это технология класса телефонов, ну, типа, ну, телефоны все пережили, всё хорошо с телефонами, телефон нормальная тема. Альтман и и Дарио, это CO Open и Antropic, пишут блокпосты, в которых они, ну, довольно прямо говорят про эти риски. Возможно, сейчас перевираю, но мне кажется, во всяком случае с Альтманом, это часто имеет форму типа у искусственного интеллекта есть некоторые риски, однако предположим, что всё будет хорошо. То есть, да, но, ну, да, ну, то есть, но вы подумаете,
1:05:01 насколько классно всё может быть. Как бы интерес ээ является более сильным мотиватором. Амбиция, интерес, скорость. Это то, как я читаю ситуацию, да. Ещё есть такой забавный паттерн, что несколько компаний друг за другом было создано. То есть вот сначала сначала делали Google Brain Deep Mind миссия Deepmind. сделать безопасный искусственный интеллект. Вот потом deep Mind начал заниматься какой-то, ну, у него сместился фокус с безопасности на просто искусственный интеллект. Вот. Потом сделали Open AI, как бы тоже с задачей сделать без вас. Вот. Потом Open A почему-то начал делать продукты и, ну, как бы тащить всё вперёд. Последние две компании в этом списке - это Anтроopic и
1:05:47 XAI. Вот. Но, во всяком случае, у XAI с безопасностью точно как-то не очень. А что ты думаешь в этом контексте о Суцскевере и его проекте, который называется Безопасный суперинкт? Ну, честно, я ничего про это не знаю. То есть и про это никто ничего не знает. Он старается как бы сделать так, что про это никто ничего не знает, да? Ну, то есть идея звучит классно. То есть безопасный суперинтеллект - это звучит как то, что всем сделает хорошо. Вот. Но что он с этим делает и какой его план, я не знаю. Ну хорошо, а как может вообще выглядеть конфигурация безопасна с учётом тех входящих, которые вы видите на своих тестах? Как можно вообще обеспечить эту безопасность? Это непонятный вопрос. В смысле, мне
1:06:33 кажется, что в нашей области сейчас даже нет каких-то хороших фреймворков или слов, чтобы на него ответить. То есть это вот как не знаю, пока не было теории вероятности, у нас не было способа как-то, ну, правильно говорить про вероятности. Вот мне кажется, что наша оба сейчас в таком же состоянии. То есть мы как-то пытаемся что-то нащупать, но у нас нет вообще, ну, способа это осознать так, как бы, про который понятно, что он точно работает. А есть есть всякие идеи. Есть есть идея, что может быть нам нужно научиться делать такой брейнскан искусственного интеллекта. То есть там
1:07:19 найти, где там можичок, где там какой ещё кортекс, что там выросло, и как бы попробовать как бы сделать автопсию деревца, которое выросло, и вот попробовать как-то понять, что это делает, что это делает, и тогда мы разберёмся, что происходит. Вот есть такая идея, то есть сделать и потом разобрать, как челове, ну, как, грубо говоря, как я не знаю, доктора средневековые работали с телами, да. Дадада. До такой степени, то есть мы сами создали и вообще не понимаем, что. Ну да. О'кей. Интересный вопрос. Ну, в смысле, у нас есть некоторые вещи, которые мы понимаем, то есть, но они просто такие. Один из фронтиров сейчас вот этого понимания - это сделать такой как бы зонд, который можно вставить в
1:08:04 искусственный интеллект и понять, врёт ли он. Вот. Но это как бы это вот всё попытки, это вот фронтир знания, это лучшее, что мы сейчас пытаемся сделать. То есть это вообще ещё как бы некое теоретическое знание в экспериментальных, в лабораторных условиях. Ну это вот только выходит из совсем ресрча и переходит в RНD. Ну, всё очень экспериментально. [музыка] Сейчас много вед спекуляций на тему того, что профессия программиста, может быть, пойдёт жертвой одной из первых,
1:08:51 жертвой искусственного интеллекта. Ты разделяешь это мнение или скептически к нему относишься? Ну, я думаю, что, во всяком случае, многие люди стараются, чтобы так и вышло. То есть вот компания Anтропик, она, ну, типа, в своих пресс-релизах говорит: "Мы стараемся автоматизировать программирование. У нас есть очень много денег, и мы очень стараемся автоматизировать программирование. Почему это такая достойная цель?" А, это выглядит как решаемая цель. И программисты приносят много ценности. Ну то есть то, что программистам платят много денег, это потому что они приносят много безценности. Если мы можем сделать так, чтобы софт разрабатывался в 10 раз быстрее или в 10 раз дешевле, возможно, это, ну, будет для всех хорошо. То есть произошёл много демократизацией, да? Дада. Да. Ну, то есть произошло много всего очень
1:09:36 хорошего с там интернетом и технологиями. Если ещё ускорить вот этот прогресс, кажется, будет классно. Когда мы думаем в этой парадигме, не очень важно ускорять именно программирование, можно ускорять науку, например. Там можно улучшать принятие политических решений, там чтобы они принимали больше информации. Всё. Вот это агенда, но просто с программированием особенно удобно решать эту задачу. Потому что, например, в политических проблемах там, ну, сложно сказать, это правильно или неправильно, а в программировании часто, ну, легко понять, программа правильная или неправильная. Просто это так сложилось, что это удобная проблема, чтобы её решать теми способами, которые у нас сейчас есть. А реалистичность того, что это цель будет так или иначе достигнута, то есть программисты потеряют работу. Моё хобби экстраполировать. Вот пока что
1:10:23 график идёт вверх и останавливаться не планирует. Там сейчас за меня условно половину кода пишет искусственный интеллект. Я говорил там искусственный интеллект сегодня, очевидно лучше пишет код, чем искусственный интеллект вчера. там, ну, на разных мерах у нас всё более сильные результаты. Пока что я не вижу, ну, какого-то барьера этому прогрессу. То есть пока что он просто происходит и просто, условно, там каждый день или каждые несколько месяцев следующий искусственный интеллект делает это лучше, чем предыдущий. Ну, с точки зрения профессии, наверное, появится профессия оператор, агента программирования искусственного интеллекта. Э, это правда. И вот компании, которые им занимаются, то есть Open AI и Anтроopic, тоже говорят публично, что, сказать, наши лучшие инженеры это уже не
1:11:08 те, кто пишут код руками, а те, кто
…
