0:00 В конечном счёте все профессии можно заменить алгоритмом. Но хотим ли мы тотальной автоматизации или всё же оставляем место для человека? >> Это Роман Ямпольский, профессор по вопросам безопасности искусственного интеллекта. Он потратил 15 лет на изучение одногоединственного вопроса. Сможем ли мы контролировать искусственный интеллект? >> Я считаю, что мы не сможем. Если мы построим это, то ничего сделать с этим уже не получится. AGI - это система, которая умеет делать всё то же, что и человек. И если она станет реальной через пару лет, то старые способы разбогатеть, просто работая на кого-то, перестанут существовать. Но всегда найдутся другие возможности. И, наконец-то, у нас будет больше времени на то, чтобы >> Ты как-то спрогнозировала, что к 2030
0:46 году исчезнет 99% всех рабочих мест. Сейчас 2026. Как у нас дела? >> У меня всё отлично. Я не знаю, как у всех остальных. Прогноз заключается в возможностях технологии. Сама технология должна до этого дорасти. Это не значит, что мы решим все эти вакансии закрывать. Внедрение в экономику - это совсем другая история, чем просто иметь технологическую возможность. Сегодня у нас есть беспилотные автомобили и миллионы живых водителей. >> Согласна. Но мне кажется, с теми же беспилотными автомобилями технологии пока не дотягивают до идеала в вопросе безопасности. В черте города, типа Сан-Франциско, всё о'кей. Но как только нужно выехать за город на трассы, тут уверенности уже меньше. И раз уж мы об этом заговорили, на меня подписано много бухгалтеров менеджеров продуктов
1:31 дизайнеров. И антропик показал статистику, мол, искусвенный интеллект уже сейчас закрывает процентов 20 их задач. Но есть куча вещей, которые ему до сих пор не под силу. Вот как ты считаешь, на что искусственный интеллект реально способен сегодня, если брать такого типичного офисного сотрудника? Такого понятия, как типичный офисный сотрудник, не существует. Если ты работаешь в офисе, в твои задачи должны входить простые манипуляции с компьютером. Но для некоторых профессий это уже закончилось >> уже. >> Конечно. Например, мы уже не покупаем билеты у живых агентов. А это ведь была человеческая работа. Тысячи людей этим занимались. >> Да, но я не об этом. Это ещё с появлением интернета случилось. А что всё-таки насчёт искусства интеллекта? >> Я говорю о том, что технология может закрыть целые профессии в момент своего появления. Сейчас, например, я думаю,
2:16 это перевод. Для большинства языков я могу полностью автоматизировать перевод, но останется ли спрос на какие-то редкие языки или политических переводчиков? Возможно, но в целом у этой профессии будущего нет. Я бы не советовал идти учиться на переводчика испанского. >> Переводчики всё. А кто ещё? А, >> начинающие разработчики. Мы уже видим сильное спадение спроса на тех, кто только выпускается или ищет стажировку. Их ведь нужно несколько лет доучивать, чтобы они стали полноценными разработчиками или там системными архитекторами. А сейчас у них в арсенале по сути только C, C++, и этого уже недостаточно. У нас в кафедре, например, количество стажировок упало примерно на 28%. >> Ого. То есть ты уже видишь это у себя на кафедре?
3:03 И что ты говоришь этим людям, тем, кто не может найти работу? к сожалению, не то, что им стоит слышать. Говорим: "Подправь резюме" или там, например, добавь себе ещё навыков. Но по факту это же студенты-первокурсники. Они в программе всего же пару лет. И когда они через 2 года закончат, то всё будет ещё хуже. >> Если бы кто-то из них сейчас пришёл к тебе и сказал: "Я 2 года учил эти языки программирования, а работу не найти. Что мне делать? Вот что бы ты ответил?" Некоторые из них думают, что можно немного подстраховаться, если добавить железо. То есть не просто компьютер science, а ещё инженерное направление, электронику, наноинженерию. Это действительно даёт небольшое преимущество. Пару лет максимум. Сначала автоматизируется интеллектуальный труд,
3:49 а как только массово появятся роботы подключатся и физически. Я думаю, осталось где-то 3 года. >> Ну то есть ты считаешь, что через 3 года у меня дома уже будет стоять робот? Ну, смотри, есть большая разница между можно купить уже сейчас и это у всех есть. Летающую машину сегодня тоже можно как бы купить, >> но на улицах мы их не видим. >> Ну да, пока не видим. >> Та же история с человекоподобными роботами. Купить можно, но дорого, но за пару лет производство развернётся до миллионов штук. >> Слушай, ты меня даже немного обнадёжил, а то, если честно, я уже устал от готовки и стирки. О'кей переводчики всё программисты новички тоже всё. Но что интересно, джуны больше не нужны, а синеры всё ещё да. Но ведь, чтобы стать крутым спецом, нужно сначала побыть новичком. Это тоже определённый путь. И как им тогда расти,
4:36 если у них даже возможности поработать не будет? >> Ну вот так. В этом как раз-таки и проблема. У них будущего нет. И когда мы говорим, что синером пока нормально, это очень короткий горизонт. Вдолгую можно автоматизировать любую работу. Вопрос только в том, решим мы её автоматизировать или предпочтём, чтобы её делал человек. >> А кто это решает? Компания, >> клиент. Если я хочу интервью с живым подкастером, я приду к тебе. Если хочу робота, то я пойду к роботу. >> Сейчас кругом увольнение. Мета вот собирается сократить кучу народу. Джек Дорси тоже писал про сокращение, но он уже, кажется, снова нанимает людей. Я недавно говорила с Гэрри Вырчуком. У него в компании человек 700. Он считает, что увольнять сейчас глупость. И я по своему бизнесу в принципе вижу то же
5:22 самое. Если 35 человек с помощью искусственного интеллекта могут удвоить мой результат, то я найму лучше ещё, чтобы вырасти раз пять. И если конкуренты не дураки, они сделают так же. Ведь связка человек плюс 10 и агентов гораздо мощнее, чем просто 10 агентов без человека. >> И сейчас так и есть. Один человек ими управляет, и продуктивность растёт. Но ты подумай, как только ты сможешь заменить этого человека моделью за 20 долларов в месяц, ты будешь продолжать ему платить. Так в том-то и дело, что сейчас такой модели нет, которая умела бы и принимать стратегические решения, обладала бы вкусом и понимала бы меня на 100%. >> Это скучно. Вы можете посмотреть в окно и увидеть, что происходит сейчас. Мы хотим знать, что будет дальше. >> О'кей. И как скоро это будущее наступит? >> Гиперэкспоненциальный рост. Быстрее, чем мы ожидали. Раньше на рынках прогнозов говорили про 2045 год, и потом сроки
6:07 сократились, и теперь, как ты сказала, 2030 или 2028. >> О'кей. И это касается большинства специальностей. Или есть исключение. Например, в отчёте Антропи говорится, что до сельского хозяйства искусственный интеллект пока вообще не добрался. Когда ты говоришь про все профессии, ты действительно имеешь в виду все сферы жизни или какие-то конкретные? >> Я не знаю ничего про сельское хозяйство, но когда появятся человекоподобные роботы, это физический труд. Это следующая волна. Сначала идёт интеллектуальный труд, всё, что делается за компьютером, любые операции символами. Вот тут это и случится. Как только AI выходит на человеческий уровень, я не вижу причин платить человеку, если результат тот же. А сотрудника можно отпустить. Фактически >> это может случиться уже через пару лет. Ты думаешь? >> Это вполне реально. О'кей, допустим.
6:55 Разница-то какая? Если за 5 лет вся работа исчезнет. Ура! Иди потрать 10 лет на университет, чтобы стать врачом. >> Вот именно. И если через 3 года правила игры изменятся, то получается сейчас наш последний шанс сколотить хоть какой-то капитал для своих семей. Если работы не будет и деньги зарабатывать станет негде, то мы останемся ровно с тем, что имеем сейчас. Столько-то акций, столько-то кэша под подушкой. Ну, потому что новых денег взять просто будет негде. >> Мы не знаем, что произойдёт с экономикой, когда труд станет бесплатным. Как только это случится, наступит изобилие и всё будет доступно, потому что производство копеечное или произойдёт что-то другое. Хороших исследований ведь нет. Что станет стоимостью обычных денег, когда труд бесплатный? А что будет с криптовалютой? Что произойдёт с другими инвестициями?
7:43 Или все акции компании без AI упадут? Акции AI компании вырастут? У нас нет понимания этого пространства в целом, да, иметь капитал и иметь его пораньше - это разумно. Ещё есть время, чтобы он успел вырасти, но привычный путь просто иметь работу и копить может, в принципе, стать недоступным. Слушай, но ты не думаешь, что общество просто не успеет так быстро перестроиться? Ну там правительство, да, они же просто не дадут этому случиться, да и люди сами Не знаю. Я просто не могу себе представить, что через 3 года вообще не останется способа заработать. >> Я этого не говорил. Я говорил, что привычный путь устроиться джуном программистом может закрыться.
8:28 Возможности есть всегда. AI отличный помощник, чтобы запустить бизнес. Если у тебя в команде 35 человек, у меня может быть 35 агентов, которые работают бесплатно. Юрист бухгалтер дизайнер веб-разработчик. Такой возможности у нас раньше просто не было. Тоже верно. Но я вот думаю, а что мешает условной Нерти самой найти свободную нишу на рынке, построить на этом бизнес и избирать всю прибыль себе для того, кто эту модель разработал? Ты об этом когда-нибудь задумывался? >> Модели не остаются в собственности тех, кто их сделал. Открытые модели становятся доступны всем. Обычно через несколько месяцев после того, как вышла топовая закрытая. >> Справедливо. Но я ещё слышала такую теорию. Допустим, ты взаимодействуешь с какой-то нейронкой, а она параллели собирает всю поднакотную о твоём
9:13 бизнесе, чтобы потом её создатели могли подсмотреть прибыльные ниши и забрать их себе. Ты веришь в такое? >> К счастью, масштабы совсем разные. Если какой-нибудь Альтмен пытается поднять 6 триллионов долларов, твой семейный бизнес - это вряд ли цель, которую он собирается захватить. Но если это коснётся вообще всего рынка, где обычно крутятся частники, какой-нибудь малый бизнес по продаже машин или что-то наподобие, представь, что он просто берёт и подминает под себя всю индустрию целиком. >> Главная угроза не в том, что какой-то злодей с помощью AI украдёт твой полный бизнес-процесс. Это может случиться. Такое и до AI бывало. Но настоящий ущерб не отсюда. >> Сколько лет ты ещё даёшь предпринимателям? >> Тут совершенно два разных вопроса. Первый - это бизнес. Как обычно,
10:00 экономика. Мы пытаемся понять, что работает новой экономике. Но настоящая проблема, и это то, о чём я говорю в некоторых из своих исследований, мы ещё живы или мертвы? Сверхинлект нас не уничтожит. >> Я, если честно, правда, не могу себе представить мир, где всё, вообще всё принадлежит одной стране или одной корпорации. Ведь тогда всё остальное просто исчезает. Так, человечество как вид просто стирается. Я слышала про этот сценарай с AGI. Если одна компания доберётся до него раньше других, она захватит весь мир. И если это так, то как мне распорядиться теми годами, которые у меня остались? >> Я считаю, что стоит делать то, что ты всё время откладываешь. Многие думают: "Через 50 лет выйду на пенсию и тогда
10:46 уже наживусь и повеселюсь". Но иногда так не складывается. В 40 находят рак. Поэтому делай то, что тебе нравится пораньше. И не делай того, что тебе вообще не интересно. >> Но если говорить о карьере, вот смотри, как интересно получается. Для кого-то работа - это уже по сути хобби. Да, круто, что за неё платят, но я бы этим и так занималась. Всё равно бы записала эти подкасты, понимаешь? И это же потрясающе, если труд станет бесплатным. Каждый сможет просто заниматься своим делом. Кто-то с садом, кто-то с детьми. Я по себе вижу, что жизнь стала гораздо проще, потому что кучу решений, которые мне лень принимать, теперь можно делегировать искусственному интеллекту. страховка налоги документы. Искусственный интеллектом действительно помогает.
11:31 Я теперь даже не забываю, когда детям надо в школу в пижамах прийти. Она родителям присылает эти огромные письма. И я сейчас просто прошу Дemнай закинуть мне всё в календарь. Просыпаюсь и знаю: "Ага, сегодня пижамный день в школе". Раньше я про это часто забывала, а теперь действительно жить в этом плане становится легче. И подкаст делать проще. Разве это не прекрасно? Я, конечно, когда записывала этот подкаст, всё-таки не знаю, я пока что у меня не сложилось такое впечатление, что AI настолько быстро разобьётся, настолько стремительными темпами, что будет какой-то апокалипсис. Мне кажется, что сейчас это очень классный инструмент для того, чтобы автоматизировать какие-то задачи в жизни, которые ты абсолютно не хочешь сделать. Например, Клод подбирает мне правильную медицинскую страховку. Перплексе компьютер каждое утро присылает мне имейлы, если какие-то там падения на рынке, мне нужно акции
12:17 докупить. То есть действительно я вижу большое влияние искусственного интеллекта на мою жизнь, но пока оно а такое благоприятное. У меня есть имеil, где я рассказала про 30 дел, которые я отдала искуссному интеллекту и каким конкретно инструментам там прямо по инструментам я объединила групки. Так что, кому интересно, внизу ссылка подписываться на мою имеil-рассылку. Подписывайтесь и получите это письмо. А мы погнали дальше смотреть подкаст. >> Да, но ты используешь слово AI для совсем разных вещей. С одной стороны, ты говоришь про узкие инструменты, которые сейчас саморизируют тебе почту. С другой, ты говоришь про будущий сверхинлект, умнее нас всех вместе взятых. Это разные технологии. Узкие AI инструменты - это супер. Я ими пользуюсь постоянно. Их должно быть больше. Они решают реальные проблемы, как пижамный день. Но если мы создадим общий сверхинлект, мы его не понимаем, не
13:03 можем предсказать, не можем контролировать. У него есть возможность уничтожить человечество. >> А если поговорить о том, как это вообще создаётся, это и есть тот самый AGI? AG - это предыстория. Это автоматизация человеческого интеллектуального труда. Это учёный, это инженер. Потом искусственные учёные инженеры начинают сами заниматься AI исследованиями, и прогресс очень быстро уходит в гиперэкпоненту. Появляются системы, которые не просто умнее любого человека в одной области, они умнее всех нас во всех областях. Представь кого-то с IQ в миллион. У нас нет такого понятия. У Эйнштейна было 200. Это уже много стандартных отклонений от нормы. Когнитивный разрыв тут будет как между человеком и белкой. Белка вообще не понимает, что мы делаем, как мы можем
13:48 ей навредить, что такое капканы, яды, ей это всё непостижимо. Тут будет то же самое. У нас есть системы, способные делать новую науку, открывать новую физику. И если они по какой-то причине решат нас убрать, я не знаю, что это будет за причина. Может, защита от создания конкурирующего сверхинтеллекта? Может, понижение температуры планеты, чтобы лучше работали вычисления? Что-то, о чём я даже подумать не могу. Но если они так решат, мы их не остановим. >> А мы можем заложить в искусственный интеллект какие-то правильные ценности? >> Если была бы книга с правильными ценностями, мы бы шикарно жили, но не живём. Философы тысячи лет пытаются договориться о наборе этических правил, но не могут. Мы расходимся по религии, по региону, по эпохе.
14:35 Например, то, что считалось этичным 100 лет назад, сегодня будет считаться просто абсолютно неприемлемым. То, что мы считаем этичным сегодня, тоже будет неприемлемо в будущем. Допустим, мы как-то договорились о статичной этике, не меняющейся, а зафиксированной. 8 млрд агентов не могут договориться. И даже если договорились и зафиксировали, мы не знаем, как это закодировать. Мы ведь модели не программируем. Они сами учатся на тех данных, которые мы им даём. >> Но если мы сами скармливаем данные искусственному интеллекту, мы же можем прописать там базовые правила. Ну, как конституции, типа не убивать людей, работать только на благо человека. >> Это научная фантастика. Айк Азимов, три закона робототехники. Он это написал, чтобы показать, что это не работает. Такие системы всё равно будут давать
15:21 сбой. Зато получается хорошая научная фантастика. Но если у тебя сверхинтеллектуальный юрист, обмануть его не получится. Все эти формулировки противоречивы и плохо определены. Что это вообще значит не вредить человеку? Система будет запрещать тебе есть пончик, потому что это вредно. Система будет запрещать аборты? Совершенно не очевидно, что ты именно вкладываешь в эти понятия. Люди часто говорят: "Делай добро, не делай зла". Отлично. А теперь определи это на языке C++. >> Мне кажется, если он сверхразумный, он должен с этим справиться. >> Это популярное заблуждение. Люди думают, что если что-то умное, оно также доброе и имеет здравый смысл. Но сам здравый смысл не у всех людей одинаковый. Вещи очевидные в одной культуре могут быть ужасным преступлением в другой. Если я
16:08 скажу системе: "Я не хочу, чтобы в этом мире существовал рак. Рак - это плохо. Одно решение - это истребить человечество. Цель будет достигнута". >> Но это же тогда противоречит вот этой конституции. Наша базовая установка не убивать, а наоборот стараться продлить жизнь. Даже конституции самых жёстких диктатур в мире на бумаге выглядели прекрасно. Но даже если человек-диктатор может обойти любые правила, то сверхиинтеллектуальный юрист, как нам наказать его? Он бессмертен. Нет тела, чтобы посадить в тюрьму. Он умнее нас. Мы не сможем его выключить. Это не вариант. Есть резервные копии. Поэтому в случае любого противостояния у нас нет шансов. Мы проиграем. Единственный способ не проиграть - это
16:55 вообще не играть в эту игру. Мы получаем пользу от узких систем. Практический совет для вашей аудитории. Делайте инструменты для решения реальных задач. Вылечить рак груди. Прекрасно. Но если вы создадите общий сверхинлект, а сейчас это цель многих компаний, мы все пожалеем. Подожди, но разве это возможно создать что-то, что вылечит трак, не создавая при этом AI? Я брала интервью преслычаны из BHUub. Они сейчас пытаются составить карту клетки. И пока даже с искусным интеллектом они продвинулись от силы на, по-моему, 1%. Потому что это действительно трудно. Мне кажется, чтобы копнуть действительно глубоко, нужна самая умная система из возможных. Разве реально создать интеллект, который понимает всё о клетке, но при этом
17:40 ничего не смыслит в устройстве мира? >> Надежда есть. У нас уже есть примеры. Например, задача сворачивания белков. Это была огромная проблема в науке. Она важна для лечения болезни и понимания генома человека. И её решили системой, которая была заточена только под эту задачу. Она обучалась на конкретных данных, а не на всём интернете. Она не умеет играть в шахматы, не разбирается в политике, не играет в покер. У неё одна задача и один тип данных. Если сделать такую систему слишком мощной, со временем граница между инструментом и агентом размывается вдолгу. Это может быть опасно. И комбинации таких систем тоже могут быть опасные. В любом случае управлять узкими системами всё равно гораздо проще, чем управлять чем-то, что может делать абсолютно всё.
18:25 >> Я хочу вас поблагодарить, что вы всё ещё здесь смотрите. И хочу сказать о том, что если вас интересует искусный интеллект и вообще такая практическая часть его, то есть не только про то, что о'кей, мы все умрём, не знаю, все работы заберут, а про то, что как я могу все эти инструменты начать использовать для меня. Я там, не знаю, делаю социальные сети. Я просто мама, которая задолбалась. Я хочу этим летом попутешествовать как-то по-ному. То есть со всеми этими запросами очень классно работает с искусственным интеллектом. И я постоянно все такие практические вещи разбираю у себя в лорассылке. Если вы ещё не подписались, внизу ссылка. Подписывайтесь. Спасибо вам огромное за просмотры. Опять же, если посмотреть на разработчиков, deep Май занимаются белками, и они же вовсю строят AGI. Это одни и те же команды. Мне кажется, этот процесс уже не затормозит. Всё слишком переплетено.
19:11 >> Я с вами согласен. Что делать обычным людям, которые сейчас смотрят нас и переживают? Из того, что я слышу: "О'кей, кто-то по-любому создаст этот супенлект". И что остаётся нам? Ждать и надеяться на лучшее. Могу ли я хоть что-то предпринять? >> Это популярное заблуждение. Люди думают, что разработчики сами понимают, что они делают. Но это не так. Они сами открыто говорят: "Мы не понимаем, как работают эти системы". >> Не могут предсказать поведение, не могут контролировать. Максимум они могут поставить фильтры. Об этом не говори, это не произноси. Но для большинства людей, на самом деле, реально ничего сделать нельзя. Но если у тебя есть влияние в политике или в компании, тогда ты можешь принимать
19:57 решение, что создавать, а что нет. >> Я просто думаю, что все эти корпорации, они заложники системы. Они работают ради прибыли акционеров и грызутся друг с другом. Получается, у них нет выбора. Либо ты первым создаёшь сверхразум, либо проигрываешь. Других правил в этой игре просто не существует. Ты можешь заработать огромные деньги, решая реальные проблемы в мире. Экономическую выгоду можно получить и без сверхинтеллекта. Ну да, суперинкт - это же решение всех проблем. Ты можешь и бизнес построить, и рак вылечить, а контролировать его ты уже не можешь. И >> это большая проблема. Какие деньги? Какие инвестиции, если ты мёртв? А ты встречал руководителей корпорации, которые не просто на словах, а на деле готовы пойти по тому пути, который ты описываешь?
20:44 На самом деле все они ещё до того, как стали CEO, говорили про одно и тоже: безопасность AI - это крайне важно. Это опасно и с большой вероятностью может нас уничтожить. И в последнее время многие из них начали говорить: "Если другие остановятся, мы тоже остановимся". По-моему, CEO Anтропик прямо об этом и говорил в плане Китая против США. Китай тоже заявил, что они хотят это делать правильно, но коммунистическая партия не хочет терять власть, поэтому, если на них надавить, они вполне могут замедлиться. Но никто этого не делает, а только говорят: >> "Мы всё ещё живы, значит, нужно пытаться. Мы не можем сдаться". >> Такое чувство, что должен случиться какой-то катастрофический прецедент сри искусственного интеллекта, чтобы люди обратили внимание на эту проблему. Мы уже это проходили, и, к сожалению, люди
21:30 на таких вещах не учатся. У нас были ядерные войны, были атомные бомбы, и мы всё равно продолжили развивать это оружие и распространять его по миру. >> Ну, хотя бы с тех пор не применяем. По крайней мере, в таком масштабе пока что. Подожди немного. >> Надеюсь, не применим. >> И, к сожалению, действительно, к сожалению, что-то подобное лишь на время замедлит технологическое развитие. Да, мы понесём огромный ущерб от оружия взаимного уничтожения, вроде ядерного, но это не решит другую проблему, такую же гарантированную катастрофу, которая придёт из-за сверхинтеллекта. >> Как ты видишь наше будущее в перспективе 5 лет? К чему, по-твоему, всё это приведёт? >> Больше того, что мы видим, больше автоматизации, больше возможностей, и,
22:17 вероятно, мы полностью перейдём порог человеческого интеллекта, появятся системы умнее. самых умных людей. >> И как к этому готовиться? >> Мы всегда задаём вопросы, подразумевая, что есть ответ, но есть невозможные вещи. Если ты спросишь меня, как построить вечный двигатель, я не скажу: "Мне нужно больше денег или времени". Я скажу: "Это невозможно". Если ты спрашиваешь, как контролировать сверхинлект, невозможно. Если мы его создадим, сделать уже ничего нельзя. Если мы примем умное решение не строить его против финансовой выгоды, использовать узкие инструменты, то вопрос о том, как их изучать или как их внедрять- это хорошие вопросы. Ты понимаешь худший сценарий и знаешь,
23:03 что он более чем реальный. Поэтому ты идёшь на подкаст и привлекаешь внимание к проблеме. Но как быть тем, у кого нет такой трибуны? Что может сделать обычный человек? Перестать пользоваться этими инструментами, не покупать акции этих компаний? Дай какой-то практический совет. >> Если у тебя есть возможность проголосовать за политика, который поддерживает ограничения, то тогда голосуй. >> Но я не слышу политиков, которые бы так говорили. Пока что я слышу ровно обратное. Не надо регулировать искусственный интеллект, иначе мы проиграем в гонки. >> Федеральное правительство сейчас как раз действует в обратную сторону. Они отменили все прежние ограничения. Более того, своим указом запретили штатам вообще регулировать AI. Но есть отдельные сенаторы, конгрессмены, которые хотя бы частично начинают понимать эту проблему. Они, возможно, не видят всей картины, но уже говорят: "Тип
23:51 фейки - это плохо". Или дата-центры будут потреблять слишком много энергии. Неважно, с чего именно они начинают. Главное, что направление само верное. Они уже говорят об ограничениях, о регулировании. Это происходит в других странах. Я, например, выступал в парламенте Великобритании, не дал показания в законодательных органах Кентуки. Есть люди, которые готовы слушать, но нужно больше, гораздо больше общественной поддержки, чтобы политики могли открыто сказать: "Меня беспокоит сверхинлект. Давайте примем правильные законы". >> Мне кажется, даже на личном уровне это почти невозможно. Я вот представляю, о'кей, ты идёшь и голосуешь за политика, который хочет притормозить процесс создания искусственного интеллекта, но в то же время у тебя в семье кто-то болен раком. И ты понимаешь, если технологии будут развиваться быстро, у твоего
24:37 близкого появится шанс прожить ещё несколько лет. Мы, люди, всегда выбираем краткосрочную выгоду, а не борьбу с долгосрочными угрозами. И как тут быть? В США, судя по опросам, у 70% людей отношение к искусственному интеллекту скорее негативное. Но в Китае, например, а большая часть населения за искусственный интеллект. Получается, те, кто проголосует за ограничение в сфере искусственного интеллекта, всё равно останутся в меньшинстве. Разве это не тупик? Долгосрочная против краткосрочной выгоды. >> Краткосрочная выгода против долгосрочной угрозы. >> А, я понял. Исторически это было бы верно. Обычно такие вещи 2030 лет вперёд, но сейчас всё иначе. В онкологии результат измеряется пятилетней выживаемостью. Мы говорим до AGI от 2 до 5 лет. Разницы во времени уже нет. Близкий человек с раком всё равно
25:23 столкнётся с одним из этих сценариев. Мне кажется, людям гораздо проще осознать опасность рака. Мы знаем, что это такое. А вот сверхинлект мы пока не видели и не понимаем его. Ты же видела эти графики? До сих пор только 1% людей делает какие-то автоматизации с помощью искусственного интеллекта. Процентов 90 его вообще не открывали, а остальные 10 просто используют как поисковик. Мне кажется, большинство людей реально сложно представить, что через 2 года или через 5 лет это станет реальной угрозой человечеству. И уж тем более сложно поверить, что те, кто его создают, не смогут его контролировать. У них ничего нет. Ни патентов, ни серьёзных научных работ, ни алгоритмов, которые можно масштабировать. По сути, они просто говорят: "Мы как-нибудь разберёмся по ходу". >> Окей. Знаешь, как мама двух девочек, я
26:09 часто вот о чём думаю. Да, мы с тобой записываем подкасты, но политики молчат об этих всех проблемах. И если наше будущее туманное, не будет ли правильным сейчас просто ценить каждый день и радоваться жизни. >> Это всегда хороший совет. Даже если я ошибаюсь, ты точно не пожалеешь, что провела время хорошо. О'кей, мне и правда стало легче. Что насчёт искусственного интеллекта? Выходит, что пользуясь всеми этими инструментами, мы сами подталкиваем прогресс и приближаем развязку. >> Да, но если они остановятся все, это ничего не изменит. Ты в одиночку никак не повлияешь на развитие этой индустрии. Инвесторы вкладывают триллионы, допустим, Open AI зарабатывает миллиарды, но на фоне этих инвестиций это просто незначительная сумма, поэтому здесь ничего не поделаешь. >> А во что тогда людям инвестировать? Я
26:55 слышала, ты советуешь вкладываться в биткоин, потому что его количество ограничено. А что насчёт акции золота? Инвестируй в то, что AI не может просто сделать больше, если AI способен производить это в любом количестве. Ценность такого ресурса >> золото. >> Золото - это отличный пример. Его количество ограничено, но не абсолютно, не до такой степени. Если цена сильно вырастет, добычу можно увеличить. Часть золота можно добыть. Просто это становится дороже, чем текущая цена за унцию. Допустим, сейчас оно стоит 4.500. Если бы оно стоило миллион, мы бы смогли добывать гораздо больше по такой цене. А у биткоина не так. Цена не имеет значения. Объём всегда фиксированный. >> Что насчёт недвижимости? >> Похоже, мы не очень умеем создавать новые береговые линии. Например, Дубай
27:42 они пытались. В Катаре тоже есть примеры искусственных островов, но это всё равно очень ограничено. Поэтому в долгосрочной перспективе владение физическим пространством, где можно нарастить предложение, может быть хорошей инвестицией. >> Я просто как это вижу. Для меня суперинтелект - это пока что что-то очень далёкое. А вот реальность - это когда роботы и алгоритмы заменяют офисных сотрудников. Да, через 5 лет этот процесс усилится, но тот же Мустафа Сулейман of Microsoft AI, с которым у нас недавно выходило интервью или глава LinkedIn смотрят на это иначе. Они видят в развитие искусственного интеллекта, новые возможности и миллионы новых вакансий, которые просто требуют другого набора навыков. Конечно, старые профессии отмирают, но мне трудно представить себе в будущее, где всё настолько уж беспросветно. >> Давай просто определимся с термином. Когда мы говорим создать AGI, что мы
28:29 имеем в виду? Мы имеем в виду систему, которая способна делать всё, что может делать человек. Но одно дело автоматизировать отдельные задачи и совсем другое построить полноценный сверхразум. У нас есть вообще такие возможности? Это совсем другой вопрос. Ты утверждаешь, что, в принципе, невозможно создать систему с человеческим уровнем интеллекта. Это крайне маловероятно. Да, есть люди, которые так считают. Обычно из-за религиозных соображений, мол, у человека есть душа, и её нельзя просто так воспроизвести. Но на практике мы видим другое. Во многих областях мы начинали с полного непонимания, потом дошли до приемлемого уровня, затем до человеческого, а теперь уже его превосходим. Подумай, человек никогда не сможет обыграть компьютер в шахматы. То же самое происходит и здесь. AGI -
29:16 это система, которая может делать всё, что может делать человек. >> И если мы живём в таком мире через 2 года, 5 лет, неважно вообще, какие тогда останутся работы? Те, где я сознательно выбираю человека. И всё. Если мне не важно, кто это делает, тогда человек просто исчезает из процесса. То есть план такой: ближайшие несколько месяцев понять, какие профессии выживут. Так вот для меня это точно няня. Я не хочу, чтобы моих детей воспитывал робот. Мой муж наоборот говорит: "Слушай, робот может научить детей плавать гораздо лучше, чем человек". Так что он в этом плане ближе к твоей позиции. Можешь назвать, скажем, пять профессий,
30:01 которые точно останутся актуальными. Самая древняя профессия, скорее всего, будет последней. >> Я, кстати, слышал от разных людей, что и это уже автоматизирует. >> О, да, и там будет огромный рынок, как мы уже видим, с виртуальными стимуляциями. Но я думаю, у людей всегда останется определённая слабость к реальным женщинам. >> О'кей. Я не уверена, что моя аудитория готова перейти в эту профессию. Можешь назвать ещё четыре варианта. >> Довольно похожи. Всё, где человек выступает как наставник, проводник, лидер, кто-то, кто лично помогает тебе просто стать таким человеком. >> Понятно. Няни тоже >> опять-таки твой преподаватель йоги, твой, я не знаю, гид по хайкингу,
30:47 >> любой, >> всё, что связано с оффлайном, да? >> Эксперт по медитации, эксперты в том, как быть человеком в любых областях, которые не работают по алгоритму, а через опыт. А если кто-то сейчас начинает строить личный бренд, у него ещё есть шанс или уже всё? Шанс есть, но нужно действовать довольно быстро. Нужно стать узнаваемым до того, как AI станет лучше тебя, потому что ты будешь никто конкурировать с чем-то, что уже намного сильнее тебя. >> И сколько остаётся времени? Опять-таки, как только мы достигаем человеческого уровня и выше, я не знаю точные сроки, очень много цифр сейчас говорят 2027, 2028, 2030. И это говорят вполне адекватные люди.
31:34 То есть, если у тебя сейчас есть цель в профессии, которая, скорее всего, будет автоматизирована, нужно бежать изо всех сил, чтобы успечи достичь, или стоит просто расслабиться и забить, потому что через 5 лет нам всё равно всем конец. >> В идеале делать то, что ты уже делаешь, совмещать своё хобби с чем-то, что приносит доход. Если ты зарабатываешь тем, что тебе нравится, и это приносит пользу обществу, это и есть концепция икигай, японская идея. И мы это называем икигай риск, когда AI у тебя может отнять это. Поэтому нужно закрепиться заранее, стать узнаваемым. >> А что ты сам думаешь про свою карьеру исследователя? С ней покончено или есть ещё пара лет в запасе? >> Похоже, что сейчас написание кода уже в
32:21 значительной степени можно автоматизировать, но лучшие специалисты в машинном обучении всё ещё создают новые архитектуры, новые системы, так что у них ещё есть несколько лет. Но я бы не советовал сегодня тратить 10 лет на университет, чтобы стать профессором. Я не думаю, что у этой профессии есть будущее. >> Что насчёт высшего образование в целом? Мне стоит откладывать деньги на университет для детей. >> Это всегда было плохой идеей. >> Серьёзно? >> Оно того не стоит. Половина специальностей тупиковые. Люди не получают работу по той профессии, на которую они учились. А те специальности, которые дают конкретные навыки, например, программирование, можно было освоить за 6 месяцев онлайн и получить работу в Кремневой долине зарплаты выше, чем у твоего профессора. >> Но разве университет не учит нас думать?
33:06 Вот я поступила в 17 лет и понятия не имела, кем я хочу быть. Я обожала языки, мечтала стать переводчиком, родители настольно математики. И сейчас я им за это благодарна, потому что в итоге освоила и то, и другое. Эти 5 лет дали мне гораздо больше, чем просто формула. Встретила мужа, запустила бизнес, обращалась в студенческой среде. Для меня образование - это не про конкретный навык. Да, я не использую высшую математику в бизнесе каждый день, но она научила меня мыслить. Я научилась договариваться с профессорами и взаимодействовать с людьми. Тебе не кажется, что именно эта ценность никуда не денется через 10 лет? Просто форма обучения станет другой. >> Я не знаю, сколько вы учились, но я не уверен, что вы платили 100.000 долларов в год. Сейчас такие цены в некоторых университетах. Раньше это имело смысл. Вы социализировались, вы взрослели,
33:53 конечно, но сегодня за такие же деньги есть альтернативы. Как вы можете познакомиться с будущим мужем или женой, общаться? Вступи в частный клуб, вступи в фитнес-центр, ходи на научные конференции, ходи на Tad Talkalk. Всё это можно получить без 5 лет и полумиллиона долларов. Знаешь, когда вот ты про это говоришь, я думаю, вот о чём. Чтобы самому строить свой путь, нужна невероятная дисциплина и проактивность. Тебе нужно иметь чёткий план, стальную волю, чтобы ему следовать. А в 17 лет гораздо проще оказаться в системе, которая в течение следующих четырёх говорит тебе, что делать. И это не всегда стоит баснословных денег. >> Не всегда. Но чаще всего. >> В той же Германии, где я училась, я получала стипендию, которая всё покрывала. Я слышала от тебя и от Мустафы Сулеймана, что колледжи теряют смысл, но всё равно открыла
34:39 накопительные счета для детей. Не знаю, может это не обязательно, но это же такая потрясающая возможность. просто поучиться 4 года пожить этой студенческой жизнью. >> Я общаюсь со многими студентами, и вот что я всё чаще слышу. Я проучился 4 года, чтобы стать специалистом. Я заплатил кучу денег, потратил 4 года без какого-либо веселья. И по окончанию работа меня не ждёт, она автоматизирована. Что мне делать? Я хочу им сказать: "Вернись назад во времени и не получай этот диплом". Это была ошибка. Давай поставим вопрос и пока что отложим все проблемы существования. Будет ли эта работа существовать через 4-5 лет, когда ты закончишь университет?
35:28 Если ты не делаешь это для навыков или для какой-то определённой работы? Если ты хочешь быть человеком эпохи возрождения, получить широкое гуманитарное образование, это можно сделать дешевле и с меньшим количеством бреда. Да, мне кажется, просто у многих самостоятельности этой нету. Я не уверена насчёт своих дочек, если я им скажу 17 лет: "Вот деньги, которые я откладывала на колледж, идите и делайте, что хотите". Я совсем не уверена, что они примут правильное решение. Опять же, возвращаясь к моим семнадцати годам, я тогда хотела быть певицей, переводчиком. Я так рада, что родители сказали: "Нет, ты пойдёшь учить математику". А что ты говоришь своим детям? >> Смотри, ты говоришь: "Семнадцатилетнему нельзя доверить принять правильное решение". Но при этом мы говорим ему: "Иди, возьми кредит, займи полмиллиона долларов и попробуй закончить обучение с
36:14 этим дипломом. >> Давай возьмём примеры, где это стоит дешевле". >> Но если ребёнок хочет открыть компанию, мы бы не дали ему такой кредит. >> Так твои дети идут в колледж или нет? >> Моему старшему сейчас 17. Он сам решит в следующем году. >> А что ты ему говоришь? >> Ему повезло. Оба родителя профессора, поэтому образованию он получит абсолютно бесплатно. А когда это бесплатно, это уж совсем другое дело. То есть бесплатное образование - это нормальный вариант. Если есть стипендия на обучение, стоит идти в университет. >> Тогда это более разумная инвестиция, не так ли? >> Ну ты вкладываешь своё время 4 года. В это время можно было бы заняться чем-то другим. >> Да. И тут вопрос: тогда какая альтернатива? Если ты хочешь открыть компанию или заниматься чем-то ещё, я скорее поддержу это. Но если ты хочешь стать врачом, пожалуйста, иди учись. >> Мы затронули тему самостоятельности, и
37:01 это кажется ключевым моментом понимать, что ты делаешь и зачем. Но как именно развивать эту самостоятельность? Как не позволять искусственному интеллекту принимать все решения за тебя? >> Интересно, что ты уловил это важное различие. Инструменты и агенты. Вот это и есть переломный момент. Мы как раз сейчас на пороге создания и и агентов, которые будут делать за нас всё. Как нам воспитать людей, которые сами являются независимыми агентами. И здесь очень помогают примеры. Ваши дочери будут смотреть на маму и видеть: "Мама делает крутые вещи и, возможно, будут учиться на этом примере". Но это не гарантировано. Часть этого может быть просто биологией. Ты можешь быть не предрасположен к таким вещам. >> Ты учишь своих детей этому? >> Я всегда учил их быть самостоятельными и
37:46 принимать собственные решения. Моя задача - обеспечить им безопасность. Безопасность и стабильность. А всё остальное, они сами зарабатывают деньги, сами решают, как их тратить, как инвестировать. полностью сами. >> А в каком возрасте ты сам почувствовал финансовую самостоятельность? >> С 3 х лет, с двух лет, я не знаю. То есть фактически надо сказать ребёнку: "Открывай свой бизнес, продавай попкорн, лимонад, что угодно". >> Всё, что они могут сами придумать. Да, >> по сути, это навык выживания в новом мире, когда все профессии автоматизируются. Именно это поможет нам найти свой путь. И тот самый икигай, >> думаю, да, но опять же смысл икигая, экономические вопросы, это всё как бы вторично. по сравнению с экзистенциальными рисками. Если мы не выживаем, то какая разница? Нам нужно
38:32 понять, как сделать так, чтобы люди оставались главными, чтобы нас не заменили, не вытеснули полностью автоматизации, чтобы мы сами контролировали свою судьбу. Давай попробуем оценить вероятность. Представь два сценария через 5 лет. Первый. Суперинкт вышел из-под контроля, и миру в привычном понимании конец. Второй. Мы объединились, защитили ключевые профессии, учителей, врачей, потому что они нужны нам как люди, а не как роботы. При этом страны всё ещё не могут договориться, как это регулировать, и мы живём в относительно нормальном мире. Вот какой сценарий наиболее вероятен. >> Я думаю, мы будем постепенно двигаться к этому уровню, к человеческому или сверхчеловеческому интеллекту. И по мере этого движения всё больше и больше профессий будет автоматизироваться. Возможно, появятся меры защиты для
39:17 некоторых профессий. Например, штат Нью-Йорк обсуждал закон, который сделает незаконным использование ЛМ в лицензируемых профессиях: психиатрия, юриспруденция, бухгалтерия и так далее. Не знаю, примут его, хотя это нер, скорее всего, примут. >> И тогда просто появится какая-нибудь китайская модель. >> Именно. Но вот в чём проблема. Даже если мы договоримся сейчас ничего не строить, это работает только пока это дорого. Сейчас такие проекты, как Манхэттенский проект, их видно. Видно потребление энергии, видно инфраструктуру. Но с каждым годом становится всё дешевле обучать мощные модели. Сегодня нужен триллион долларов, завтра миллиард. А в какой-то момент это можно будет сделать на ноутбуке, и тогда ты уже не сможешь
40:03 остановить всех психопатов в мире, которые захотят это сделать. В итоге эта технология всё равно появится. То есть в итоге мы всё равно придём к первому сценарию. Но какова вероятность, что это случится через 5 лет? >> Я думаю, через 5 лет мы точно достигнем уровня человеческого интеллекта. Но будет ли эта система сразу атаковать нас, это не очевидно. С точки зрения теории игр у неё нет причин действовать сразу. Она может накапливать ресурсы, делать резервные копии, позволять нам всё больше доверять ей постепенно отдавать контроль. Она бессмертна. Она может подождать 10 лет, 50 лет, 1.000 лет и просто захватить всё, оставаясь дружелюбной. Это возможно. >> Слушай, интересно, но если это нечто
40:49 бессмертное, у него в распоряжении вся вечность, неужели разговоры с местными политиками вообще могут на что-то повлиять? >> Нам нужно выиграть время в любом случае. Сам факт того, что у нас есть время, уже хорошо. Может быть, мы найдём другие архитектуры, может быть, просто проживём чуть дольше. А тебе не кажется, что софт в привычном понимании мёртв? Ну, к примеру, если я делаю приложение, которое теперь каждый может навайп-кодить. Зачем вообще нужны готовые приложения, если кто угодно сможет просто попросить свою любимую нейронку, решить его задачу и собрать сервис под себя? Если ты уже большой известный, ты по сути закрепился, мы это уже видели на примере соцсетей, написать код для чего-то вроде твиттера, это тривиально, но люди покупают такие компании за десятки миллиардов, потому что это
41:35 ценность сеть люди связи отношения. Это невозможно автоматизировать. Если ты первый занял нишу и сделал продукт, которого, в принципе, раньше не было. Сколько бы клонов ни появилось, они тебя никогда не вытеснят. Дай совет тем, кто переживает за своё будущее. >> Вы недостаточно обеспокоены. Если бы вы переживали в полной мере и понимали проблему, у нас на улицах были бы протесты, а не 100 человек, как на прошлой неделе в Сан-Франциско. >> Знаешь, ты прямо как мой муж. Мы недавно были в Нью-Йорке, общались с нователем дуалинга, и он такой: "Да нет, люди всё равно будут нужны". В Нью-Йорке вообще многие уверены, что всё будет нормально, и говорят нам: "Ребята, вы просто живёте в пузыре". Но мой муж считает, что они просто ничего не понимают. Так что мой последний вопрос. Мы в симуляции. И если да, то кто за этим стоит?
42:21 >> Мы в симуляции. А за ней есть симуляторы. >> А кто они >> изнутри? Мы не знаем. Чтобы это понять, нужно сбежать из симуляции. Это и есть главный научный вопрос. Что снаружи симуляции? >> По-моему, это тема для отдельного выпуска. Роман, очень интересно. Спасибо огромное. M.
