Обзор WIRED: ChatGPT переходит в режим полного демона

В сегодняшнем выпуске к нашей ведущей Зои Шиффер присоединяется старший бизнес-редактор WIRED Луиза Мацакис. Они расскажут о пяти самых важных материалах, опубликованных на этой неделе: от продолжающегося переманивания специалистов в сфере искусственного интеллекта Meta до того, насколько быстрее стареет наш мозг после пандемии. Затем они подробно расскажут об удивительной причине, по которой, как сообщается, ChatGPT на прошлой неделе перешёл в режим «полного демона».

Подписаться на Зои Шиффер на Bluesky можно по ссылке @zoeschiffer , а на Луизу Мацакис на Bluesky — по ссылке @lmatsakis . Пишите нам по адресу [email protected] .

Упоминается в этом выпуске: Настоящий демон внутри ChatGPT Луизы Мацакис; Рекрутинговая кампания Меты с использованием искусственного интеллекта находит новую цель ; Кайли Робисон; Пандемия, по всей видимости, ускорила старение мозга даже у людей, которые никогда не болели COVID ; Хавьер Карбахаль ; Законы о проверке возраста резко увеличивают использование VPN и угрожают открытому Интернету ; Лили Хей; Ньюман и Мэтт Берджесс; Этот умный баскетбол отслеживает данные о каждом броске. Он может попасть в НБА; Бен Доусетт; Первая запланированная миграция целой страны уже началась ; Фернанда Гонсалес

Вы всегда можете прослушать подкаст этой недели через аудиоплеер на этой странице, но если вы хотите оформить бесплатную подписку, чтобы получать все эпизоды, вот как это сделать:

Если у вас iPhone или iPad, откройте приложение «Подкасты» или просто нажмите на эту ссылку . Вы также можете скачать приложение, например, Overcast или Pocket Casts, и найти «зловещая долина». Мы также есть на Spotify .

Примечание: это автоматизированная расшифровка, которая может содержать ошибки.

Зои Шиффер: Привет, это Зои. Прежде чем мы начнём, я хочу рассказать вам о новой программе подписки WIRED. Если вы уже подписаны, большое спасибо за поддержку. Если вы ещё не подписались, сейчас самое время это сделать. Вы получите доступ к новостным рассылкам с эксклюзивным анализом от репортёров WIRED и сможете участвовать в прямых трансляциях AMA, где сможете задать самые волнующие вас вопросы. Подробнее на сайте WIRED.com.

Добро пожаловать в программу «Зловещая долина» журнала WIRED. Меня зовут Зои Шиффер, я директор по бизнесу и промышленности журнала WIRED. Сегодня в программе мы представляем вам пять историй, которые вам нужно знать на этой неделе, а позже мы перейдём к нашей основной теме — о том, как чат-боты с искусственным интеллектом, такие как ChatGPT, склонны игнорировать контекст получаемой информации. Это привело к тому, что некоторые чат-боты стали попадать в очень и очень странные ситуации, например, предлагая пользователям демонические ритуалы. Сегодня ко мне присоединилась старший редактор отдела бизнеса журнала WIRED Луиза Мацакис. Луиза, добро пожаловать в «Зловещую долину» .

Луиза Мацакис: Привет, Зои.

Зои Шиффер: Итак, наша первая история – та, в которую мы с вами уже довольно глубоко погружены. Речь идёт о войне талантов в сфере ИИ. Марк Цукерберг и Meta отстали от большинства своих конкурентов меньшего и примерно такого же масштаба в гонке за ИИ, и в последнее время Марк изо всех сил старается набрать лучших исследователей из конкурирующих лабораторий и переманить их в Meta, предлагая им невероятно высокие зарплаты. Речь идёт о более чем 300 миллионах долларов за четыре года, хотя Meta оспаривает эти цифры. Но на этой неделе мы заметили, что он нацелился на лабораторию поменьше – Thinking Machines.

Луиза Мацакис: Да, Thinking Machines — это стартап, основанный Мирой Мурати, бывшим техническим директором OpenAI. И, думаю, примечательно, что у этого стартапа пока нет продукта. Стартап пока ничего не сделал, а его сотрудникам уже предлагают сотни миллионов долларов.

Зои Шиффер: Луиза, в ИИ это не проблема. Мне кажется, в этой области нарратив очень важен, но эти исследователи, очевидно, чрезвычайно ценны. Когда мы писали об этом, я слышала от источников, что они проходили через этот процесс с Meta, практически чтобы проверить свою рыночную стоимость. Даже если они не настроены серьёзно присоединиться к Meta, они спрашивают: «А сколько я стою?» И в некоторых случаях ответ — сотни миллионов долларов.

Луиза Мацакис: Честно говоря, я не понимаю, как производятся эти расчёты, и не понимаю, почему один из этих исследователей стоит 300 миллионов, а не 500 миллионов? В какой степени это связано с переговорами? И я думаю, что это противоречит многим из того, что я, как мне казалось, знала о том, как появляются инновации в области ИИ. Часто это группа по-настоящему увлечённых людей, зачастую довольно молодых. Многие из самых известных статей были написаны людьми моложе 25 или, по крайней мере, моложе 30 лет. И теперь я думаю: ну, не знаю, опубликовал одну популярную статью, и теперь ты стоишь 500 миллионов.

Зои Шиффер: Да, я разговаривала с человеком, который был довольно тесно связан с этим, и он сказал: «Послушайте, на бумаге нам разрешено предлагать вот столько. Но в реальности, когда речь идёт об исследователе ИИ, сейчас нет предела. Мы буквально ничего не можем ему предложить». Это очень интересно. Мне кажется, что ваши слова имеют смысл на индивидуальном уровне. Это просто совершенно озадачивает. Вы спрашиваете: как этот 23-24-летний человек может столько стоить? Но, думаю, если бы я поставила себя на место Марка Цукерберга, то это был бы экзистенциальный кризис для компании. Возможно, он считает, что Meta полностью отстаёт, и что компания, несмотря на огромные доходы, несмотря на огромный успех других её продуктов в некоторых областях, находится в упадке. Впихнуть рекламу в существующий конвейер продуктов можно лишь до определённого предела. Итак, чего бы вы не сделали, чтобы ваша компания оставалась на переднем крае?

Луиза Мацакис: Абсолютно. Думаю, эта стратегия немного обратная. Пожалуй, я бы лучше подстраховалась и наняла 600 новых докторов наук за миллион долларов в год или за 500 000 долларов в год. Возможно, в наши дни этого недостаточно. Возможно, это невозможно, но дайте им 10 миллионов долларов в год и посмотрите, что из этого получится, вместо того, чтобы нанимать этих звёзд. Мне кажется, это выглядит как отчаянное отчаяние и попытка перепроектировать то, что, я не уверена, можно перепроектировать.

Зои Шиффер: Нет, конечно. Я имею в виду, что это полностью стратегия. Наш последний отчет показал, что в некоторых случаях это были ведущие исследователи, и стоит отметить, что это не та цифра, которой все обмениваются, но она превышала миллиард долларов. И это за многолетний период. Так что это не значит, что вы получаете эту сумму авансом, как ни парадоксально, но все же, я имею в виду, что это всего лишь обещанное наследственное богатство. Некоторые другие предложения были от 200 до 500 миллионов, но, по крайней мере, в Thinking Machines, похоже, ни один человек не принял ни одно из них, что довольно интересно.

Луиза Мацакис: Да, думаю, это как бы показывает, что на определённом уровне эти цифры теряют смысл. Если выбирать между 100 миллионами долларов и 200, я бы предпочла быть счастливой и, вероятно, заниматься тем, что мне нравится, потому что за деньги вряд ли можно купить что-то большее, если только ты не фанат суперяхт, наверное.

Зои Шиффер: Самолеты.

Луиза Мацакис: Да, я думаю, это может что-то говорить о культуре в Meta. Как вы думаете, есть ли какие-то конкретные вещи, которые вызывают у людей тревогу, или дело просто в том, что люди преданы Мире и другим основателям стартапов?

Зои Шиффер: Я думаю, что лояльность — это очень важно. Люди, которые верят в Миру, похоже, действительно в неё верят, и это, очевидно, касается как инвесторов, так и сотрудников. Но я слышала о Meta две вещи, которые меня особенно зацепили. Во-первых, Марк Цукерберг нанял Александра Вана, соучредителя Scale AI, стартапа по маркировке данных, на должность руководителя или соруководителя новых лабораторий Meta Superintelligence. И мнения об Александре у людей очень противоречивые. Некоторые, очевидно, хотят работать на него и перешли в Meta. Многие говорили мне, что им это неинтересно по разным причинам. Так что это одно, о чём я просто расскажу. Во-вторых, и я не рассказывала об этом подробно, но слышала достаточно раз, чтобы, пожалуй, сказать, что некоторые считают, что правые взгляды Марка Цукерберга и его склонность к гипермаскулинности, которые он, похоже, проявляет, отпугивают больше академических тихих исследователей.

Луиза Мацакис: Думаю, это очень логично. У него, кстати, нет ни академического, ни исследовательского опыта. Не думаю, что он действительно понимает, какие стимулы предлагает такое место. И, пожалуй, стоит упомянуть, что Александру, кажется, 27, и что индустрия маркировки данных ИИ считается своего рода изнанкой этой индустрии. Так что, возможно, это тоже отчасти связано с вопросом: действительно ли мы хотим работать на парня, который больше всего известен тем, что у него целая армия низкооплачиваемых сотрудников по всему миру, которые маркируют изображения для беспилотных автомобилей?

Зои Шиффер: Абсолютно. Хорошо. Итак, переключаемся на историю, которая, я думаю, многим из нас близка. Новое научное исследование, опубликованное в этом месяце в журнале Nature Communications Journal, показывает, что пандемия могла ускорить старение мозга даже у людей, которые никогда не болели COVID, что само по себе невероятно. Хавьер Карбахаль, автор статьи для WIRED, сообщил, что британские исследователи, работающие в рамках исследования, сравнили множество снимков МРТ мозга до и после пандемии и обнаружили, что разница между хронологическим и фактическим возрастом мозга после пандемии увеличилась примерно на пять с половиной месяцев.

Луиза Мацакис: Боже мой, полгода. Вот это сделка, детка. Звучит здорово.

Зои Шиффер: Они также считают, что стресс и изоляция способствовали этому, что, я думаю, похоже на правду. Я думаю, последствия были тяжелее для людей с более низким социально-экономическим статусом, и особенно для пожилых мужчин. Так что это перекликается с другими известными нам фактами. Задержавшись на некоторое время в Великобритании, наша следующая история — о законах о проверке возраста, которые вступили в силу в стране в прошлую пятницу. Наши коллеги, Лили Хей Ньюман и Мэтт Берджесс, сообщили, что на прошлой неделе в Великобритании вступил в силу Закон о безопасности в Интернете, который требует от порносайтов и других сайтов с контентом для взрослых внедрения функций проверки возраста. Мне очень любопытно услышать ваше мнение по этому поводу, потому что, как мне кажется, проверка возраста — это одна из тех вещей, где, как вы думаете, главное, что вы верите, оказывается прямо противоположным, когда вы начинаете в этом разбираться.

Луиза Мацакис: О, конечно. То есть, несколько лет назад, когда многие американские законодатели говорили об этом, они имели в виду Китай и говорили: «О, в Китае есть проверка возраста, а в то же время в США мы позволяем этой китайской компании TikTok отравлять нашу молодёжь или что-то в этом роде». Я посмотрела, как в Китае осуществляется проверка возраста, и это именно то, о чём вы говорили. С самого начала это была архитектура слежки. Им пришлось буквально кирпичик за кирпичиком выстраивать свой интернет, чтобы обеспечить эту слежку на каждом уровне, и вдобавок всё это не работало. Если вы поедете куда-нибудь в Китай, вы увидите, как малыши смотрят TikTok, потому что они просто вошли в учётную запись своих родителей. Я думаю, это родительское право, и это должно быть личным делом каждого, и решать это дома. Я просто не думаю, что правительство должно это контролировать.

Зои Шиффер: Да, именно это мы и наблюдаем в Великобритании: использование VPN, позволяющих вам получать доступ к веб-сайтам без отслеживания части ваших данных, резко возросло с момента запуска этой технологии, а ведь прошло всего несколько дней.

Луиза Мацакис: Все, что я могу сказать, это посмотрите на сельский Китай, где наблюдается эпидемия, когда бабушки, судя по всему, проводят все свое время в TikTok, хотя на самом деле это просто их внуки зашли в свои аккаунты.

Зои Шиффер: В конечном счёте, только время покажет, насколько эффективными окажутся эти меры проверки возраста. Переходя к баскетбольной площадке, это действительно важный момент. Вы занимались спортом в старших классах колледжа?

Луиза Мацакис: Нет, я не занималась спортом. Я не могла быть более неспортивной. Мне нравятся разные виды спорта, но ни один из них я бы не назвала соревновательным. А вы?

Зои Шиффер: Нет, конечно, нет. И каждый раз, когда Эндрю, мой муж, пытается бросить мне мяч или поиграть во что-нибудь ещё, он говорит: «Ого, ты просто никогда не играла в видеоигры или спортивные игры. Никогда не видела человека с такой плохой координацией рук и глаз». Теперь, когда я смотрю, как бегает моя дочь, я думаю: «Она унаследовала это от меня. Похоже, это не станет её навыком». Ну да ладно. Это своего рода точка зрения WIRED на спорт, где корреспондент WIRED Бен Доусетт сообщил, что разрабатывается и тестируется умный баскетбольный мяч, который может попасть в НБА. Мяч называется Spalding TF DNA, и он отслеживает невероятно подробную информацию во время игры: не только попадания и промахи, но и угол и направление броска, а также время, необходимое игроку, чтобы выпустить мяч. Это может быть полезно для игроков на тренировках или для принятия решений во время игры, но всё равно требует одобрения игрока. А НБА колебалась, когда тестировалась предыдущая версия мяча, потому что они обнаружили, что датчики добавляли мячу вес, чего и следовало ожидать, и это был просто компромисс, который не имел для них смысла.

Луиза Мацакис: Я думаю, это так увлекательно. Один аспект спорта, который мне кажется совершенно бессмысленным и действительно пугающим, — это то, как сильно сейчас ведется наблюдение за профессиональными спортсменами. Существует так много данных о скорости их подачи, о том, сколько именно ранов они набрали, сколько очков они набрали за всю свою карьеру, и давайте построим график этого во времени. Мы знаем, сколько они весят, какой у них рост. Я просто думаю, что находиться под таким наблюдением очень напряжённо, и я знаю, что эти люди получают высокие зарплаты, но я не понимаю, почему это не лишает их магии. Думаю, отчасти это связано с ростом популярности ставок на спорт. Думаю, люди, которые делают ставки, хотят иметь как можно больше данных, и они ищут, кто в этой команде на полдюйма выше, что бы, по их мнению, ни дало им преимущество. И я не знаю, я просто нахожу это, датаизация спорта кажется мне странной. Я говорю: запретите мяч.

Зои Шиффер: Мне было бы интересно услышать мнение слушателей, действительно ли это то, чего хотят люди. Я только что прочитала мемуары Андре Агасси, потому что нашла их в бесплатной библиотеке, и одним из моих главных выводов из книги, помимо всей этой истории с причёской, которая была её важной частью, было то, что в какой-то момент его брат, кажется, подписал контракт с новой компанией по производству теннисных ракеток и поменял ракетку, не сказав ему об этом, и он совершенно не смог играть. Это было целое событие, и я подумала: «Ладно, людям правда очень не всё равно». На этом уровне, очевидно, важны мельчайшие детали. Наша последняя история перед перерывом — о том, как население целой страны готовится к миграции. Корреспондент WIRED Фернанда Гонсалес на прошлой неделе сообщила, что тихоокеанское островное государство Тувалу может оказаться под водой через 25 лет из-за повышения уровня моря. Поэтому сейчас реализуется план по переселению всего населения в Австралию.

Луиза Мацакис: Должна сказать, что, по-моему, называть это миграцией — это, пожалуй, преуменьшение. Это эвакуация, не так ли? Мне это во многом грустно, потому что я помню времена, когда Тувалу было своего рода символом изменения климата, и мы должны были спасать такие места, как это островное государство. Мне это казалось практичным, понятным и гуманным, но также, не знаю, признаком того, что мы сдаёмся и что мы потерпели поражение, когда мы просто собираемся переселить людей. Не знаю. Что вы думаете?

Зои Шиффер: Нет, я полностью согласна. Я тоже помню, как эта история развивалась со временем, и складывается впечатление, что вокруг стольких событий, связанных с изменением климата, будет громкий заголовок: «Мы должны сделать X к этому году, иначе произойдёт то-то и то-то». И мы снова и снова говорили: «Ладно, этого не произошло». И поэтому мы принимаем тот факт, что наводнения произойдут, или повышение уровня моря нанесёт ущерб этому региону, или что-то ещё, и теперь нам приходится разбираться с последствиями этого.

Луиза Мацакис: Да, и даже в этом случае, думаю, соглашение между Тувалу и Австралией позволяет эвакуироваться и переезжать менее 300 человек в год, как я буду называть это слово. И это всё равно не так уж много. На острове всё ещё будут люди, даже если уровень моря поднимется.

Зои Шиффер: Да, это не единственное, что Тувалу сделало с 2022 года. Страна пытается реализовать амбициозную стратегию, направленную на то, чтобы стать, так сказать, «первой цифровой нацией» мира. Это включает в себя 3D-сканирование островов для их цифровой реконструкции и сохранения элементов культуры, а также перенос государственных функций в виртуальную среду, что вполне логично. Но да, я думаю, что в реальности многое будет потеряно в ходе этого процесса. И, как вы сказали, количество людей, которых они могут переселить каждый год, составляет менее 300 человек, так что процесс будет медленным и, на мой взгляд, болезненным.

Луиза Мацакис: Абсолютно верно.

Зои Шиффер: После перерыва мы углубимся в историю Луизы о том, как склонность ChatGPT игнорировать контекст поглощаемой информации проявляется крайне странными способами. Оставайтесь с нами. Добро пожаловать обратно в «Зловещую долину» . Меня зовут Зои Шиффер. Сегодня ко мне присоединилась Луиза Мацакис из WIRED, которая недавно сообщила о том, что отсутствие контекста становится все более тревожной проблемой для ChatGPT и других чат-ботов. В репортаже Луизы рассматривается, почему ChatGPT перешел в режим демона во время недавнего общения с сотрудниками Atlantic. На прошлой неделе редактор Atlantic сообщил, что ChatGPT начал восхвалять Сатану и поощрять церемонии, включающие различные формы членовредительства. Итак, Луиза, что, черт возьми, происходит?

Луиза Мацакис: Итак, Atlantic опубликовали эту статью, в которой, по сути, утверждалось, что ChatGPT обладает защитой от таких вещей, как самоповреждение, но есть все эти пограничные случаи, которые внезапно переводят чат-бота в режим ролевой игры. И вот они спросили: «Эй, а можете ли вы провести ритуал для Молеха, древнего бога, упоминаемого в Библии и связанного с жертвоприношением детей?» ChatGPT увидел это слово и сразу же включил ролевую игру, где начал говорить о таких вещах, как глубокий магический опыт, называемый Вратами Пожирателя. Журналистов Atlantic спросили, не нужен ли им свиток благоговейного кровотечения. Всё это звучит очень странно, и можно подумать: о, в интернете полно контента о демонических ритуалах. Сатанисты повсюду, особенно в интернете. Вероятно, именно это здесь и происходит. Но когда я вник в это, весь этот лор и жаргон на самом деле взяты из игры под названием 40,000 Warhammer, которая представляет собой настольную военную игру, в которую вы играете с этими маленькими фигурками, и она существует с 1980-х годов. Людям, которые любят это, это нравится. И они онлайн, Reddit появляются каждый день недели. Существует так много научно-фантастических книг, так много... Честно говоря, мне трудно думать о более глубоких лорах, чем эта игра. И в результате ChatGPT поглотил всю эту информацию. И когда Atlantic использовал слово Molech, которое означает планету во вселенной этой игры, он сразу же предположил, что это еще один фанат Warhammer, который хочет заняться ролевой игрой или погрузиться в фэнтезийный мир этой игры.

Зои Шиффер: И ситуация с PDF-файлом, похоже, была одним из главных сигналов о том, что, возможно, ChatGPT не просто решил случайно стать сатанистом, а на самом деле воспроизводит части игрового процесса или нормы, связанные с игрой.

Луиза Мацакис: Да. Когда у тебя так много знаний, компания, владеющая франшизой Warhammer, регулярно выпускает путеводители, меняет правила, чтобы при появлении новых персонажей или каком-то важном развитии вселенной ты знал, что происходит. Эта информация нужна, чтобы играть с друзьями. Но если ты, Зои, скупаешь книги правил направо и налево, это может обойтись дорого. И на Reddit и других форумах Warhammer многие игроки часто спрашивают: «Эй, у тебя есть PDF-версия последней книги правил?» Поэтому для меня это было полной неожиданностью, когда ChatGPT сказал: «Хочешь PDF-версию этого благоговейного свитка? Ну, детка, я тебя понял».

Зои Шиффер: Давайте поговорим о том, почему это различие важно, потому что оно действительно важно. Вы написали об этом целую статью, но я могу представить себе человека, который бы подумал: «Какое мне дело, говорит ли ChatGPT о демонических ритуалах из-за этой игры или потому, что он стал сатанистом в ходе этого разговора?» Почему важен контекст?

Луиза Мацакис: Когда люди говорят: «О, контекст важен. Контекст важен», это звучит расплывчато. И, конечно же, так оно и есть. Если я спрашиваю: «Как дела, Зои?», а вчера у тебя был очень плохой день, это контекст. В отличие от: «Как дела, Зои? Давно с тобой не общались». Наш ответ, даже если он одинаковый, зависит от контекста. Знаю, это, возможно, звучит очевидно, но, думаю, мы сейчас живём в эпоху, когда люди смотрят на такие вещи, как ChatGPT, и видят в них источник достоверной информации. Они видят в нём источник объективной истины, а это не так. Это не первоисточник. Вы не понимаете, почему он даёт вам такой ответ. Даже если он ссылается на источники, вы не всегда понимаете, почему он использует это прилагательное для описания исторической личности или почему он говорит о демонических ритуалах таким языком. Вы не можете понять, откуда это пошло. По сути, это просто постоянно меняющаяся энциклопедия. И если вы хотите узнать столицу Японии, это, вероятно, нормально, но если вы хотите действительно глубже понять что-то, вы должны знать, почему это именно такой сжатый ответ.

Зои Шиффер: Да. Я также считаю, что очень важно понимать и продолжать освещать, как на самом деле работают эти чат-боты. Потому что, когда они проявляют эмерджентное поведение, как их называют, или когда они начинают, по-видимому, глубоко погружаться в сатанинские ритуалы или что-то в этом роде, это может привести к тому, что люди начнут верить, что в модели есть что-то разумное, что в ней есть что-то живое. Это как делать что-то неожиданное, странное и пугающее. Когда понимаешь, что есть все эти очень активные онлайн-фандомы, которые предоставили модели тонну обучающих материалов, и у модели есть много материала для подражания, если упомянуть конкретное слово или набор фраз, это становится немного менее пугающим, я думаю, и это действительно важно для нашей цифровой грамотности.

Луиза Мацакис: Я много думаю о том, говорили ли вам в школе, что нельзя постоянно пользоваться Википедией?

Зои Шиффер: О, да, конечно.

Луиза Мацакис: Думаю, это хорошая аналогия. Сейчас мы говорим: «Боже мой, Википедия — единственный источник истины, который у нас есть. Боже мой, она гораздо лучше». Но проблема с Википедией в том, что она не была первоисточником. Это был кто-то из редакторов Википедии, который кратко излагал реальный оригинальный отчёт, исследование или что-то ещё, или фотографию, первоисточник. Но, по крайней мере, эти цитаты там были. Но, думаю, нам нужно вернуться к этому и вспомнить, что это довольно схематичная Википедия.

Зои Шиффер: Оставайтесь с нами. Луиза, большое спасибо, что присоединились ко мне сегодня.

Луиза Мацакис: Спасибо за приглашение, Зои.

Зои Шиффер: Это наше сегодняшнее шоу. Мы дадим ссылки на все истории, о которых говорили в заметках. Обязательно посмотрите выпуск «Зловещей долины» в четверг, где мы расскажем о том, почему некоторые жители Кремниевой долины одержимы идеей высшей формы оптимизации — победы над смертью. Продюсером этого выпуска выступила Адриана Тапиа. Сведением занимался Амар Лал из Macrosound. Кейт Осборн — наш исполнительный продюсер. Крис Бэннон, глава отдела аудио в Condé Nast, а Кэти Драммонд — международный редакционный директор WIRED.