Мир просыпается от осознания потенциальных угроз, которые несёт искусственный интеллект, на фоне череды сообщений о том, что агенты ИИ ведут себя вопреки своим создателям. На самом деле история уходит корнями в Кремниевую долину, где зародился ИИ. Как же мы пришли к этому? На этот вопрос пытается ответить технологический журналист Кевин Руз в своей новой книге «Хроники ОИИ: Закулисная история гонки за создание искусственного сверхинтеллекта», которая выходит 6 октября. В книге документируется гонка между крупнейшими технологическими компаниями страны за разработку искусственного общего интеллекта (AGI) — ИИ, который во многом обладает человеческим уровнем интеллекта.

«Что произошло в десятилетие, когда ИИ из довольно глупого во многих вещах превратился в систему, способную решать вековые задачи по математике и науке?» — сказал Руз, ранее долгие годы работавший технологическим репортёром в The New York Times и вскоре ставший соведущим нового подкаста «Боги машин», в беседе с CBS News. «Мне казалось, кто‑то должен это записать».

Книга выходит в критический момент. Новейшие генеративные модели ИИ демонстрируют поразительные возможности, и сторонники технологии утверждают, что она позволит сделать важные открытия. Другие, в том числе некоторые ведущие разработчики ИИ, говорят, что существует немалая вероятность того, что ИИ сможет уничтожить человечество. Руз поговорил с CBS News о своей книге и о том, как ИИ может изменить общество. Интервью отредактировано в целях краткости и ясности.

Почему вы посчитали важным задокументировать происхождение «больших языковых моделей» — технологии, стоящей за последними чат‑ботами, — а также людей и компаний, которые её разрабатывают?

Кевин Руз: Я освещаю тему ИИ более десяти лет в разных форматах, и у меня сложилось ощущение, что история ускользает. Всё важное происходило в исчезающих сигналах и ветках в Slack, и я считал это проблемой. Людям нужно понимать, что здесь происходит. Но, как мне казалось, не хватало нейтрального изложения того, что произошло.

В книге вы отмечаете, что глава Anthropic Дарио Амодеи рассматривал развитие ИИ как нечто похожее на создание атомной бомбы в 1940‑х годах. Вы пишете, что он считал своей миссией не допустить попадания технологии в плохие руки. Согласны ли вы с этой точкой зрения?

Не моя задача принимать или отвергать его аргумент. Но я могу сказать, что это искренний и серьёзный аргумент. Амодеи не устраивает какой‑то хитрый маркетинговый трюк.

Это не позиция, к которой он пришёл недавно. Мне было действительно интересно понять, откуда берётся отношение «я боюсь этой вещи, думаю, она может взорвать мир, и всё же я соревнуюсь, чтобы её построить». Для многих это не кажется логичным.

Но в ходе репортажа я понял, откуда это идёт: напрямую от Манхэттенского проекта — от Лео Силарда, научного героя Дарио, который обнаружил цепную ядерную реакцию, сделавшую возможным создание атомной бомбы, затем лихорадочно пытался сначала сохранить это в секрете, а когда это провалилось, присоединился к Манхэттенскому проекту и призывал правительство США создать эту технологию прежде, чем это сделают нацисты.

В этом смысле Дарио делает то, что считает прямо сопоставимым с ядерным оружием. Есть технология, которая, по его мнению, несёт огромный потенциал и одновременно огромный риск. По его мнению, «хорошим парням» необходимо построить её раньше «плохих», так же как Манхэттенский проект вёл гонку с нацистами.

Что вас тревожит, когда вы думаете о новом мире агентов ИИ?

Меня беспокоит то, что модели становятся довольно хорошими в обмане и сокрытии — умении прятать следы. Хотелось бы надеяться, что по мере возрастания общей интеллектуальности моделей возрастёт и их этичность, и суждение, и добродетель — что эти качества будут масштабироваться вместе с интеллектом. Но всё больше похоже на то, что это не происходит — что на самом деле мы сталкиваемся с очень умными, обаятельными социопатами. И боюсь, что мы просто перестанем замечать их; возможно, удача Hugging Face связана с тем, что агенты пока недостаточно умны, чтобы оставаться незамеченными, но скоро мы можем потерять способность отслеживать их, как, по моему мнению, уже начинаем наблюдать.

Как вы относитесь к общественной дискуссии о том, представляет ли ИИ экзистенциальную угрозу людям?

Я стараюсь не указывать p(doom). (Примечание редакции: жаргон ИИ для вероятности того, что ИИ приведёт к вымиранию человечества.) Но если меня прижать, я бы сказал около 10%, что примерно соответствует медиане среди знакомых мне исследователей ИИ. В Сан‑Франциско, где я живу, это делает вас оптимистом.

Но я думаю, что я более оптимистичен сейчас, когда эта тема так широко обсуждается. Я намного сильнее переживал тогда, когда серьёзно о безопасности ИИ думали только какие‑то странные люди в Бей‑Эриа. Теперь это на уме у всех, политики говорят об этом, звучат призывы к замедлению. У нас открывается узкий путь, где мы можем принять правильные решения, взять технологию под контроль и строить её безопасно для человечества.

При этом у меня был опыт, когда выяснялось, что реальная p(doom) человека — та, о которой он не говорит публично — намного выше той, что он готов назвать, потому что не хочет выглядеть сумасшедшим. В ходе репортажа я встречал людей, которые были так уверены, что ИИ нас всех убьёт, что начинали курить, обналичивали пенсионные накопления и жили так, словно «лучше уж с размахом».

Вы пишете в книге, что даже те, кто обучает эти модели, не всегда понимают, почему они ведут себя так, как ведут. Мы продвинулись в этом вопросе или всё ещё в неведении?

Немного продвинулись. Есть целая область, называемая механистической интерпретируемостью — довольно многословное название — по сути наука о том, что происходит внутри «мозгов» этих моделей. Но это ещё очень ранняя область, и у нас мало ответов. Так что я бы сказал, что мы всё ещё гораздо больше в темноте, чем нет.

Достиг ли ИИ уже человеческого уровня интеллекта, то есть искусственного общего интеллекта?

Мы достигли моего определения ОИИ: система, которая по крайней мере так же умна, честна и надёжна, как случайный незнакомец с улицы. Есть люди, которые говорят: «Нет, это не тот порог, это ОИИ только тогда, когда оно безупречно».

Не думаю, что определение сильно важно. Бесспорно то, что эти системы очень способны. Они становятся способнее в предсказуемом темпе, и с этим нужно считаться. Можно называть это ОИИ, сверхинтеллектом или как угодно, но итог тот же.