Нежная сингулярность

Мы прошли горизонт событий; Взлет начался. Человечество близко подошло к созданию цифрового сверхинтеллекта, и, по крайней мере, пока это гораздо менее странно, чем кажется.

Роботы еще не ходят по улицам, и большинство из нас не разговаривает с искусственным интеллектом весь день. Люди до сих пор умирают от болезней, мы все еще не можем легко полететь в космос, и во Вселенной есть многое, чего мы не понимаем.

Тем не менее, в последнее время мы создали системы, которые во многих отношениях умнее людей и способны значительно повысить производительность людей, использующих их. Наименее вероятная часть работы осталась позади; научные открытия, которые привели нас к таким системам, как GPT-4 и O3, были получены с трудом, но они заведут нас очень далеко.

ИИ внесет свой вклад в мир во многих отношениях, но повышение качества жизни от того, что ИИ ускорит научный прогресс и повысит производительность, будет огромным; Будущее может быть намного лучше, чем настоящее. Научный прогресс является самой большой движущей силой общего прогресса; Очень интересно думать о том, сколько еще мы могли бы иметь.

В каком-то смысле ChatGPT уже мощнее любого человека, который когда-либо жил. Сотни миллионов людей полагаются на него каждый день и для решения все более важных задач; Небольшая новая возможность может оказать огромное положительное влияние; Небольшое смещение, умноженное на сотни миллионов людей, может привести к большим негативным последствиям.

В 2025 году появились агенты, способные выполнять реальную когнитивную работу; Написание компьютерного кода уже никогда не будет прежним. В 2026 году, вероятно, появятся системы, которые смогут извлекать новые идеи. В 2027 году могут появиться роботы, способные выполнять задачи в реальном мире.

Гораздо больше людей смогут создавать программное обеспечение и искусство. Но мир хочет гораздо больше и того, и другого, и эксперты, вероятно, все равно будут намного лучше новичков, если они будут использовать новые инструменты. Вообще говоря, способность одного человека сделать в 2030 году гораздо больше, чем он мог бы сделать в 2020 году, будет поразительным изменением, и многие люди поймут, как извлечь из этого выгоду.

В наиболее важных отношениях 2030-е годы могут не сильно отличаться. Люди по-прежнему будут любить свои семьи, проявлять свои творческие способности, играть в игры и купаться в озерах.

Но в по-прежнему очень важном смысле 2030-е годы, вероятно, будут сильно отличаться от любого другого времени, которое было раньше. Мы не знаем, насколько далеко мы можем зайти за пределы человеческого интеллекта, но мы скоро узнаем это.

В 2030-х годах интеллект и энергия — идеи и способность воплощать идеи в жизнь — станут в диком изобилии. Эти два фактора долгое время были фундаментальными ограничениями на пути человеческого прогресса; При наличии большого интеллекта и энергии (и хорошего управления) мы теоретически можем иметь что-то еще.

Мы уже живем с невероятным цифровым интеллектом, и после некоторого первоначального шока большинство из нас уже привыкли к нему. Очень быстро мы переходим от удивления тем, что ИИ может создать красиво написанный абзац, к заданию вопросом, когда он может создать красиво написанный роман; или от удивления тем, что он может ставить медицинские диагнозы, спасающие жизнь, до удивления, когда он сможет разработать лекарства; или от удивления, что он может создать маленькую компьютерную программу, до удивления, когда он сможет создать совершенно новую компанию. Вот так и происходит сингулярность: чудеса становятся рутиной, а затем ставки на столе.

Мы уже слышим от ученых, что они в два-три раза продуктивнее, чем были до ИИ. Продвинутый ИИ интересен по многим причинам, но, возможно, ничто не имеет такого значения, как тот факт, что мы можем использовать его для более быстрых исследований ИИ. Возможно, мы сможем открыть новые вычислительные субстраты, лучшие алгоритмы и кто знает, что еще. Если мы сможем провести десятилетние исследования за год или месяц, то темпы прогресса, очевидно, будут совершенно другими.

С этого момента инструменты, которые мы уже создали, помогут нам найти дальнейшие научные выводы и помогут нам в создании более совершенных систем искусственного интеллекта. Конечно, это не то же самое, что система ИИ, полностью автономно обновляющая собственный код, но тем не менее это личиночный вариант рекурсивного самосовершенствования.

Есть и другие самоусиливающиеся петли. Создание экономической стоимости запустило маховик сложного строительства инфраструктуры для работы этих все более мощных систем искусственного интеллекта. И роботы, которые могут строить других роботов (и, в некотором смысле, центры обработки данных, которые могут строить другие центры обработки данных), не так уж и далеки от этого.

Если нам придется сделать первый миллион человекоподобных роботов старомодным способом, но затем они смогут управлять всей цепочкой поставок — добывать и перерабатывать полезные ископаемые, водить грузовики, управлять заводами и т. д. — чтобы создавать больше роботов, которые могут строить больше заводов по производству чипов, центров обработки данных и т. д., то темпы прогресса, очевидно, будут совершенно другими.

По мере автоматизации производства в центрах обработки данных стоимость интеллекта в конечном итоге должна сравняться со стоимостью электроэнергии. (Люди часто интересуются, сколько энергии потребляет запрос ChatGPT; в среднем запрос потребляет около 0,34 ватт-часа, сколько духовка израсходует чуть более чем за одну секунду, или высокоэффективная лампочка — за пару минут.

Он также использует около 0,000085 галлонов воды; примерно одна пятнадцатая чайной ложки.)

Темпы технологического прогресса будут продолжать ускоряться, и люди будут по-прежнему способны адаптироваться практически ко всему. Будут очень трудные моменты, такие как исчезновение целых классов рабочих мест, но, с другой стороны, мир станет настолько богатым так быстро, что мы сможем серьезно рассматривать новые политические идеи, которые раньше не могли. Возможно, мы не примем новый общественный договор сразу, но если оглянуться назад через несколько десятилетий, то увидим, что постепенные изменения приведут к чему-то большому.

Если история чему-то учит, мы найдем новые вещи, которые нужно делать, и новые вещи, которые нужно хотеть, и быстро освоим новые инструменты (смена работы после промышленной революции — хороший недавний пример). Ожидания будут расти, но возможности будут расти так же быстро, и мы все получим лучшие вещи. Мы будем строить друг для друга все более и более замечательные вещи. У людей есть важное и любопытное преимущество перед ИИ в долгосрочной перспективе: мы запрограммированы заботиться о других людях и о том, что они думают и делают, и мы не очень заботимся о машинах.

Фермер, ведущий натуральное хозяйство тысячу лет назад, посмотрел бы на то, что многие из нас делают, и сказал, что у нас есть фальшивая работа, и подумал бы, что мы просто играем в игры, чтобы развлечь себя, потому что у нас много еды и невообразимой роскоши. Я надеюсь, что через тысячу лет мы посмотрим на эту работу и подумаем, что это очень фальшивая работа, и я не сомневаюсь, что она будет казаться невероятно важной и удовлетворяющей людям, которые ее выполняют.

Скорость новых чудес, которые будут достигнуты, будет огромной. Сегодня трудно даже представить, что мы обнаружим к 2035 году; Может быть, мы перейдем от решения физики высоких энергий в один год к началу колонизации космоса в следующем году; или от крупного прорыва в материаловедении в одном году до по-настоящему широкополосных интерфейсов мозг-компьютер в следующем году. Многие люди предпочтут прожить свою жизнь примерно таким же образом, но, по крайней мере, некоторые люди, вероятно, решат «подключиться».

Забегая вперед, мы можем сказать, что это трудно представить. Но, вероятно, проживание через это будет впечатляющим, но управляемым. С релятивистской точки зрения, сингулярность происходит постепенно, а слияние происходит медленно. Мы карабкаемся по длинной дуге экспоненциального технологического прогресса; Он всегда выглядит вертикальным при взгляде вперед и плоским при движении назад, но это одна плавная кривая. (Вспомните 2020 год и то, как бы звучало создание чего-то близкого к AGI к 2025 году, по сравнению с тем, какими на самом деле были последние 5 лет.)

Есть серьезные проблемы, с которыми нужно столкнуться, наряду с огромными плюсами. Нам действительно нужно решить вопросы безопасности, как технически, так и социально, но тогда критически важно широко распространить доступ к сверхинтеллекту, учитывая экономические последствия. Лучшим выходом может быть что-то вроде:

1. Решить проблему выравнивания, означающую, что мы можем надежно гарантировать, что мы заставим системы ИИ учиться и действовать в соответствии с тем, чего мы коллективно действительно хотим в долгосрочной перспективе (ленты социальных сетей являются примером несогласованного ИИ; алгоритмы, на которых они работают, невероятно эффективны в том, чтобы заставить вас продолжать прокручивать страницу и четко понимать свои краткосрочные предпочтения, Но они делают это, эксплуатируя что-то в вашем мозгу, что перевешивает ваши долгосрочные предпочтения).

2. Затем сосредоточьтесь на том, чтобы сделать сверхинтеллект дешевым, широко доступным и не слишком концентрированным на каком-либо человеке, компании или стране. Общество устойчиво, креативно и быстро адаптируется. Если мы сможем использовать коллективную волю и мудрость людей, то, несмотря на то, что мы совершим множество ошибок и некоторые вещи пойдут совсем не так, мы быстро научимся и адаптируемся, и сможем использовать эту технологию для получения максимального плюса и минимального ущерба. Предоставление пользователям большой свободы в широких рамках, которые общество должно решить, кажется очень важным. Чем скорее мир сможет начать разговор о том, что такое эти широкие границы и как мы определяем коллективное согласование, тем лучше.

Мы (вся отрасль, а не только OpenAI) создаем мозг для всего мира. Он будет чрезвычайно персонализированным и простым в использовании для всех; Мы будем ограничены хорошими идеями. В течение долгого времени технические специалисты в индустрии стартапов высмеивали «ребят с идеями»; людей, у которых была идея и которые искали команду для ее реализации. Теперь мне кажется, что у них вот-вот будет свой день под солнцем.

OpenAI — это многое, но прежде всего мы являемся исследовательской компанией по сверхинтеллекту. Впереди у нас много работы, но большая часть пути перед нами теперь освещена, и темные участки быстро отступают. Мы чувствуем необычайную благодарность за то, что делаем то, что делаем.

Интеллект, слишком дешевый, чтобы его измерить, вполне достижим. Это может звучать безумно, но если бы мы сказали вам в 2020 году, что окажемся там, где мы сейчас, это, вероятно, звучало бы более безумно, чем наши нынешние прогнозы о 2030 году.

Пусть мы будем плавно, экспоненциально и без происшествий масштабироваться с помощью сверхинтеллекта.