Хакнуть человечество

Татьяна Гурова

Главная героиня «Пятого элемента», считывавшая миллионы страниц текстов за несколько минут, пришла на Землю, чтобы спасти человечество. Она была поражена дефицитом любви к ближнему на Земле и, если бы не личная привязанность к герою Брюса Уиллиса, не отдала бы она в руки человека спасительный пятый элемент. Но этот фильм был снят в еще гуманные 1990-е. Сегодня же, похоронив идеи гуманизма на рубеже веков, человечество просто бредит прорывом в будущее, которое сулят технологии, скрывающиеся под единым брендом — «искусственный интеллект». Бредит, в общем-то, не очень понимая, что за этим названием стоит, и не осознавая ни реальных возможностей, ни реальных угроз, которые таит в себе очередной виток технологического прогресса. А ведь некоторые полагают, что этот виток может оказаться последним для человечества в том виде, в котором мы привыкли себя осознавать.

О том, что такое ИИ, что он умеет сегодня и что будет уметь очень скоро, есть ли для него моральные ограничения и нужны ли они, мы поговорили с Сергеем Кареловым, экс-топ-менеджером международных IT-компаний IBM, SGI, Cray, независимым экспертом, ведущим авторского научно-популярного канала «Малоизвестное интересное».

— Об искусственном интеллекте сейчас много говорят, но, кажется, никто толком не понимает, что это такое, какой это набор технологий, решений, рамок. Мы можем начать с азов?

— Искусственный интеллект — лишь вершина сложившейся технологической пирамиды. Говорить сегодня отдельно об AI, отдельно о машинном обучении, отдельно о распознавании образов, отдельно о Big Data бессмысленно. Есть большой кластер, который перестал быть чисто информационным. Аналитики компании Forrester еще пятнадцать лет назад сказали, что должна возникнуть business technology — ВТ. И это произошло. Более того, это ушло из бизнеса, распространилось и захватило социальную сферу и политику. Но на вершине этого сложного набора технологий есть некий кластер сумасшедших технологий, которые, устроив гигантскую путаницу, все называют искусственным интеллектом. Здесь и то, что AI обыгрывает человека в шахматы, в го, в стрелялки. Здесь и угрозы: роботы вытеснят десятки миллионов рабочих. В общем, сумасшедший замес идей, угроз, возможностей.

— Можно ли строго определить класс задач, ради которых появился искусственный интеллект?

— Сам термин «искусственный интеллект» имеет двести официальных определений. Его используют для широчайшего круга областей техники, бизнеса, различного рода гуманитарных, социальных, политтехнологических исследований. В итоге термин просто представляет собой ничто. И если мы пытаемся говорить об искусственном интеллекте, мы должны определиться, о чем мы хотим поговорить — о влиянии на выборы или о том, как хакнуть человечество.

— Тем не менее у этого же есть какой-то общий корень?

— Нет.

— Я приведу простой пример. Тригонометрия родилась как наука, задачей которой было описание траектории полета ядра.

— Совершенно верно.

— А искусственный интеллект родился зачем?

— В том, для чего он родился, он совсем не пригодился. Родился искусственный интеллект больше пятидесяти лет назад из вполне конкретной задачи. Компьютеры уже были, и они на тот момент прекрасно считали. И вот решили создать программу, которая будет так же умна, как человек. По сути, сымитировать человека. И это назвали «искусственный интеллект». И тридцать пять лет люди занимались именно этим. А потом поняли, что с практической точки зрения ни черта не получается — на человека это не сильно похоже и похоже не становится. Но вылезла куча смежных задач: автоматический перевод, распознавание образов, — на которых можно зарабатывать деньги. И тогда именно про это стали говорить, что мы решаем задачу развития искусственного интеллекта. А какую задачу? А вот в Гугле мы вместо лингвистического дерева для перевода с одного языка на другой включаем машинное обучение. И машина сама переводит, анализируя миллиарды подобных текстов. Искусственный интеллект? Да. А какое это отношение имеет к первоначальной задаче? Никакого.

Или начали делать распознавание образов. Распознаем всех: кошек, собак, людей. А какое это имеет отношение к той, первоначальной задаче? Никакого.

Тем не менее в рамках решения этих задач поняли одно: интеллект как способ решения информационных задач является частью того, что называется разум, но не основной частью. И если вы имитируете эту вычислительную часть, то у вас получается очень красиво нарисованный тигр, который того и гляди прыгнет, но мы точно знаем, что он не прыгнет. Ведь кроме разума есть еще сознание, и это совсем другая штука. И выясняется, что без отелеснивания, без взаимоотношения со средой, без эмоций тут вообще не о чем говорить. А значит, что та первая постановка задачи — сделать машинный интеллект, аналогичный человеческому, — была некорректная, примитивная.

— Изначальная задача была больше про вычисления?

— Еще раз, первая задача искусственного интеллекта была такая: давайте создадим программу, которая будет по своим интеллектуальным способностям соизмерима с человеком.

— То есть без какой-то привязки к конкретным задачам?

— Да. Любая задача. Машина должна была уметь то, что умеет человек: и распознавать, и говорить, и читать, и понимать. Максимум, чего добились на сегодняшний день с точки зрения практического применения, — это то, что показала IBM две недели назад на своем проекте Debater.

Есть такая программа Debater. В какой-то момент стало ясно, что на чисто вычислительных задачах, где есть исчислимое множество вариантов, таких как шахматы, го и даже компьютерные игры, человеку «ловить» нечего. Эти вычислительные задачи прекрасно решаются в лоб машинным обучением, большими вычислительными мощностями. И их даже не надо учить. Достаточно написать одну программу обучения, поставить два компьютера, и они начинают учить друг друга. Даже если не сообщать им правила игры, а только показать несколько игр и сказать: дальше так же играйте сами.

— И как долго они учатся?

— Последний опыт, который и поверг всех в полное замешательство, показала программа AlphaZero. За одни сутки эти программы, учась играть с нуля, достигли уровня игры, при котором бессмысленно подсовывать любого другого игрока, живого ли, компьютерную программу. Они их просто разделают как щенка.

— Понятно почему?

— Конечно. Если в задаче есть прямой перебор вариантов, то это означает, что надо найти иголку в стоге сена. А для этого нужно рассмотреть сто миллионов соломинок и сравнить каждую, не является ли она иголкой. Для того чтобы сравнить сто миллионов соломинок со скоростью человеческой работы, потребуется, допустим, две тысячи лет. А компьютер сделает это за пять секунд.

Но это лишь в том случае, если задача вычислимая. Как только задача становится невычислимая, а таких задач большинство, надо придумывать, как это делать. И вот в последнем айбиэмовском проекте Debater они вернулись к той классической задаче, с которой начинался искусственный интеллект, — к тесту Тьюринга. То есть пытались добиться того, чтобы, разговаривая с компьютером, вы не смогли отличить, с кем вы говорите — с человеком или с компьютером. Если этого добиться, то можно считать, что компьютер достиг человеческого уровня.

Первые программы типа «Элиза» были написаны пятьдесят лет назад. Они обменивались информацией письменно, но люди с большим трудом отличали компьютер от человека. Потом компьютеры научили с помощью глубокого обучения говорить и понимать слова.

Но все это было не то. Ну отвечает на вопросы, похожа на человека, а спросишь - что с внучкой делать, она скажет: это сложный вопрос, молодежь, с ней надо быть очень аккуратным. Получив десяток таких ответов, понимаешь, что все равно она ничего не понимает.

В Debater попытались свести понимание к вычислительной задаче и модифицировали задачу. Человек будет соревноваться с компьютером в дебатах. Тема дебатов будет сюрпризом для обоих. Например, нужно ли государству бюджетировать школьное образование? После того как тема названа, и человеку, и компьютеру дается пятнадцать минут на подготовку речи. Человек произносит свой спич, компьютер произносит. В данном случае уже точно произносит, говорит естественным языком. Все это слушает телевизионная аудитория и голосует. Первое голосование проводится до того, как высказались дебатеры. Просто спрашивают людей: как вы считаете, должно государство в это дело лезть или нет? Семьдесят девять процентов сказали, что должно, тринадцать процентов, что нет.

После пятнадцатиминутной подготовки каждая из сторон рассказывает свою позицию. Потом дается еще время, чтобы стороны проанализировала позицию другой стороны и вышли с дебатами, разбивая аргументы противника, добавляя свои аргументы и забивая последний гвоздь в крышку. Итого у оппонентов было пятнадцать минут на подготовку, четыре — на изложение своих аргументов, четыре — на опровержение чужих и два — на резюме. После этого люди еще раз голосуют и в зависимости от того, в чью пользу изменилось соотношение, решают, кто выиграл. В данном случае выиграл человек, англичанин Хариш Натарайан, ему тридцать один год, чемпион мира по дебатам, работающий в консалтинговой компании по оценке рисков. Очень крутой дядька. Что-то среднее между Ургантом и Спинозой. Умен, шустер, реактивен. Позиция голосующих на семнадцать процентов сместилась в его пользу.

— Выиграл в каком смысле?

— Хитрость заключается в том, что у машины нет позиции. Она все знает, но позиции у нее нет. И потому первым говорит человек. В данном случае человек обосновывал, что государству нечего делать в школьном образовании. А компьютер по остаточному принципу должен был агитировать «за». Он за эти пятнадцать минут проанализировал четыре миллиарда документов и выдал очень хорошую речь на основе гигантского опыта семидесяти двух стран за последние шестьдесят лет, обобщив все в цифрах и графиках.

— И тем не менее народ проголосовал за человека?

— Да. Ведь человек говорит эмоционально, а у компьютера эмоции нет, и он по определению проигрывает. Он говорит вещи умные, правильные. Анализируя и разбивая аргументы человека во второй речи, компьютер просто размазал его. Но проиграл.

— И машина воспринимает этот проигрыш как свое ещеё недостаточное развитие?

— Машина это никак не воспринимает.

— Я имею в виду тех, кто эту разработку делает. Здесь есть обратная связь или нет?

— Разработчики знали, что машина проиграет, несмотря на то что она владеет вопросом на порядок лучше любого другого специалиста. Более того, она обладает весьма серьезными логическими способностями. Она прекрасно понимает семантику аргументов, раскладывает аргументы человека на составляющие и для каждой составляющей строит схему антиубеждения, подкладывая под нее колоссальный корпус документальных и экспериментальных данных. Но, не обладая эмоциями, она не в состоянии убедить.

— А в чем задача?

— То, что сделал сейчас IBM Debater, — очень серьезный прорыв. И задача решалась единственная. Последние двадцать пять лет ушли на то, чтобы понять, что интеллект — это просто вычисления. Причем вычисления, выполняемые нейронной сетью, не имеющей алгоритма. Просто много-много данных. Они обрабатываются, и получается интеллектуальное решение вычислительной задачи. А IBM поставила задачу доказать, что и понимание тоже может быть вычислением. Как? А вот так. У машины же не было алгоритма понимания, а она поняла вопрос. Более того, она поняла аргументы человека. И она пыталась над ним издеваться, шутить, приводя контраргументы и показывая, насколько он далек от истины. Но она-то ничего не понимает. Таким образом, удалось превратить понимание в вычисления. Хотя мир этого не понял.

Нас хакают с утра до ночи

— Что дальше будет с этим пониманием? Сейчас сделали шаг, доказали, что это тоже алгоритм. Если, например, с расчетными задачами дошли до шахмат и где-то остановились, то что будут делать с этим пониманием?

— Вы читали, Ювала Ноя Харари?

— Нет.

— Sapiens, Homo Deus, «21 урок XXI века», очень рекомендую. Человек уникальный. Ни черта не понимает в предмете, но за счет правильного строя мозгов и того, что занимается честно и говорит с людьми, которые ему не вешают лапшу на уши, он очень хорошо все резюмирует и объясняет.

В частности, Харари пишет, что среди трех главных вызовов, которые стоят перед человечеством, первый — изменение климата. Второй — ядерная война. И третий — что мозги человека за счет достижений AI могут хакнуть.

AI — это фактически сплетение инфотеха и биотеха. На протяжении многих лет в инфотехе занимались решением той задачи, о которой я говорил сначала, потом кучей других задач. А сейчас на новом качественном этапе вдруг пришли к той же самой задаче, но уже понимая, что интеллект — это одно, разум — другое, сознание — третье. И возможности совсем другие: IBM имитирует понимание. И это означает, что в инфотехе продвигаются к тому, чтобы суметь сконстролить и интеллект, и разум, и сознание. А параллельно идет биотех, который занимался ДНК, генетикой, клеткой, генной модификацией, стволовыми клетками, мутантами. Но в итоге опять все пришло к мозгу. В центре американской программы Brain — мозг, мышление. Аналогично в Европе и Китае. И вот тут биотех и инфотех сплелись. И на их сплетении появился феномен, о котором пишет Харари. Он заключается в том, что уже существующие технологии позволяют легонько хакнуть человеческие мозги — как отдельного человека, так и целого народа.

— Как?

— Начнем, с того, что нас хакают с утра до ночи. Наши предпочтения не наши, а предпочтения поисковиков. Если вам нужно собрать информацию по какому-то вопросу, вы не пойдете смотреть на таксономию в Библиотеке имени Ленина, а полезете в интернет. И в лучшем случае посмотрите три первые страницы, уйдете в ссылки, перейдете к следующим, спросите еще раз и в итоге вот так вот сколотите себе весьма…

— …искаженное представление о предмете.

— Вы вообще не знаете какое. В любом случае оно вам будет в голову вставлено, и вариантов у нас нет. И это касается не только потребления информации. Если вы захотели купить себе туфли и сделали несколько запросов, после этого вас три недели будут заваливать контекстной рекламой этих туфель.

— Это понятно. А еще?

— Что значит «еще»? Кино — системы предпочтений. При покупках в магазинах анализируют предпочтения, моделируют ваш психологический строй выбора и подсовывают подходящее.

— Вы сказали, что произошло сплетение биотеха и инфотеха…

— Я сейчас к этому приду. Если вы голосуете за политика, то вас тоже хакнули. Всякие там Cambridge Analytica и прочее. Они делают примитивные вещи, но это работает. Они действительно говорят, что если среднему американцу раз в день показывать определенную картинку, то вероятность, что он проголосует за Трампа, вырастет на двенадцать процентов. А на картинке какая-то тетка с пивной кружкой и с сосиской. Почему? Потому. Алгоритм говорит, что такая картинка склоняет предпочтения в пользу Трампа.

Возвращаясь к инфотеху и биотеху. Пока я говорил только о том, что делает инфотех. Но параллельно, например, врачи научились всовывать соответствующий тоненький электродик в точку, и человек начинает лихорадочно смеяться и становится довольным. Причем это произошло давно. За последние два-три года достигли уже сумасшедших возможностей, когда, например, могут определить нейроны, отвечающие отдельно за Буша, за Трампа, за Кондолизу Райс…

— Да ладно…

— Это медицинский факт. Более того, плохо ли, хорошо ли, но научились читать мысли. Да, пока это выглядит предельно погано, но выяснилось, что не надо читать мысли как тексты.

Приведу пример. Вот китайская система социального рейтингования. Если вы ведете пассивный образ жизни, ничем не интересуетесь, не читаете, не смотрите, то у вас понижается социальный рейтинг. На красный свет переходите дорогу, карьерой своей не занимаетесь — опять понижается социальный рейтинг, который уже многое вам не позволяет. Это работает инфотех, который за вами наблюдает, оценивает и выносит решение.

А рядом работает биотех. Часики меряют биометрические данные — ваш пульс и давление.

Сейчас уже очень много чего меряют. Более того, хитрость заключается в том, что если вы меряете очень-очень много десятков миллионов людей, то пресловутый искусственный интеллект в состоянии выделять паттерны, которые по минимальному количеству параметров — например, по частоте сердечных сокращений, ритму сердца, движению ваших зрачков — все это обрабатывают… И вот теперь представьте, возвращаясь к системе китайского рейтинга, взглянул человек на фотографии Си Цзиньпина, и система показывает, что ненавидит он его. И хакнули человека. Во-первых, прочли его мысли и эмоции по отношению к товарищу Си Цзиньпину.

— А хакнули в смысле через информацию, я надеюсь, пока?

— Нет. Они хакнули его на биоуровне.

— Каким образом?

— Если украли ваши данные из компьютера, вас хакнули.

— Украли, понятно. Я имела в виду — изменили. Пока еще не дошло до этого на биологическом уровне?

— Нет, дошло. Сейчас уже есть лекарства, размягчающие на манер хорошего наркотика. Все это в лабораториях. Федеральная комиссия еще это не пропускает, но уже есть препарат. А есть способы немедикаментозного воздействия. Я приведу лишь один пример. Бывает, что подчас, посмотрев на спину, затылок человека, вы думаете: как же он меня ненавидит?

— Бывает.

— Или вопрос о коллективной передаче эмоций. Почему на стадионе так заражает поведение толпы, а сидя за телевизором, не заражаешься этой эмоцией? Видимо, там что-то происходит. А что?

И наконец, каким образом люди считывают эмоции и передают их, например, в музыке? Ведь есть же партитура. Можно сыграть так, а можно так. Погромче, потише, изменить ритм.

Короче, не буду вас уводить в еще одну сумасшедшую сторону, но результат — сделали эту работу, выяснили. Сумасшедшая математика, так называемая вероятность Грейнджера, некорреляционный анализ. С помощью языка тела передаются эмоции. Так как у нас есть старый мозг, который умеет оперировать невербальными понятиями. Он работает на уровне обработки эмоций. У нас есть сигнальная система, примерно такая же, как у пчелы, которая рассказывает своим подругам при помощи танца, куда лететь, как там и что там. И вот эта система невербальных коммуникаций используется музыкантами — для передачи эмоций. Более того, научились читать их.

— А читают как?

— На них надели костюмы motion capture, придуманные в Silicon Graphics. Собрали очень хороших музыкантов и попросили: «Ребята, сейчас исполняете — никаких эмоций. По партитуре». Записали. Сняли килотонны данных по тому, как они себя ведут. Это не то, что там наклон головы. Тончайшие наблюдения: скорость, движение каждой мышцы. Все это снимается, оцифровывается. Потом говорят: «А теперь с душой». И выяснилось, что сам процесс исполнения хорошими музыкантами — огромная система. В любой момент существует эмоциональный лидер, который ведет за собой и дирижирует эмоциями круче, чем дирижер. Остальные следуют. Потом происходит перехват лидерства, и за новым начинают идти остальные. И пошло, и пошло. Выясняется, что это работает и на стадионе, поэтому вы себя так ведете. И по спине вы определяете, что он вас ненавидит. И вообще, музыка показала, что глубинная сигнальная система — куда более мощная, правдивая и эффективная, чем словесные коммуникации.

— Как?

— Один пример из одной лаборатории прошлой недели. Из костюмов для motion capture родились костюмы для виртуального секса, они могут воздействовать на определенные точки. И в принципе, прогресс существенно продвинулся, и можно вызывать эмоциональный духовный подъем у человека, надев на него костюм. Вполне можно отказаться от всех остальных видов энтертейнмента. Кино, театр, спорт — все уходит на второй план, потому что это куда эффективнее, дешевле и мощнее. Это к вопросу о хакинге.

— Вы меня просто пугаете.

— А если вы это сделаете — а люди все равно на это купятся, — то можно и подкрутить, чтобы воздействовать не только на эмоции, но и на выбор, примерно так же, как на уровне инфотеха это делается с поисковой выдачей. Собственно, об этом и пишет Харари: алгоритмы хакают нас, потому что алгоритмы лучше мамы и лучше нас самих знают нас. Кто знает, какой будет результат у работы о передаче эмоций при помощи языка тела. Может быть, диктор, который освоит этот язык тела, будет способен внушать лучше, чем любой Кашпировский. Достаточно будет Кате Андреевой пару раз повести плечами, как воздействие того, о чем она говорит, возрастет на порядок.

Это не остановить

— Это, безусловно, очень впечатляет, но возникает вопрос: а кто-нибудь думает о том, как это остановить?

— Нет, потому что остановить это невозможно. Человечество всегда отличалось тем, что замечательно придумывает что-либо, но очень лажается на предмет того, как это правильно применить. Когда Нильс Бор рисовал ядро атома, он вовсе не планировал уничтожать человечество.

— Это понятная аналогия.

— Здесь ровно то же самое. Никто не придумывал таких вещей для злого умысла, но остановить это невозможно. Требуется колоссальная координация между всеми технологически продвинутыми странами. Без этого в лабораториях родится такое, что сибирская язва и нейтронная бомба в дипломате покажутся мелочью.

— То есть правильно ли я понимаю, что все эти распознавание образов, беспилотный автомобиль и прочее — это просто крупица из этого огромного мира, который…

— Да. Частичка. Это пригоршня мозаичных штучек, перебирая которые можно зарабатывать деньги. Но это не имеет никакого отношения к тому, что представляет собой мозаика и что можно понять из нее. Беда в том, что 99 и 9 в периоде специалистов занимаются этим как бизнесом, зарабатывают деньги. И выяснилось, что зарабатывать деньги на этом можно очень неплохо.

А мне повезло, я последние несколько лет занимаюсь тем, что сижу в лабораториях, встречаюсь с людьми, читаю их бумаги, пишу свои возражения, в чем-то сам участвую немножко как эксперт, и я вижу то, что станет возможно очень скоро — условно в 2040 году.

Почему Китай победит США

— По поводу гонки США и Китая. Почему китайцы сейчас выигрывают и в чем?

— Есть такой человек Кайфу Ли. Мы с ним вместе работали в одно время в Silicon Graphics. Сейчас он главный идеолог искусственного интеллекта в Китае и руководитель крупнейшей инвестиционной компании. Он написал книгу AI Superpowers: China, Silicon Valley, and the New World Order. Она вышла осенью, и сейчас это самая известная книга по этому поводу. Мы с ним очень близко мыслим, но в одном вопросе мы расходимся. Я согласен с Кайфу Ли, что Китай обгонит и уже обогнал в области искусственного интеллекта США. Но Кайфу Ли считает, что они сделают лишь только потому, что в Китае больше данных. А я утверждаю, что проблема не в этом.

— А в чем?

— Главная причина в том, что в США свободный рынок и демократия какая-никакая, а в Китае нет ни того ни другого. А мы сейчас находимся на таком же технологическом перевале, как перед Второй мировой войной, когда немцы уже вели разработки по созданию ядерного оружия. Тогда нашелся умный человек, Вэннивар Буш, который был советником Рузвельта по науке и технологиям, и сказал: для того чтобы сделать технологический скачок, нужен скачок национального уровня. От этого зависит национальная безопасность страны. Его можно совершить только одним способом — создав специфическую связку государства, частного бизнеса и науки. Это инновационный треугольник Вэннивара Буша. Я не буду сейчас говорить, как должен быть устроен этот треугольник, но Буш показал, что это можно.

— То есть вы считаете, что китайцы победят из-за системы?

— Да. И мы это видим. Никто просто не отдает себе отчет, что, например, самые продвинутые миллиардеры типа Джека Ма — члены партии. А вы читали конституцию Китая?

— Я — нет.

— А я читал. И там написано, что интересы партии выше, чем ваши личные, карьерные, профессиональные, этические и прочие ценностные выборы. И если вы этому не следуете, то вы становитесь врагом государства. В «Гугле», если у вас есть три члена партии на предприятии, вы обязаны иметь ячейку. Если у вас есть ячейка, то вы обязаны писать отчеты. Если вы пишете отчеты и вам, члену партии, в китайском отделении «Гугла» говорят, что вы должны украсть патент и принести его по этому адресу, то вы это сделаете. Иначе вы будете врагом государства. В этом смысле то, что сейчас творится, в Китае называется civil military fusion. Это даже не интеграция, а сплав.

— А чего они хотят? Безопасности?

— AI меняет главную парадигму ядерного сдерживания. В ситуации, когда у вас, и у меня хватает оружия, чтобы уничтожить друг друга десять тысяч раз, становится понятно, что соревноваться в дальнейшем совершенствовании этого оружия бессмысленно. Все системы управления сейчас переключаются понемножку на то, что называется AI против AI, потому что он быстрее. Если, как Путин говорил, будет у них две минуты на подлетное время, то за две минуты очень многое можно проанализировать и понять, что это — нападение, или отвлекающий маневр, или ошибка.

Более того, главное, на что полагались со времен Карибского кризиса, — это так называемый прямой телефон, где очень быстро успеют переговорить двое. А с AI они успеют переговорить, допустим, шестьдесят миллионов раз. Задать друг другу два миллиарда уточняющих вопросов и получить два миллиарда уточняющих ответов. Короче, система принятия решения неотвратимо переходит на то, что мы называем AI. Так же, как неотвратимо через пятьдесят лет все автомобили, если будут автомобили и будет где ездить, будут управляться AI.

— А мораль?

— Есть пресловутая дилемма. На дорогу выскочили два маленьких ребенка, играющие в мячик. В машине едет старый, пьющий инвестиционный банкир, больной раком. У AI есть варианты: либо он уворачивается, попадает в стену и убивает владельца автомобиля, инвестиционного старого банкира, больного раком, либо он убивает двух крошек, которые случайно оказались на дороге.

— И как он будет делать этот выбор? У него же нет морали.

— Уже известно как. Производители AI заложат обе возможности и продадут автомобиль дилеру, сказав: «Мы не берем на себя ответственность. Вы машину продаете, вы и должны поставить настройку, как автомобиль будет вести себя в этой ситуации.

— То есть все-таки у человека остается важная функция.

— Дилер говорит: «Ты что, идиот? Меня страховые компании замучают, что я убью владельца автомобиля, который застраховал автомобиль у меня. Я не возьму на себя такую ответственность». И продаст автомобиль владельцу, и скажет: «Вы его сами настройте». После этого пьющий инвестиционный банкир, больной раком, поставит: «Дави всех, ценность моей жизни наивысшая». И так оно и будет происходить.

Есть вещи, которые не имеют корректного решения, но они все равно будут сделаны. Так же и передача управления штабов командования, оценка ситуации и принятие последних решений уже сейчас потихоньку передаются на уровень AI, и в грядущие годы оно будет полностью туда выведено. Это означает, что с точки зрения доктрины взаимного уничтожения не меняется ничего. Изменения произойдут в области психологии. Если мы считаем, что наш искусственный интеллект мощнее, мы ударим. В результате, скорее всего, конец мира будет столь же ужасен, как и без искусственных интеллектов.

— Конец еще, тем не менее, не наступил…

— Понимаете какая штука, изменение психологии и передача управления будет происходить не только на военном уровне. В том, как сегодня работают мировые финансы, разбираются во всем мире несколько сотен человек. И проанализировать, как поведут себя в каком случае фондовые рынки, финансовые рынки, люди уже сами не берутся, все это делается на компьютерах. Если вы пройдетесь по хорошим брокерским конторам, то обнаружите, что вся аналитика финансовая уже лежит на AI.

— Это же очень плохо.

— Что значит плохо? Другого варианта нет. Это все равно идет, хотим мы этого или нет. Просто автомобиль самый простой пример. Он проще, чем финансовые рынки, проще, чем война. И задача понятна. Вот он, старый алкаш. Вот дети. И он подавит детей. Почему? Потому что он сам так запрограммирует, потому что никто другой не возьмет на себя эту ответственность. А чтобы человек, купивший автомобиль, себе запрограммировал «убей меня, если что»… А если женщина там будет? А если старушка? «Убей меня» — никто этого не сделает. Поэтому я говорю, это задачи, которые в принципе не имеют решения.

Одно решение: не использовать искусственный интеллект. Люди водили автомобиль, пусть сами водят, пусть сами бьются. На это вам ответят, что сейчас тридцать тысяч человек погибает в год, а с искусственным интеллектом будет погибать вчетверо меньше. Не важно, что он будет давить там детей, зато в целом же меньше? Меньше. Это звучит антиутопично, но все это только на первый взгляд касается будущего. Все это уже есть. Пока это есть в лабораториях, и я это точно знаю. Мы считаем, что, ах, в будущем… Не в будущем, это уже здесь. И на самом деле для того, чтобы это будущее оказалось нашей реальной жизнью, надо всего лишь чуть-чуть понизить цену.

Порог эволюции?

— А откуда в этом мире AI возьмется новое знание? Я сама занималась экономическим прогнозированием. Обычно мы действовали через корреляции. Перебирали большое количество корреляционных связей, находили что-то неожиданное или ожиданное. У нас рождалась какая-то гипотеза, и мы начинали с этой гипотезой работать и производить какое-то новое знание. Грубо говоря, какую область ни возьми, человек, действуя так, производил новые знания. А машина может производить новые знания? Ведь если человек перестает участвовать в этом процессе и все происходит на уровне общения искусственного интеллекта, то откуда возьмется поиск нового?

— Что такое знание? Знание — это некое понятие, которое имеет смысл, только если есть вопрос неких действий и принятия решений. Если вам не нужно принимать решения, производить действия, то все равно, есть у вас знание или нет.

Например, гистология рака. Вот картинка под микроскопом. Сегодня у искусственного интеллекта знаний по гистологии больше, чем у любого врача, потому что они определяются банальным количеством проанализированных фотографий. Человек не в состоянии просмотреть больше нескольких сотен тысяч, а у AI миллиарды этих опытов, и он еще сам генерит эти опыты, сам же и анализирует. То есть у него вероятность правильного гистологического диагноза существенно выше, чем у человека. Можно ли при этом сказать, что он сгенерил знание? Да. Более того, его действие, то есть вынесение диагноза, — это принятие решения. Потому что следующим принятием решения будет выбор схемы лечения. И опять же, он знает больше про эту тему.

— Что в этом мире будет делать человек?

— У человека масса чего.

— Чего?

— Я сегодня несколько раз упоминал слово «эмоции» и говорил, что у нас есть эмоциональная сигнальная система, и это некий более глубинный уровень, который лежит и под интеллектом, и под разумом, под подсознанием. Ведь на самом деле все дело в языке — если бы не было языка, не было бы и того развития, которое мы прошли. Но сейчас закрадывается подозрение: а могла же эволюция обойтись без языка? Обошлась же она, например, у дельфинов. И это, кстати, отдельная история, потому что интеллект, разум и сознание человека, животного и компьютера — эти вещи нужно рассматривать вместе. Более того, выясняется, что многие задачи, выходящие за рамки интеллекта, задачи понимания друг друга — это не вычислительные задачи. Потому что Debater замечательно может вычислительным образом понимать, о чем говорит человек, и даже контраргументы находить, но эмпатия и понимание на эмоциональном уровне не являются вычислительными задачами. А дельфин это делает.

В принципе, может, мы вообще некий вывих эволюции. Вот заговорили не вовремя, получилась такая ветка. А сейчас мы идем к тому, что ветка эта тупиковая, ее нужно прикрыть, вернуться туда и пойти более правильным путем, что для эволюции совершенно на раз-два.

— Спасибо. Я больше не могу задавать вопросы.

— Не можете? Не надо.