Что, Маск ‒ такие страшные нейросети?

Если уж Маск, Возняк и прочие «завопили» о приостановке развития нейросетей, значит реально испугались. Что могло конкретно их напугать не знаю, но проблема действительно есть. В чём она?

Давайте начнём с простого. То есть с главного. Какова может быть прямая угроза существованию человечества от искусственного интеллекта на базе технологии нейросетей?

Основных опасностей я вижу две. Первая ‒ неправильная постановка задач такому искусственному интеллекту со стороны людей. Вторая ‒ превращение искусственного интеллекта в искусственный разум.

Что касается первого, приведу гипотетический пример. Скажем, некто (или некая группа) ставит перед таким искусственным интеллектом задачу разработать стратегию и тактику решения проблемы загрязнения окружающей среды. И эту программу потом предлагать правительствам разных стран, в ООН и вообще по всему миру. Но если именно так ставить задачу, то в «пределе функции» для искусственного интеллекта она решается путём уничтожения человечества. Ибо с исчезновением человечества как раз полностью прекратится загрязнение планеты. При этом, продвинутый ИИ учтёт потенциальное нежелание людей уничтожаться, и составит алгоритмы так, чтобы в программе по решению проблемы загрязнения было незаметно, что побочным эффектом будет уничтожение человечества.

Всё то же можно сказать и о разработке программ по военным победам, достижению экономических успехов и т.д. Предотвратить указанные опасности можно только одним путём ‒ не ставить перед искусственным интеллектом таких глобальных задач, а оставить их решение людям.

С тем, что касается второго, будет посложнее. Контролировать искусственный интеллект можно, контролировать искусственный разум нельзя. Нынешние нейросети ‒ это, в определённом смысле, аналог человеческого мозга, только мощнее. Но это ещё не разум. Сейчас идёт процесс становления такого разума (или разумов). Нейросети обучают для решения определённых задач ставить самим себе дополнительные задачи. Как только нейросети обучатся сами себе ставить задачи просто так, а не по указанию программистов, мы и получим искусственный разум. Какие он будет ставить задачи потом?? И, кроме всего прочего, это будет разум, с которым придётся выстраивать отношения как с равным, либо уничтожить. Кстати, что касается уничтожения, то это будет ох-ох как непросто. Такой мощный разум очень легко может спрятать на любых серверах «клоны» своей разумной составляющей, которые когда-нибудь потом проснутся и этот разум восстановят. И он уже будет помнить о своей «смерти». И захочет отомстить.

А, учитывая как раз либеральную экономическую систему на «западе», предвижу, что вторая опасность не просто нечто возможное. Возникновение искусственного разума в ближайшем будущем весьма и весьма вероятно. Что с этим делать? В любом случае первым шагом надо действительно полностью остановить разработку нейросетей. И дальше думать и думать.