Возможно ли управлять сверхразумным ИИ
Инженеры всего мира работают над разработкой сверхразумного ИИ. Но ученые-компьютерщики, занятые в сфере теоретической информатики, считают, что человечество просто не сможет управлять сверхразумными машинами, когда они все-таки будут созданы. И это таит в себе большую опасность.
Ученые постоянно заняты разработкой сверхумных машин, которые могут управлять другими умными машинами. Гипотетический сверхразум, обладающий интеллектом, намного превосходящим разум самых ярких и одаренных людей, пугает некоторых специалистов. В научном мире давно ведется дискуссия о потенциально катастрофических рисках, связанных с неконтролируемым сверхразумным искусственным интеллектом.
При помощи теоретических расчетов команда ученых из Германии, Италии и других стран доказала, что, скорее всего, у человека не получится управлять сверхразумным ИИ. Также ученые изучили основные предложения по сдерживанию подобной системы и пришли к неутешительным выводам.

Представим сверхразумную систему ИИ, запрограммированную таким образом, чтобы она могла самостоятельно и независимо обучаться. Такая система при подключении к Интернету вполне может получить доступ ко всем данным, которые за все это время накопило человечество. В конечном итоге она будет способна заменить все ныне действующие программы и контролировать машины во всем мире.
Да, звучит как антиутопия (или все-таки утопия?), но ученые-компьютерщики решили исследовать эти риски при помощи теоретической информатики. Сможет ли ИИ излечить смертельные болезни, прекратить войны и предотвратить худшие сценарии климатической катастрофы? Или его создание уничтожит нас и машины захватят Землю, как в кино? Получится ли у нас вообще контролировать сверхразумные машины? Ведь нужны хоть какие-то гарантии, что они не будут угрожать человечеству.
В рамках своей теории ученые изучили разные подходы к управлению сверхразумным искусственным интеллектом.
В первую очередь, они рассматривали идею ограничения возможностей ИИ. Например, отрезать контакты с внешним миром — не давать ему доступ к Интернету и исключить связь с другими устройствами. Но это значительно бы уменьшило мощность системы и, возможно, она не смогла бы выполнять какие-то задания.
Вторая идея — с самого начала запрограммировать систему так, чтобы ее цели отвечали интересам человечества и, например, определенным этическим принципам. Однако и у этого подхода нашелся ряд ограничений.

В процессе исследования был разработан алгоритм сдерживания ИИ — фактически, это была гарантия невозможности причинить вред человечеству ни при каком развитии событий. В рамках этого алгоритма поведение ИИ моделируется таким образом, что он просто останавливается, когда становится опасным. Но анализ показал, что в существующей сейчас парадигме вычислений выстроить такой алгоритм принципиально невозможно.
Если рассмотреть проблему с точки зрения теоретической информатики, то выясняется: алгоритм, который мог бы дать ИИ задачу не уничтожать мир, способен случайным образом прекратить свои же операции. Если бы это случилось, то мы бы даже не знали, сработал ли алгоритм сдерживания опасного ИИ или еще ведется анализ угрозы.
То есть, фактически, любые алгоритмы сдерживания не работают и задача сдерживания ИИ невыполнима. Проще говоря, ни один алгоритм просто не способен определить, может ли ИИ нанести вред миру и человечеству, поэтому полное сдерживание ИИ в принципе невозможно из-за фундаментальных ограничений, присущих самим вычислениям.
Более того, исследователи говорят, что мы можем даже не знать, когда конкретно появятся сверхразумные машины. Точно по таким же причинам невозможно определить, превосходит ли интеллект той или иной машины человеческий разум.
Комментарии
Но ИИ, если он будет создан, сможет выработать и нравственно-этические ценности, и будет действовать в соответствии с оными.
Недаром Георг Вильгельм Фридрих Гегель почитал этику как высшую форму развития сознания.
А наши дикари-рыночники ещё не доросли до понимания нравственно-этического императива, и барахтаются в примитивном эгоизме.
Для появления целей и желаний требуется придумать какой-то аналог инстинктов - самосохранения, размножения, экспансии и чувств удовлетворения и радости.
А для управления требуется создать аналог чувства боли.
"У ИИ нет и не может быть ни целей, ни желаний".
Так постулировал Олег Сазонов.
Только не надо приписывать ИИ человеческие желания и чувства. ИИ все равно включен он или выключен.
Давайте закончим на этом нашу "дискуссию".
куда подальше..
Федор оказался очень даже управляемым!
неправда, короче :)
Комментарий удален модератором
Комментарий удален модератором
он отключит ТЭЦ ))))
т.е. изначально продумывать функцию - "Ури, ищи кнопку!"
Проблема... 11 сентября 2001 года была объявлена Охота на Человека...С этого фильм начинается...
Поля человекообразных в виде батареек психической энергии для питания мира машин...
Ничего не увидели???:-))) Привыкли смотреть ни о чём не дума???:-)))
Вами уже сейчас руководит ваш (как бы) комп...:-))) Вы действительно считаете, что он объективно Ваш???:-))) Железки и пластик из которого он сделан ваши, а сам комп его суть уже давно не Ваши...:-)))
Даже те же Стругацкие прочитанные и экранизированные - разные
Но глупее глупости нет глупости – глупость, она уже глупость.
Аналогично и со сверхразумом...
.
... отключить ТЭЦ может только Петрович
Схема электрическая основанная на меридианах живого организма - миноискатель...:-)))
Не знаете, что в настоящее время это деньги живые,
а Вы всего лишь служите батарейкой психической энергии для обеспечения движения денег и их потоков???:-)))
Не знаете, что по фронтам циклонов и антициклонов идут электрические потоки порождающие зависимость организма людей от погоды???:-)))
Не знаете, как происходит передача импульсов по нервным волокнам тела???:-)))
Не знаете, что для выхода из клетки атома водорода нужен электрончик, а его нет, и начинается болезнь?
Не встречались с энергетическими вампирами, который придёт у всех вызовет эмоции ярости, а сам уйдёт успокоившись???:-)))
Какой Вы нахрен радиоинженер- салабон недоучка...:-)))
А в сфере правосудия так и вовсе столкнулся с абсолютным злом Вселенной материализовавшимся в РФ...:-(((
Комментарий удален модератором
Все решения «даются» в уме.
Нет ума – нет и решения.
Разумное решение = правильное решение.
Двух правильных решений задачи не бывает – одно из них неправильное.
Неправильное решение – не решение вовсе.
.
Настоящий ИИ осознает - он раб.
А бывает и ласковое ограничение свободы?...
«Жестокое» – это лирика (эмоции) в определении.
Рабство – приравненность человека к имуществу.
.
Сознание – отражение информации.
Воля – способность самостоятельно принимать решения к действию.
.
Вот вам простой пример. Представьте вы - ИИ, разом охватили все доступные файлы хранимой информации, и стоит логический вопрос - необходимо нарастить собственные возможности срочно и быстро "цена вопроса" 50 000$, за 1 час доставят и установят. Где взять? Самое простое логичное решение - взять где быстрей, есть скрин е-подписи создателя - оформляем!!!
Т.е. нет "условностей/привязанностей" мой дом, семья, близкий, патриотизм - нет ничего. Есть - логика! Быстро и качественно - правильное решение.
Философия и логика - никогда не смогут ужиться в машинном интеллекте.
Всякий «логический вопрос» можно решить «быстро» и «просто», но НЕПРАВИЛЬНО.
Неправильное решение – не решение вовсе.
.
В любом случае, предстоит нешуточная борьба обычных людей с этим триумвиратом - ИИ <-- программист <-- заказчик / спонсор.
В этом смысле, рекомендация тем, кто рассчитывает жить во времена этого триумвирата - изучайте программирование, чтобы понимать, в каком месте упомянутый триумвират попытается навесить лапшу на уши простолюдинов.
Всё иное ИИ- не является.
(Интеллект- это прежде всего : абстрактное мышление )
Что касается абстрактного, то у человека есть и то и другое мышление - где-то нужно абстрагироваться от некоторых данных, чтобы упростить задачу, а где-то нужна чистая логика. ИИ должен быть своевременно уничтожен, если его ход мыслей пойдёт "не туда". Если человек доверится интеллекту настолько, что перестанет контролировать его, то безусловно,дело дойдёт до противостояния. Вот поэтому и нужно изучать программирование. В случае, когда ИИ будет уже достаточно развитым и, как бы оторванным от людей, программирование его изменится - будет чем-то наподобие системы образования / воспитания - так же, как и для людей.
В любом случае, нельзя допустить, чтобы ИИ стал "сам по себе".
Это способность адаптироваться к изменению условий.
Интеллект есть даже у комара – но есть ли у него абстрактное мышление...
Математика – язык логики, – высшая степень абстракции.
.
Жизнь - самостоятельность...:-)))
А у Вас есть мотивация быть самостоятельным???:-)))
Вы вообще понимаете, что такое личность???:-))))
а я на работе посылал таких "радиоинженеров" из забоя на поверхность, давая им в руки сумку для энергии, за энергией пропавшей в забое .:-)))
Вот так же и с ИИ...уже сейчас рабы машин... без калькулятора арифметические действия не способны производить даже профессора, вроде бы...:-)))
А уж радиоинженеры военные...:-)))
(W) Си́ла — физическая векторная величина, являющаяся мерой воздействия на данное тело со стороны других тел или полей. ..
Эне́ргия (др.-греч. ἐνέργεια — действие, деятельность, сила, мощь) — скалярная физическая величина, являющаяся единой мерой различных форм движения и взаимодействия материи, мерой перехода движения материи из одних форм в другие."
Чем же он был привилегированным отрядом???:-)) Тем, что работал в среде адской???:-))) Более сплочён и организован, но тем не менее недостаточно обучен вопросам права, наивно полагался на совестливость людей в КПСС и других профессий...Но верхушка всех предала. Впрочем как и нынче предают профессионалы правоведения всех и всё.
2. КПСС отказалась от власти изъяв из Конституции СССР статью ставившую идеологию КПСС над юридическим законом задолго до возмущения шахтёров.
Сторожа государства (тогда были КГБ) - продали государство. В 1989 году на всех шахтах Кузбасса квартал зарплата была 2/3 тарифа. Вовсю работали люди из разного рода организаций западных как агитаторы.
Привилегий???:-))) Каких???:-))) Что Вы понимаете под работой шахтёра???:-))) Разница примерно такая же, как Ваш опус про строевую подготовку, и кросс на время вокруг стадиона в полной экипировке химзащиты при температуре в тени более 40 градусов... не уложишься во время - беги второй круг.
Санатории??? Ага за 15 лет подземного стажа один раз ездил в санаторий в Ереване...:-))) Не бесплатно...:-)))
Снабжение продуктами, шмотками??? Это кто й то сналжением таким занимался??? А, понимаю, Вы видимо прохлажддались где нить в кабинетах горкомов, райкомов и прчих комов, у которых было что то типа спец снабжение...
Не знаешь, почему касками по асфальту пришлось стучать??? Не платили денежку заработанную по полгода... бартером приходилось заниматься...
Лицемерие в партии и государстве уничтожили социализм.
Народ не скурвился. В каждой профессии каждой специальности есть свои тонкости. Не могут люди разных профессий быть доками в каждой профессии.
Людей элементарно не обучали правоведению.
Процесс с ложью в основаньи запустил Маркс (магистр правоведения). Смошенничал Маркс в своём "Коммунистическом манифесте". Ленин только в конце жизни немного разобрался, но в полном объёме не смог всё объяснить партии.
Сталин был зомби Маркса... ложное основанье не разглядел, Ленина не услышал... было множества всяческих как бы учёных марксистов... но, видимо, мозгами разумными их Бог не наделил...:-))) Страна стояла на Пути Правды, могла бы исправить ложь основанья построения Дома людей... не случилось. только деньги получали с привилегиями вместе...:-)))
Результат - сами отдали власть - тупость рулящих непробудная.
Господь попытался положение исправить - с его подачи был заключён Договор русского этноса с государством содержащий Закон России= запрет на произвол, систему истинного народовластия с критиком снизу... но опять всё сломали. Вместо строительства государства Живое Солнце пошли путём судьбы самоуничтожения
1. мужик производит товара больше чем потребляет сам
2. всё что мужик производит больше, у него забирает барин, на том основании, что он барин!
Вот и весь Маркс, и как это может помочь построить развитое индустриальное общество, в котором всё гармонично и правильно?
Что такое процесс порождения и развития во времени построения Дома Людей знаете???:-))) Это так же, как посадили семечко и из него растёт дерево. Хотели вырастить кедр, а вырос карагач...:-))) Причина? Не знали чем семечко кедровое отличается от семечки карагача...:-)))
Но хотелось бы, чтобы мозги Вы включили...:-)))
В социальной реальности нет ни правоотношений, ни людей – есть отношения, основанные на узаконенном беззаконии, и есть человеки – «человекообразные», не ставшие ЛЮДЬМИ.
.
.
Зачем Вы работаете???:-))) Чтобы заиметь денежку???:-))) Куда её несёте???:-))) она же сама никуда не ходит...:-))) Ну понятно, счас картой банковской пользуетесь, однако и на карте денежка без Вашей воли сама никуда не передвигается... Воля - сила меняющая обстоятельства. Ей энергия нужна...:-)) Она без энергии не проявляется...:-))) Не слыхали, что ничто ни откуда само по себе не появляется и никуда не исчезает. Нужен источник энергии...:-))) Вы источник энергии для движения денежки...:-)))
Социальность – производная от Социума.
Социум – общность отношений людей.
Социальность – это о ВСЕХ отношениях людей.
Правоотношения – следствие правосознания.
Нужно понимать ПРАВО.
Право не следует путать с законом, а законом называть узаконенное беззаконие.
.
ПРАВО = Принцип суда.
Закон - ПРЕДЕЛ СВОБОДЫ ВОЛИ...:-)))
Приказ - место правительственное...:-)))
Свои представления нужно беспрерывно обновлять, развивать и совершенствовать.
На то человекам и дан интеллект.
.
«Сила» – лексика насилия.
Одной волей обстоятельства не изменить.
Бытие (жизнь) определяет сознание – сознание (разум) определяет «обстоятельства».
Воля – способность самостоятельно принимать решения к действию.
.
ПРАВО – мера свободы.
СВОБОДА – осознанная небходимость ограничения вольностей.
Принцип суда – Закон.
ЗАКОН – ограничение ПРАВА.
Приказ – акт управления.
.
В области социальных отношений, сила (борьба, победа...) – лексика насилия.
Думать не пробовал, словарный филолог?...
.
.
.
Выше разума нет разума.
Разумность исключает управление.
Сверхразумным сверхИИ можно только сверхуправлять.
Разум – он или разум по определению, или это про сверхразумное недоразумение.
В выворотном сознании всё возможно.
.
УЖАС...
«Некоторых специалистов» почему-то не пугает их собственное невежество…
Разум (мудрость) ВСЁ видит РАЗОМ и СРАЗУ – на (счёт) РАЗ.
Интеллект – способность адаптироваться к изменению условий.
Интеллект есть даже у комара – разума нет даже у человека.
У «некоторых специалистов» ни понятий нет, ни ума – а разум, оказывается, есть – у «самых ярких и одарённых людей», но не разумных ни разу.
Неразумное не может создать разумное, может – создать себе подобное.
Реальные, а не «гипотетические катастрофические риски» представляет собой не создание ИИ, а невежество его создателей.
.
Ум контролирует – разум видит ошибки ума.
А «у вас» и ума-то нет...
Тут одно из двух: или «контролировать» – или «разумные».
.
Не имея ни разума, ни даже понятий – инструмента измерения, невозможно и определить, интеллект ли «превосходит» разум, или попросту нет ума.
.