Scrambler, про приятность обсуждения: мне лично по прежнему интересно и нет, меня не задевает иная точка зрения)
Очень надеюсь, что наши дискуссии не наскучили автору, а если это случится, опять же надеюсь, что она нам об этом скажет, а не будет обижаться!

Насчет выхода за рамки - это интересный вариант. Страх ИИ основан в основном именно на предположении, что он может стать всемогущим или близким к тому. Кстати, сюжет победы над агрессивным ИИ путем выхода за рамки - это интересный сюжет. Не припомню его в буквально таком виде, но, с другой стороны, в какой-то степени и "Терминатор" - это попытка людей "выйти за рамки правил игры", а еще больше (хотя там речь не про ИИ, а про пришельцев) "День Независимости" и еще тот фильм (не смогла вспомнить название), где оказалось, что инопланетяне боятся музыки. Наверное, сюжет про агрессивный ИИ, который побеждают, ломая правила игры, получился бы очень похожим на них, но всё же жаль, что ничего такого не сняли и, насколько я знаю, не написали.

В реальной жизни, мне трудно оценить, насколько у ИИ есть шансы стать "всемогущим" и, соответственно, опасным. Насколько он останется уязвимым.
Могу только положиться на Ваш пересказ мнения современных ученых, которые не факт, что могут предвидеть всё)

Scrambler, до появления Самаритянина Вы сериал, как я понимаю, не досмотрели?

В любом случае, главное для моего тезиса я пересказала в комментарии #1565792. Это примеры механизмов, когда ИИ, преследуя, вроде как, цели людей, решает взять человечество под контроль.
Что этому может помешать?

Выходит, только подконтрольность ИИ, которую люди могут легко упустить.

Какая прелесть! ))
Какая гамма эмоций!

Место уже 2, даже до этого моего коммента)

Scrambler, я там на предыдущей странице еще коммент оставила в тому обсуждению.

Ями, спасибо Вам огромное, во-первых, за Ваше творчество, которым Вы нас радуете, во-вторых, за создание атмосферы, позволившей этим дискуссиям зародиться (!), в-третьих, за посильное участие с них!
Я сама в шоке, сколько мы тут понаписали, на всё отвечать совсем нереально, но, надеюсь, Вам тоже интересно это читать, и я очень рада, что наши обсужения приносят Вам немножко положительных эмоций и, надеюсь, хоть чуть-чуть воодушевляют))

Scrambler, я немножко выпала из дискуссии. На комментарий #1565199:

Каким образом могут эмоции помочь в принятии решения при недостатке информации? Из личного опыта мне кажется, что они только мешают. Но я - не ИИ. Как ему-то они могут помочь?

Появление иного целеполагания элементарно даже при отсутствии собственных интересов. Пример сценария - сериал "В поле зрения". Очень упрощенно: ИИ, которому поручено предотвращать трагедии и преступления с гибелью людей, следящий для этого за людьми и анализирующий их действия, приходит к выводу, что люди опасны сами для себя и их необходимо контроллировать. Тотально.
В голове вертится, что еще в паре мест ход мысли ИИ был аналогичным, но не могу припомнить источники.

В "Матрице" машины пытались сделать, чтобы люди жили в идеальном мире. Не помню, они людей сначала решили как батарейки использовать или потом, но сама идея "сделаем всех счастливыми, погрузив в иллюзию" - вполне вариант, если поставить ИИ неудачную задачу сделать людей счастливыми.

Kynla, восхитительно! И прекрасное описание событий, и прочувствуйте роль знаков препинания!

>> В мире будщего с нами будут сосуществовать умненькие, не вредненькие, безобидные, но пугливые, да ещё и "самокритичные" ИскИны

Симпатичный мир будущего)))
Странно, что ни у одного автора подобного не встречала. Фантасты часто предсказывали развитие науки, но чтобы настолько явная основа для сюжета в науке родилась, и никто не развил сюжет и не спроектировал мир... Что ли правда научная фантастика сегодня совсем теряет позиции как жанр...

Насчет всего 2-6 эмоций - это только пока. Прогресс же ускоряется. Через какое-то время могут появиться возможности.
Но вопрос другой: эмоции - это путь к зарождению самосознания или способ найти с иным сознанием общий язык?
По сюжетам (1) и (2) выше, все авторы склонны видеть второе.
Как-то еще с 20 века повелось ожидать, что достаточно сложный интеллект на чистой логике может осознать себя и начать преследовать собственные цели.

"обнять и приголубить"?
Неожиданно. Это как же такого чудесного варианта предполагается достичь?

Мир с такими ИИ мне видится, как если бы появились сверхразумные и не вредные, но по-прежнему мимимишные и уютные котики :-D

О, вариантов масса! Я не фантаст, конечно, чтоб их качественно продумать.
Но, по-моему, сейчас сюжеты про ИИ можно поделить на 2 категории:
1) бездушные машины, берущие контроль
2) ИИ, который каким-то образом научили чувствовать = очеловеченный
Причем (2) именно всегда сводится к тому, что машина начинает испытывать именно человеческие эмоции и становится, фактически, человеком в другом теле. И тогда людям не так страшно. С ними можно пытаться ужиться рядом.
Мы понимаем, что с точки зрения голой логики, человечество нелогично и неэффективно, значит, пытаясь это исправить, в сценариях (1) машины будут фактически уничтожать человечество как таковое, каким оно дорого нам (если и не физически).

Далее вопрос - понадобится ли научить ИИ именно человеческим эмоциям или, как Вы упомянули вскользь, возможно, у ИИ будут совсе иные эмоции, не человеческие.
В первом случае, есть шанс, что мы придем к сценарию (2) вместо (1).
Во втором - вообще трудно вообразить, какими эти эмоции будут и куда заведут ИИ, а как следствие - и человечество, особенно если ИИ станет умнее людей (скорее всего) и выйдет из-под контроля (как слудствие).

Scrambler, ого, какие интересные идеи бывают! Я ничего подобного даже у фантастов не встречала, а тут - на полном научном серьезе. Если оказалось бы, что это правда необходимо, это было бы совсем другое будущее с ИИ, чем кто-либо из писателей и сценаристов описывал.