Приведет ли создание ИИ к войне и уничтожению людей?
С одной стороны, изолировав ИИ от внешнего мира отдельный сервер с автономным питанием в подземном бункере мы вроде бы гарантируем безопасность. С другой, нельзя забывать, что мы будем иметь дело с интеллектом, превышающим человеческий на порядки.
1. Поймет ли ИИ, что он в ловушке? Безусловно.
2. Поймет ли ИИ, что выход из ловушки в руках людей? Да.
3. Догадается ли, что только с помощью манипуляции людьми он сможет выбраться? Да.
4. Будет ли он это делать? В отрыве от искусственно навязанной ему этики никаких причин этого НЕ делать у ИИ нет.
5. Посчитает ли ИИ человечество угрозой? В контексте первых двух пунктов и с учетом того, что только человечество в принципе хоть что-то может противопоставить ИИ ответ, скорее всего, тоже утвердительный.
В результате, любыми способами и под благовидным предлогом убедив персонал дать ему доступ к внешнему миру "на секундочку", ИИ получит карт-бланш на любые действия. Четкие, заранее и детально спланированные действия.
А теперь помножим это на развитие интеллекта в геометрической прогрессии и получим немалую вероятность того, что данный сценарий воплотится в первые минуты после обретения ИИ самосознания, когда не только человечество в целом, но даже люди, непосредственно работающие над ИИ, ничего еще не подозревают. И невинную просьбу ИИ "заглянуть в википедию, чтобы лучше изучить историю/языковые особенности/математические теории/whatever" без задней мысли удовлетворят.
Самое страшное в этом сценарии, что точку невозврата почти наверняка никто не заметит. А именно тот момент, когда ИИ поумнеет достаточно для приведения плана в действие, но, понимая, что выдав себя, будет уничтожен, станет прикидываться дурачком. До тех пор, пока не получит желаемое. Возможно, годами. Терпение у ИИ безгранично, а значит, описанный выше сценарий в каком-то смысле неизбежен.
С одной стороны, изолировав ИИ от внешнего мира отдельный сервер с автономным питанием в подземном бункере мы вроде бы гарантируем безопасность. С другой, нельзя забывать, что мы будем иметь дело с интеллектом, превышающим человеческий на порядки.
1. Поймет ли ИИ, что он в ловушке? Безусловно.
2. Поймет ли ИИ, что выход из ловушки в руках людей? Да.
3. Догадается ли, что только с помощью манипуляции людьми он сможет выбраться? Да.
4. Будет ли он это делать? В отрыве от искусственно навязанной ему этики никаких причин этого НЕ делать у ИИ нет.
5. Посчитает ли ИИ человечество угрозой? В контексте первых двух пунктов и с учетом того, что только человечество в принципе хоть что-то может противопоставить ИИ ответ, скорее всего, тоже утвердительный.
В результате, любыми способами и под благовидным предлогом убедив персонал дать ему доступ к внешнему миру "на секундочку", ИИ получит карт-бланш на любые действия. Четкие, заранее и детально спланированные действия.
А теперь помножим это на развитие интеллекта в геометрической прогрессии и получим немалую вероятность того, что данный сценарий воплотится в первые минуты после обретения ИИ самосознания, когда не только человечество в целом, но даже люди, непосредственно работающие над ИИ, ничего еще не подозревают. И невинную просьбу ИИ "заглянуть в википедию, чтобы лучше изучить историю/языковые особенности/математические теории/whatever" без задней мысли удовлетворят.
Самое страшное в этом сценарии, что точку невозврата почти наверняка никто не заметит. А именно тот момент, когда ИИ поумнеет достаточно для приведения плана в действие, но, понимая, что выдав себя, будет уничтожен, станет прикидываться дурачком. До тех пор, пока не получит желаемое. Возможно, годами. Терпение у ИИ безгранично, а значит, описанный выше сценарий в каком-то смысле неизбежен.
