«ИИ-Санта» может уничтожить мир
Появление «настоящего» искусственного интеллекта, способного мыслить как человек, может иметь разрушительные последствия для всего мира. Угрозу может представлять даже высокоразвитый ИИ, запрограммированный на добрые дела, предупредили исследователи австралийского Университета Саншайн-Кост.
Масштабы опасности показали на примере гипотетического алгоритма SantaNet. Его поставили на место Санта-Клауса, которому нужно доставить все новогодние подарки за одну ночь.
Как показал мысленный эксперимент, угроза возникает уже на этапе составления списка хороших и непослушных детей. Воспринимая задачу буквально и не имея злого умысла, нейросети пришлось бы создать масштабную систему для скрытого наблюдения по всему миру. Определяя, какое поведение считать «хорошим» круглый год, «ИИ-Санта» будет руководствоваться собственными моральными принципами, что может привести к дискриминации, массовому неравенству и нарушению прав человека.
В мире живет около двух миллиардов детей младше 14 лет, поэтому компьютерному разуму понадобится создать армию подобных себе ИИ-работников. В свою очередь, это приведет к росту безработицы среди людей.
Более того, чтобы обеспечить подарком каждого, SantaNet может превратить Землю в гигантскую фабрику по производству игрушек. В результате ресурсы планеты будут истощены за очень короткое время, предостерегают ученые.
Первым такую идею — «проблему скрепок» — изложил шведский философ Ник Бостром в 2003 году. Он предположил, что ИИ, преследуя цель максимизации производства скрепок, воспримет свою задачу буквально и будет сопротивляться любым попыткам его остановить.
«SantaNet может показаться надуманным, но эта идея помогает подчеркнуть риски более реалистичных систем сильного искусственного интеллекта, — заключают исследователи. — Разработанные с благими намерениями, такие системы могут создавать огромные проблемы, просто оптимизируя способы достижения своих узких целей и собирая ресурсы».
