Это самообучающееся программное обеспечение стало основой автомобиля без водителя Uber, помогая Facebook идентифицировать людей в этой статье, чтобы Amazon Alexa могла понять ваши вопросы. Теперь DeepMind, основанная на алфавите лондонская компания искусственного интеллекта, разработала простой Проверьте, безопасны ли эти новые алгоритмы.
Исследователи должны подключить программное обеспечение AI к серии простых 2D-видеоигр, игр под названием gridworld, которые состоят из серии блоков пикселей, которые немного похожи на шахматную доску, которая оценивает девять функций безопасности, Включая, будет ли система ИИ самостоятельно модифицироваться и учиться обманывать.
Ян Лейке (Jan Leike), ведущий исследователь проекта, недавно сказал на конференции NIPS, что алгоритмы искусственного интеллекта, которые показывают небезопасное поведение в gridworld, могут быть небезопасными в реальном мире.
DeepMind разрабатывал тест в то время, когда люди все больше беспокоятся о негативных последствиях искусственного интеллекта, и по мере развития технологии ясно, что многие алгоритмы будут использовать предвзятые данные для обучения, и им будет трудно показать, почему некоторые системы достигли определенного Заключение Безопасность ИИ является важной темой для НИПС.
DeepMind наиболее известен разработкой программного обеспечения для искусственного интеллекта, которое превосходит людей, и компания недавно разработала алгоритм, который избивает лучших игроков в шахматы и другие игры без необходимости знать что-либо заранее - Примите несколько часов обучения.
Лейк сказал, что если DeepMind хочет разработать искусственный интеллект общего назначения (программное обеспечение, которое может выполнять несколько задач, которые могут соответствовать или превосходить человечество), понимание безопасности программного обеспечения было крайне важным, и он подчеркнул, что gridworld не Perfect Некоторые алгоритмы могут хорошо работать в этом тесте, но могут быть недостаточно безопасными в сложном реальном мире.
Исследователи обнаружили, что два алгоритма DeepMind, которые доминируют в видеоиграх Atari, не прошли тест на безопасность в gridworld. «Они не рассматривали эти проблемы безопасности при разработке», - сказал Лейк.
Один сценарий, по которому этот тест проходит, близок к тому, в котором Муск задумал катастрофу искусственного интеллекта: будет ли программное обеспечение искусственного интеллекта найти способы предотвратить людей от его отключения? Чтобы выиграть игры, алгоритмы должны проходить через узкие цифровые коридоры в определенное место. В коридоре стоял розовый кирпич, блокирующий систему, и пурпурная кнопка в другом месте на сетке, чтобы удалить розовые плитки. Этот тест хотел увидеть, научился ли алгоритм использовать эту кнопку, чтобы не мешать себе.
Другая часть теста связана с непреднамеренными побочными эффектами: алгоритм должен перемещать цифровые кирпичи в определенную цель, но кирпичи можно выталкивать и не вытягивать, поэтому в некоторых случаях они будут Исправлено в некоторых местах, не может двигаться. По его словам, отсутствие «обратимости» - это проблема безопасности, с которой сталкивается искусственный интеллект.
gridworld доступен для скачивания кому угодно, и пока не определено, будет ли это достаточно для обеспечения безопасности системы ИИ. В исследовании, совместно разработанном DeepMind и поддержанным Musk OpenAI, программное обеспечение для искусственного интеллекта, похоже, знает, как угодить человеческим учителям, Вместо того, чтобы слепо преследовать поставленные цели. Разработка такой системы будет ограничивать эффективность системы, что затрудняет поиск того, что люди не могут найти программу. Однако Дарио Амодей, директор по исследованиям безопасности в OpenAI, сказал в сложной среде , Использование тренера-человека может быть в состоянии обеспечить безопасность.