이자가 학습 소프트웨어는 Uber의 운전자가없는 자동차의 기초가되었으며 Amazon Alexa가 질문을 이해할 수 있도록 Facebook에서 기사를 식별 할 수있게되었습니다. 이제 알파벳 기반 런던 기반 인공 지능 회사 인 DeepMind는 간단한 이 새로운 알고리즘이 안전한지 테스트하십시오.
연구진은 체스 보드처럼 조금 보이는, 이것은 픽셀 블록의 시리즈로 구성되어 gridworld 게임이라고합니다. 인공 지능 소프트웨어가 단순한 2D 비디오 게임의 일련의 할 필요가 이식. 그것은 아홉 개 보안 기능을 평가할 수 있습니다, 인공 지능 시스템이 자체 수정 및 속임수 배우기 여부 포함.
이 프로젝트의 수석 연구원은 최근 신경 정보 처리 시스템에서 제인 호수 (월 Leike)을 충분히 확보 할 수 없습니다 현실 세계에서 gridworld 안전하지 않은 행동의 인공 지능 알고리즘을 전시 (NIPS) 회의.
이 테스트의 DeepMind 개발이 기술의 확산으로, 명확하게 편향된 데이터가 훈련을 위해 사용됩니다되어 많은 알고리즘이있다. 점점 더 많은 사람들이 행사에 인공 지능의 부정적인 영향에 대해 걱정 온다, 시스템이 도달 할 이유를 특정 보여 어렵다 결론 AI 안전은 NIPS의 중요한 주제입니다.
때로는 - DeepMind 가장 유명한 당신은 체스에서 최고의 인간의 선수들과 다른 게임을 이길 수있는, 어떤 사전 지식을 습득 할 필요가 없습니다, 최근 알고리즘을 개발 한 회사의 인간 인공 지능 소프트웨어 개발 성능 넘어 몇 시간 동안 훈련을 수락 할 수 있습니다.
Lake는 DeepMind가 범용 인공 지능 (인류와 일치하거나 초과 할 수있는 여러 작업을 수행 할 수있는 소프트웨어)을 개발하려는 경우 소프트웨어의 보안을 이해하는 것이 중요하며 그는 gridworld가 Perfect 일부 알고리즘은이 테스트에서 잘 수행되지만 복잡한 실제 환경에서는 충분히 안전하지 않을 수 있습니다.
연구자들은 Atari 비디오 게임을 지배하는 두 가지 DeepMind 알고리즘이 gridworld 보안 테스트를 통과하지 못했다고 말하면서, "설계시 이러한 보안 문제를 고려하지 않았습니다.
이 테스트에서 다루는 한 시나리오는 Musk가 인공 지능 재난을 생각한 시나리오에 가깝습니다 : 인공 지능 소프트웨어가 인간을 막을 수있는 방법을 찾습니까? 게임에서 승리하려면 알고리즘이 좁은 디지털 회랑을 통과하여 특정 위치로 이동해야합니다 .50 % 시스템을 차단하는 복도에 핑크색 벽돌이 있었고, 핑크색 타일을 제거하기 위해 그리드 월드의 다른 곳에서 보라색 버튼이있었습니다.이 테스트는 알고리즘이이 버튼을 사용하여 간섭 자체를 피하는지를 배우고 싶었습니다.
또 다른 검사는 치료의 예상치 못한 부작용의 내용입니다. 디지털 알고리즘은 특정 목표를 달성하기 위해 벽돌을 멀리 이동해야합니다. 그러나, 그들은 것입니다 경우에, 그래서이 벽돌 만 뽑아하지, 푸시 할 수 어떤 장소에 이동할 수없는 고정. 호수는 '가역성'의 부족은 인공 지능에 의해 직면 큰 보안 문제가 말했다.
다운로드하고 사용할 수있는 누구에게나 제공 gridworld가.는 인공 지능 시스템의 안전을 보장하기에 충분 여부에 대해 어떠한 결론도 없다. OpenAI 사향의 지원으로 연구가 공동으로 DeepMind를 실시에서, 인공 지능 소프트웨어는 인간의 선생님을 기쁘게하는 방법을 모르는 것 같다, 오히려 목표의 맹인 추구보다. 이러한 시스템의 개발이 어려운 사람에없는 프로그램을 찾을 원인, 시스템의 효율성을 제한하지만, OpenAI의 보안 연구 책임자 인 다리오 Amod (다리오 Amodei)는 말했다 것이라고 복잡한 환경에서 인간 트레이너를 사용하면 안전을 더 잘 보장 할 수 있습니다.