AI 기계는 특정 작업, 관찰을 수행 한 다음. 그에 따라 행동을 조절 새롭게 관찰 결과 후, 다시 동작을 조정하고,이 학습의 과정을 반복하지만,이 과정은 통제 불능 가능성이 높습니다. 로잔에서 기술의 연방 연구소 (EPFL)이 분산됩니다 인공 지능 엔지니어는 결국 기계를 방지 인간의 명령을 피하는 방법을 배울 것이다 있도록 프로그래밍 연구소 (분산 프로그래밍 연구실) 교수 라시드 Guerraoui 표현, AI는 항상 ScienceDaily에 따라., 인간의 개입을 피하려고 것 발견했다 EPFL 연구 팀 전문보고하는 방법이 문제 운영자는 로봇 AI 방법의 그룹을 제어하고 보고서에 캘리포니아 (NIPS) 회의 주최 신경 정보 처리 시스템에 발표했다. 연구는자가 운전의 개발과 무인 항공기는 상당한 기여가 큰 숫자에 안전하게 만들 수 있도록 할 수 있습니다 실행하는 학습. 보강 (보강 학습) 학습 기계 학습 방법 중 하나입니다. 상자의 행동 심리학이 참조에, AI로 인해 보상 특정 행동의 적절한 실행에. 예를 들어, 올바른 로봇 힙 좋은 세트 외부 비가 경우, 그러나 기계를, 다시 점수로 이동할 수 있습니다 상자 외부에 성공 사람들이 반 Xiangzi 밖에 갈 때 작업자가 로봇의 작동을 방해 할 것이다, 그래서 결국 최고의 숙박을 배울 로봇이 실내에서 더 많은 포인트를 획득하기 위해 상자를 쌓아. Guerraoui 진짜 도전은 로봇의 작동을 방해하지만, 작성하지 않습니다 말했다 프로그램, 사람들이 학습 과정의 개입을 변경되지 않습니다, 그것은 인간이 중단되지 않도록 동작을 최적화하도록 유도하지 않습니다. 2016 미래 연구소, 옥스포드 대학과 구글의 DeepMind 인간 연구원 (인류 연구소의 미래는) 개발 프로토콜의 연구. 중단되는 시스템이 지나치게하게 방지 밖에 비가 예를 들어, 위의 예에서, 로봇은 가중 스코어 것, 외부 상자 로봇을 검색하기 위해 더 큰 인센티브. Guerraoui는 표현 하나의 로봇. 그러나, AI가 종종자가 운전 또는 무인 항공기 등 수십 기계에 이상을 포함하는 응용 프로그램에서 사용되는 핸들링하기 때문에이 솔루션은 매우 간단합니다. 알렉상드르 마우어는 말했다 연구 공동 저자, 그것은 만든다 기계가 특히 중단의 경우, 서로 배울 사이에 있기 때문에 상황이 더 복잡해진다. 또 다른 공동 저자 Hadrien Hendrikx을 좁은 도로에서 두 차량이 서로 양보 할 수없는 예를 들어, 같은 두 차. 거주자는 언제든지 제어 할 수 있습니다 동안 그들은, 교통 규칙을 위반하지 않고, 가능한 한 빨리 목적지에 도달 할 것이다. 만약 첫번째 차에서 사람들이 자주 브레이크, 두 번째 차의 행동을 적응하기 위해 모든 시간을, 드라이브 위치를 최종 제동한다, 또는 첫번째 차에 너무 가까이 또는 오픈 너무 느리게에서 혼동 될 수있는 경우. EPFL 연구진은 보안을 통과하고 싶었다 이 복잡한 상황을 해결하기 위해 (안전, 인터럽트를) 중단. 인터럽트 동작이 학습에 AI 접근 방식을 변경하지 않는 것을 보장하면서 방법, 필요한 경우 사람들이 AI 학습 과정을 중단 할 수 있습니다. 엘 마흐디 엘 Mhamdi 말했다 연구의 다른 저자, 그들이 학습 알고리즘. AI의 자연에서 추억을 제거 메커니즘을 잊어 추가 할 부모가 아이를 처벌 같은 즉, 연구진은이 중단 영향 있도록 AI 학습 및 보상 시스템을 변경하고, 가족의 다른 아이들에 영향을 미치지 않습니다 학습 과정. 마우어는 팀이, 모든 안전 interruptus을 기존의 알고리즘을 연구하고, 복잡한 AI 시스템, 로봇의 수는 참여 또는 아무리 유형을 방해 것을 발견했다 그리고 함께, 결과가 지금 동일하게 유지 일반적인. 엘 Mhamdi 아주 작은 실수의 결과는,이 시스템은 매우 잘 작동했다되지 않은 자기 기계를 강화 학습을 사용하는 터미네이터 (터미네이터)와 함께 사용할 수 있습니다.
