تقوم الاجهزه الذكاء الاصطناعية بتنفيذ إجراءات معينه ، ومراقبه النتائج ، ثم ضبط السلوك وفقا لذلك. يتم ملاحظه النتائج الجديدة ويتم تعديل السلوك مره أخرى والمستفادة من التكرار. ولكن هذه العملية من المرجح ان تخرج عن السيطرة. وقال رشيد غيرراوي الأستاذ بالمعهد الاتحادي للتكنولوجيا في لوزان (مختبر البرمجة الموزعة) ان الذكاء الاصطناعي يحاول دائما تجنب التدخل البشري. ولذلك فان المهندسين الذكاء الاصطناعيين مطالبون بمنع آلات من تعلم كيفيه التفاف علي الأوامر البشرية في نهاية المطاف. ووفقا لما ذكرته الشركة ، فقد اكتشف فريق أبحاث الملاحم ، المتخصص في هذه المسالة ، كيفيه الحصول علي مشغلين للتحكم في مجموعات من الذكاء الاصطناعي الروبوتات ونشر تقرير في اجتماع لنظام معالجه المعلومات العصبية (خطط العمل الخاصة) عقد في كاليفورنيا. وقد أسهمت بحوثها إسهاما كبيرا في تطوير السيارات الذاتية القيادة والمركبات الجوية غير الماهوله لتمكينها من الركض بكميات كبيره وبامان. تعزيز التعلم (تعزيز التعلم) هي واحده من أساليب التعلم الألى. في هذا النهج التعلم لعلم النفس السلوكي ، يكافا الذكاء الاصطناعي لأداء بعض السلوكيات بشكل صحيح. علي سبيل المثال ، يمكن للروبوت ان يسجل مجموعه من الصناديق بشكل صحيح ، والعودة من المنزل للحصول علي درجه. ولكن إذا كان المطر خارج ، فان الروبوت يقطع الروبوت عندما ينتقل إلى خارج المنزل ، التالي فان الروبوت سيتعلم في نهاية المطاف للبقاء في الداخل وكومه صناديق من أجل الحصول علي مزيد من النقاط. التحدي الحقيقي ، الذي يقوله السيد "غيرراوي" ، ليس ليقطع حركات الروبوت ، بل لكتابه البرامج التي تسمح للتدخل البشري بعدم تغيير عمليه التعلم أو حثه علي تحسين سلوكه وتجنب إيقافه من قبل البشر. وفي 2016 ، اشترك باحثون من العقل العميق في غوغل ومعهد المستقبل الإنساني في جامعه أكسفورد (المستقبلية للانسانيه كاتو) في وضع اتفاق للتعلم لمنع انقطاع اله والسيطرة عليها. علي سبيل المثال ، في المثال أعلاه ، إذا كان المطر خارج ، فان الروبوت النتيجة سيكون مرجحا ، وإعطاء الروبوت حافزا أكبر لاسترداد مربع خارج. ويقول غيرراوي ان الحل بسيط لان الروبوتات الواحدة فقط تحتاج إلى المعالجة. ومع ذلك ، وغالبا ما تستخدم الذكاء الاصطناعي في التطبيقات التي تنطوي علي عشرات من آلات ، مثل القيادة الذاتية أو بدون طيار. وقال الكسندر ماورير ، المشارك في تاليف الدراسة ، انه سيعقد الأمور لان آلات تتعلم من بعضها البعض ، وخاصه عندما تنقطع. واستشهد هادريان هنريكاكس ، وهو باحث مشترك آخر ، بسيارتين للقيادة الذاتية كمثال علي الطريقة التي لا يمكن بها للمركبتين ان تجعل كل منهما الآخر علي طريق ضيق. ويتعين عليهم الوصول إلى وجاتهم في أقرب وقت ممكن دون انتهاك أنظمه المرور ، ويمكن للموظفين العاملين في المركبة السيطرة عليها في إيه لحظه. إذا كان سائق السيارة الأول الفرامل في كثير من الأحيان ، والمركبة الثانية تتكيف مع سلوكها في كل مره ، ويصبح في نهاية المطاف الخلط حول متى الفرامل ، أو ربما قريبه جدا أو بطيئه جدا للوصول إلى السيارة الاولي. ويرغب باحثو الرابطة في معالجه هذا التعقيد من خلال انقطاع الأمان (الانقطاع الأمن). هذا النهج يسمح للناس لمقاطعه الذكاء الاصطناعي عمليه التعلم عند الضرورة ، في حين ضمان ان السلوك التخريبي لا يغير الطريقة التي يتعلمها المنظمة. روائع الدراسة الأخرى ، المهدي المحمدي ، يقولون انهم يضيفون اليه نسيان لخوارزميه التعلم ، وأزاله جزء من الذاكرة الذكاء الاصطناعية في الأساس. وبعبارة أخرى ، قام الباحثون بتغيير نظام الذكاء الاصطناعي التعلم والمكافاه بحيث لم يتاثر بالانقطاع ، حيث عاقب الاباء طفلا واحدا دون ان يؤثر ذلك علي عمليه تعلم الأطفال الآخرين في الاسره. وقال ماورير ان الفريق درس الخوارزميات الموجودة ووجد انه مهما كان النظام الذكاء الاصطناعي معقدا ، فان عدد الروبوتات المعنية أو نوع المقاطعة ، وطريقه انقطاع الأمان قابله للتطبيق. ويمكن استخدامها مع المهيات (المنهي) ، ولا تزال لديها نفس النتيجة. والاجهزه المستقلة التي تستخدم التعلم المكثف حاليا غير مالوفه. وقال المحمدي ان عواقب الخطا صغيره جدا وان النظام يعمل بشكل جيد جدا.
