IBM البحوث والمعهد الاتحادي السويسري للتكنولوجيا في لوزان، التي نشرت حلول البيانات الكبيرة معا في تعلم آلة 2017 مؤتمر NIPS، وهذا يمكن طريقة الاستفادة من GPU معالجة مجموعة التدريب البيانات غير 30GB في دقيقة واحدة، والذي هو 10 أضعاف الأساليب القائمة تدريب الذاكرة محدودة.
وقال فريق البحث إن التحدي في التدريب آلة عصر البيانات الكبيرة وكثيرا ما واجهت في مستوى التدريب TB البيانات الخروج، وهي مشكلة شائعة ولكن من الصعب، وربما الخادم وسعة الذاكرة كافية، سوف تكون قادرة على تحميل كافة البيانات التدريب الذاكرة، ولكن يمكن أن يستغرق ساعات أو حتى أسابيع.
وهم يعتقدون أن أجهزة الحوسبة الخاصة الحالية، مثل وحدات معالجة الرسومات، يمكن أن تسرع حقا الحوسبة، ولكنها تقتصر على المهام المكثفة حسابيا بدلا من المهام المكثفة البيانات، وإذا كنت ترغب في الاستفادة من فوائد الحوسبة غبو مكثفة، تحتاج إلى تحميل البيانات مسبقا لذاكرة غبو، والحد الأقصى الحالي سعة الذاكرة غبو هو فقط 16GB، وهي ليست وافرة لتعلم الآلة.
عملية دفعة ويبدو أن طريقة ممكنة، وتنقسم بيانات التدريب إلى قطع، ووفقا للترتيب لتحميل غبو للقيام التدريب نموذج، ولكن وجدت التجربة أن نقل البيانات من وحدة المعالجة المركزية إلى تكاليف نقل غبو مغطاة بالكامل وقال الباحث عبستين سلستين دنر فوائد وضع البيانات في الحوسبة غبو عالية السرعة، التحدي الأكبر مع تعلم الآلة على غبو هو عدم القدرة على رمي جميع البيانات في الذاكرة.
لحل هذه المشكلة، طور فريق البحث تقنيات لتحديد أهمية مجموعات البيانات التدريبية، لذلك يستخدم التدريب فقط أهم البيانات، لذلك معظم البيانات غير الضرورية لا تحتاج إلى إرسالها إلى وحدة معالجة الرسومات، مما يوفر الكثير من الوقت التدريب. لتدريب نموذج للتمييز بين الصور من الكلاب والقطط، وبمجرد أن يجد النموذج أن واحدا من الاختلافات بين القط والكلب هو أن الأذن القط يجب أن يكون أصغر من الكلب، ونظام الاحتفاظ بهذه الميزة ولن تكرار هذه الميزة في نماذج التدريب في المستقبل، ونتيجة لذلك، يتم تدريب نماذج أسرع وأسرع، وفقا لباحث عب توماس بارنيل، وهي الميزة التي تسهل تدريب أكثر تواترا من النماذج والضبط في الوقت المناسب من النماذج.
وتستخدم هذه التقنية لقياس مدى مساهمة كل نقطة بيانات في خوارزمية التعلم، وذلك أساسا باستخدام مفهوم التباين الثنائي وتعديل خوارزمية التدريب في الوقت المناسب.مع التطبيق العملي لهذه الطريقة، يعمل فريق البحث على منصات حساب غير متجانسة ، وضعت عنصر جديد، يمكن إعادة استخدامها، دهل، لنموذج التدريب على التعلم آلة مصممة للتعلم غير متجانسة من التفاوت الثنائي.
وقال عب هدفهم القادم هو توفير دوهل في سحابة كما تستند الوحدة الحالية من خدمة غبو سحابة على ساعات، وفورات في التكاليف ستكون مذهلة إذا تم تخفيض وقت التدريب نموذج من عشر ساعات إلى ساعة واحدة.
(أعلى) يعرض الرسم البياني الوقت اللازم للخوارزميات الثلاثة، بما في ذلك أداء دهل على سفم ضخمة، وذلك باستخدام قاعدة بيانات إيماجينيت 30GB مع الأجهزة باعتبارها 8GB نفيديا كوادرو M4000 غبو، ويبين الشكل كفاءة دفعات من تسلسل غبو حتى أسوأ من الأساليب وحدة المعالجة المركزية فقط، في حين دهل هو أكثر من 10 مرات أسرع من الطريقتين الأخريين.