Согласно Facebook, применение искусственного интеллекта не может быть ограничено виртуальным помощником для предоставления некоторых функций, таких как голос или текст, не только для понимания человеческого языка, но и для взаимодействия с окружающей средой, чтобы его можно было использовать для повседневной жизни человека. Команда FAIR использовала 360-градусную камеру для захвата уличной информации для пяти районов Нью-Йорка, в том числе «Кухни ада Манхэттена» и «Ист-Виллидж». Особенности этих кварталов квадратные, с типичной сеткой пересечения улиц с четырьмя углами и позволяют моделировать ИИ Ситуация, в которой человек смотрит на карту и направляет другого человека через сообщение.
Цель этой задачи состоит в том, чтобы направлять ИИ в конкретное место, пассажиры ИИ используют 360-градусную камеру для получения изображения улицы, а руководство AI использует двумерную карту, обозначенную рестораном, гостиницей и другими достопримечательностями. В случае, когда двухсторонняя карта не может быть разделена, пассажир ИИ руководствуется естественным языком. Когда пассажир ИИ прибывает в пункт назначения, эксперимент заканчивается. Когда он прибывает в нужное место, он проходит успешно. Если он прибывает в неправильное место, он терпит неудачу. Процесс не ограничивает количество сообщений и количество пассажиров ИИ. ,
Исследовательская группа попросила ИИ узнать, как человеческие геймеры общались, поэтому не было бы сложной структуры заявления, такой как Google Maps Navigation, «Идите к следующему блоку, а затем поверните направо в ресторан». Исследовательская группа была в реальном мире. В среднем эксперименте FAIR упомянула, что по сравнению с фактическим городским блоком среда моделирования обычно менее хаотична и более предсказуема, поэтому трудно зафиксировать реальный контекст приложения.
Конечная цель Talk Walk заключается в том, чтобы помочь компьютеру четко общаться с людьми. Команда FAIR также приняла новый механизм MASC, который позволяет AI Wizard перевести информацию о путешествующих AI в 2D накладную карту и предсказать Расположение спутника AI. Механизм фокусировки обычно используется в глубоком обучении, чтобы имитировать внимание людей к их собственному обучению. MASC преобразуется в ориентиры карты в зависимости от движущегося состояния пассажиров ИИ, перемещающихся влево или вправо. Семантическое понимание связывает карту навигации.
Talk Walk предлагает более конкретные результаты общения на естественном языке. Например, путешественники AI расскажут не только о ресторане впереди, но и предоставят больше информации о дальнейших направлениях. Руководство AI направляет успех путешественников AI в нужное место. Эта ставка составляет 87,07%, а у людей только 76,74. FAIR упомянула, что это предсказуемый результат. Поскольку у естественного языка есть свои недостатки, неопределенность и неопределенность снижают эффективность коммуникации и общение на естественном языке между проводниками AI и путешественниками AI. После периода обучения и точной настройки генерируются только слова, связанные с задачей, и эффективность коммуникации улучшается.