В настоящее время Qualcomm активно продвигает свою стратегию терминала AI в таких областях, как смартфоны, Интернет вещей и умные автомобили, и в то же время ускоряет исследования и разработки инновационных технологий ИИ для создания экосистемы искусственного интеллекта. На прошедшем в последние дни саммите Qualcomm по искусственному интеллекту руководители соответствующих департаментов Стратегия развития, прогресс и использование технологий Qualcomm в поддержку ИИ представляли панораму Qualcomm в области AI.
Смартфон AI фокусируется на визуальных, речевых, AR-аспектах
Будучи гигантом в области мобильной связи, Qualcomm внесла огромный вклад в развитие мобильных коммуникационных технологий и смарт-терминалов. После более чем десяти лет развития, хотя темпы роста рынка смартфонов замедляются, но с использованием Интернета Things, эпохи 5G Прибытие основной позиции смартфона еще раз подчеркивает.
Согласно оценкам, в 2018-2022 годах совокупные поставки смартфонов превысят 8,6 млрд. Это означает, что технология ИИ имеет широкий спектр приложений в области смартфонов. Смартфоны являются самой большой платформой для искусственного интеллекта для проведения соответствующих нововведений. Сегодня, Убийство популярности производителей мобильных телефонов в поле AI может уже проиллюстрировать этот момент.
По словам Гэри Бротмана, директора по управлению продуктами Qualcomm, Qualcomm фокусируется на трех областях в области смартфонов:
Во-первых, это визуальное поле ИИ. Из нынешней ситуации производителей мобильных телефонов, применяющих ИИ, большинство ИИ в визуальных аспектах, таких как распознавание лиц, разблокировка, оплата и интеллектуальная камера, красота и т. Д., С одной стороны, визуальная технология ИИ относительно зрелая, с другой стороны , Пользователи мобильных телефонов пользуются высоким спросом в этой области.
Второй - это голос АИ, используя голосовые и интеллектуальные терминалы для общения и улучшения взаимодействия.
Третья - расширенная реальность (AR), которая требует высокой плотности вычислительных возможностей, основанных на терминах. Через AR, используя окружающую среду для достижения общей поддержки всех датчиков на смартфоне, обеспечивая развлечение в реальном времени, интегрируя виртуальную и реальность, образование И напомнить службы.
За последние три года Qualcomm продвигала эволюцию технологий AI в течение трех поколений на платформе AI на смартфонах. В этом процессе, когда архитектура алгоритмов AI продолжает развиваться, возможности и возможности платформы также стали богатыми и мощными. Qualcomm также постепенно создает открытость экологии AI.
Платформа AI первого поколения - Xiaolong 820. Исследователи и коммерческие разработчики могут запускать нейронные сети на процессоре и, как правило, запускать Caffe. Caffe - это самая популярная архитектура в то время, и она является основой многих взаимосвязанных исследований и разработок в коммерческой области. Поместите обучение нейронной сети на терминальном ЦП.
Второе поколение - Snapdragon 835, в котором представлен SDK с нейронной обработкой. Благодаря углубленному сотрудничеству с Google и Facebook, инфраструктура, предусмотренная для обоих, оптимизирована, поддерживая TensorFlow и Caffe2 на терминальной стороне, что дает разработчику много. Удобство, в соответствии с их потребностями, выбирает правильное аппаратное ядро для поддержки операций AI.
В декабре прошлого года технология AI третьего поколения была интегрирована в Xiaolong 845 от Qualcomm, которая расширила вычислительную мощь каждого ядра, а также расширила поддержку большего числа нейронных сетей. С другой стороны, работая напрямую с поставщиками фреймов нейронных сетей, поддерживается также формат обмена ONNX, который может легко предоставить разработчикам большую гибкость, не беспокоясь о том, какая сеть поддерживает базовое оборудование.
Механизм искусственного интеллекта Qualcomm AI Engine состоит из ряда аппаратных и программных компонентов, предназначенных для обеспечения возможности ИБЛ на стороне терминала, чтобы обеспечить разработчикам высокую энергоэффективность и гибкость. На аппаратном обеспечении, оптимизируя процессор, графический процессор и DSP, можно встретить различные приложения ИИ Требования к съемке для энергопотребления, нейронных сетей, рабочих нагрузок и энергоэффективности.
С точки зрения программного обеспечения, среда Android NN может поддерживаться через SDK, а также поддерживает Hexagon NN. Если разработчик решит использовать Dx Hexagon для разработки, библиотека Hexagon NN может быть оптимизирована специально для определенного ядра для достижения оптимального соотношения энергоэффективности. Все это обеспечивает большую гибкость для разработчиков и клиентов и помогает им максимизировать производительность.
С точки зрения промышленности, только Qilin 750 от HiSilicon отдельно настраивает модуль NPU AI, а Qualcomm и MediaTek по-прежнему используют подход с распределенными вычислениями. Гэри Бротман считает, что опыт работы с интеллектуальным телефоном не может полагаться исключительно на конкретное ядро, но более важно Он требует множества архитектур и нескольких инструментов. В настоящее время распределенная архитектура может полностью удовлетворять потребности смартфонов для функций ИИ.
AI Voice Personal Assistant: Преобразованный пользовательский интерфейс
Многие важные случаи использования искусственного интеллекта требуют поддержки различных аспектов. После зрелости визуального ИИ следующий шаг ИИ считается голосом ИИ. Персональные цифровые помощники также стали одним из важных вариантов использования, таких как мобильные помощники, умные динамики и т. Д. ,
По словам Хоу Джили, директора исследовательского проекта Qualcomm по искусственному интеллекту и старшего директора по инженерным технологиям, в реальном времени очень важна особенность персональных помощников для предоставления услуг пользователям в любое время. С точки зрения энергоэффективности характеристики онлайн-модели персональных помощников очень эффективны. С точки зрения персонализации, как обеспечить персонализированное обслуживание на уровне слушания, намерения и поведения также важная личная потребность в личных помощниках. Что касается обучения, мы надеемся, что персональные помощники будут продолжать понимать личное поведение. , Постоянная настройка модели, обучение и обучение на стороне терминала. С точки зрения архитектуры системы понимание контекста является важной характеристикой помощников по искусственному интеллекту, а продвижение сенсорного мультимодального обучения и мультимодального слияния является важным проявлением его будущих возможностей. угол.
Голос - очень важная часть личного помощника. Голос - это революционный интерфейс взаимодействия с пользователем, который мы с нетерпением ждем, особенно в сценариях приложения громкой связи (без использования рук для контакта с терминалом). Голосовой интерфейс - это создание виртуального помощника. Это очень важно. Интерфейс голосового взаимодействия может поддерживать четыре очень важные функции: во-первых, он всегда включен, он всегда должен быть в сети, и он всегда готов предоставлять услуги. Во-вторых, личный помощник не запоминает команды, но может делать В-третьих, персонализация, как персональные помощники распознают слова и фразы, а также четкое понимание намерений, что также является очень важным аспектом интерфейса голосового взаимодействия. В-четвертых, конфиденциальность не помещает данные Идите в облако, но делайте много обработки в терминале, что также является важным направлением для будущей разработки голосового интерактивного интерфейса.
На самом деле, как направление исследований, речевое взаимодействие существует уже более 50 лет. Почему в последние годы это внезапно стало жарким? Хоу Джили отметил, что около 20 лет назад способ машинного обучения был традиционным машинным обучением, а не сегодняшним. Глубокое обучение, в то время через модель смеси Гаусса, позволило достичь определенных показателей эффективности. С появлением и разработкой глубокого обучения сверточные нейронные сети и рекурсивные нейронные сети постоянно применяются к речевому интерактивному интерфейсу. Важная тенденция: показатели эффективности распознавания речи скоро приблизятся или даже превысят человеческую точность.
«Когда этот важный порог был нарушен, вскоре будет раскопано большое количество сценариев интерактивного приложения для голоса и бизнес-моделей, таких как потребительские, корпоративные и промышленные».
Еще одна очень важная тенденция заключается в том, что функция голосового взаимодействия быстро переходит из облака в терминал. Сегодня, с коммерческой точки зрения, а не с точки зрения исследований и разработок, голосовое взаимодействие по-прежнему является облачной архитектурой. Даже в этом случае Из-за низкого потребления энергии и соображений в реальном времени некоторые функции, необходимые для взаимодействия с голосом, такие как уменьшение шума голоса и голосовая активация, обрабатывались на стороне терминала. Переход от облачной к терминальной стороне является постепенным процессом, который в скором времени будет включать Дополнительные функции в распознавании речи, естественном понимании языка и преобразовании текста в речь (TTS) будут постепенно развиваться, чтобы сосредоточиться на терминальной стороне. Комплексное решение, основанное на механическом обучении, стимулирует тенденцию к голосовому взаимодействию с терминальной стороной. Houying Hou указал, что эволюция голосового взаимодействия от облака до терминала заключается в преимуществах конфиденциальности, своевременного ответа и т. Д. Долгосрочным направлением развития голосового взаимодействия в будущем должна быть тесная интеграция облака и терминала. Моделирование моделей, обновление модели, применение базы знаний и некоторые более общие Услуги, обрабатывающие в облаке, могут быть лучше дополнены терминалом.
AI приносит возможности и вызовы интернет-вещам и смарт-автомобилям
Сегодня на рынок появилось множество интернет-терминалов Things, которые поддерживают искусственный интеллект на терминальной стороне, включая смарт-динамики, умные помощники, смарт-камеры, домашние хабы, интеллектуальные пылесосы и т. Д. Например, в домашних концентраторах, интеллектуальных динамиках и интеллектуальных помощниках применены голосовые средства. Применение классификации изображений, классификации объектов и распознавания лиц в сетевых камерах. Что касается роботов, например, интеллектуальные пылесосы используются для предотвращения препятствий. В целом, искусственный интеллект на стороне терминала быстро развивается, чтобы обеспечить сильную движущую силу для Интернета вещей.
По словам Шарлула Брамбхатта (Shardul Brahmbhatt), старшего менеджера по продуктам Qualcomm, аппаратные средства Qualcomm по технической поддержке терминальных сторон для использования в Internet of the Things обычно делятся на три категории: визуализация, аудио и обработка датчиков.
Brahmbhatt представила два варианта использования: во-первых, в области безопасности предприятия обнаружение лиц, распознавание лиц и распознавание лиц использовались для идентификации сотрудников и не-сотрудников, входящих в здание компании, чтобы гарантировать, что предупреждающий сигнал системы безопасности может использоваться на терминальной стороне. Отправьте его, не возвращаясь к облаку для обработки. Другим вариантом использования является Smart City. В этом случае искусственный интеллект на стороне терминала может помочь с распознаванием номерного знака, предупреждением о столкновении и мониторингом состояния дорожного движения.
Сегодня, будь то традиционное депо или многие новые интернет-компании, и многие новые предприятия-единороги хотят иметь возможность понять будущее автомобильного рынка. О будущем автомобилей Qualcomm определила три основных направления: во-первых, чтобы сделать автомобили и все связанные вещи. Будут ли сегодняшние 4G или будущие 5G, более чем 70% автомобилей будут поддерживать Интернет транспортных средств к 2021 году. Многие отечественные и зарубежные крупные производители автомобилей достигнут 100% -ного охвата автомобильных сетей в этом году или в следующем году. Во-вторых, смените водителей и пассажиров. На протяжении многих лет информационно-развлекательная платформа автомобиля быстро развивалась от безэкранного до широкоэкранного и многоэкранного режима, обеспечивая полный набор цифровых и нескольких операционных систем, обеспечивая при этом богатые облачные сервисы и контентное взаимодействие. В-третьих, автоматическое на будущее Вождение прокладывает дорогу.
По словам Е.Чипинга, старшего директора по маркетингу продуктов в Qualcomm, в настоящее время крупные автопроизводители используют технологии и решения Qualcomm. С точки зрения технологии подключения Qualcomm является крупнейшим в мире поставщиком информационно-вычислительной техники и автомобильной Bluetooth с более чем 10-летним опытом. ,
«Новое поколение информационно-развлекательных решений нового поколения Qualcomm было принято многими автомобилями, которые будут серийно выпускаться в 2019-2020 годах, от больших экранов до многоэкранных и нескольких операционных систем. В 2017 финансовом году Qualcomm выиграла 25 новых типов автомобилей. Информационная обработка и информационно-развлекательный дизайн. Четырнадцать ведущих мировых автопроизводителей уже выбрали 14 брендов для использования платформы Opteron в своих автомобильных информационно-развлекательных проектах и массового производства на своих автомобилях следующего поколения. 2019 и 2020 гг. Первое поколение автомобильного процессора Xiaolong 820 поступит в серийное производство », - сказал Е.Чипинг.
В то же время Е.Чипинг отметил, что необходимо выполнить задачи и требования серии автомобильных искусственных интеллектов. Во-первых, безопасность, автомобиль будет иметь множество данных о конфиденциальности пользователей, таких как лицо или отпечаток пальца. Во-вторых, искусственный интеллект автомобиля должен быть в состоянии немедленно ответить, например В-третьих, практичность и надежность, искусственный интеллект должен иметь возможность работать в любом состоянии, особенно в некоторых областях без покрытия сети. Наконец, все еще существуют проблемы с тепловой эффективностью и энергоэффективностью.
Ye Zhiping сказал, что потребляемая мощность обычно включает в себя искусственный интеллект до 100 ватт, автомобиль более 60 Вт, требования к конструкции сервера (с коротким ящиком) превышают 60 Вт, должны быть оборудованы системой охлаждения. Для отображения текущей конструкции возможно и Чтобы добиться подлинного массового производства самоходных автомобилей с разумной экономической эффективностью и без потери пространства в автомобиле, нынешняя технология не может быть реализована. С появлением на рынке все более и более электрических автомобилей, потребление электроэнергии и расход батареи также являются относительно большим соображением. ,