С быстрым развитием технологий, таких как искусственный интеллект (AI) и краевые вычисления (Edge Computing) в последние годы, различные бытовая электроника и бытовая техника, включенные в концепцию умного дома, претерпят революционные изменения. Сеть искусственного интеллекта, состоящая из домашних устройств, может стать еще одним членом семьи, которого вы не видите. Концепция локального облака и связанного с ним оборудования станет незаменимым элементом в реализации домашней сети искусственного интеллекта.
Умный динамик / мониторинг станет двумя основными шпинделями потребительского ИИ
Ronan de Renesse, исследователь исследовательского института Ovum, отвечающий за отслеживание развития потребительских технологий (рис. 1), заявил, что применение ИИ в бытовой электронике в последние два года часто становится центром внимания средств массовой информации, но тенденция интеграции бытовой электроники и ИИ, В течение следующих трех-пяти лет многие продукты бытовой электроники будут иметь функциональность AI и свяжутся друг с другом, чтобы создать сеть искусственного интеллекта в домашних условиях.
Рисунок 1 Ronan de Renesse, исследователь потребительской техники в Ovum, считает, что различные электронные устройства в будущей семье станут невидимым членом семьи.
Для цепочки аппаратной промышленности эта тенденция, безусловно, принесет много новых возможностей для бизнеса. Однако на более высоком уровне сеть искусственного интеллекта, которая тихонько постукивает по дому, станет другой «семьей», которую вы не видите. члены ".
На аппаратной стороне интеллектуальные динамики, знакомые всем, в основном относительно зрелые продукты. Несмотря на значительный рост продаж в ближайшие пять лет, рост будет постепенно замедляться. По оценкам, к 2022 году глобальные интеллектуальные динамики Сумма продаж будет близка к 9,5 миллиардам долларов США. Фактически, Renesse полагает, что Amazon и Google могут не создавать собственный бренд смарт-динамиков в будущем, потому что у этого типа продукта мало места для прибыли. Для гигантов домашней сети, пока поставщики аппаратного обеспечения используют свои сервисы платформы, они могут собирать данные пользователя, в которых они нуждаются.
В тот же период изменения в таких продуктах, как домашние интеллектуальные системы мониторинга, будут более выраженными, чем умные динамики. В настоящее время так называемые домашние интеллектуальные контрольные продукты фактически не содержат компонентов искусственного интеллекта, а камеры, сигналы тревоги, дверные замки, датчики и другое оборудование. Продукты связаны друг с другом, чтобы сформировать систему безопасности, которая поддерживает Event Trigger. Однако по мере того, как сопутствующие программные и аппаратные технологии станут более зрелыми, доля домашних камер наблюдения с искусственным интеллектом будет увеличиваться, и в то же время она сможет достичь большего. Приложения, такие как использование голосовых помощников, предоставляют нескольким пользователям более точные услуги в многопользовательской среде.
Защита конфиденциальности пользователей для приложений AI
Тем не менее, для аппаратной промышленности наиболее примечательно то, что концепция локального облака и связанных с ним прикладных продуктов будет воспринята, поскольку устройства в доме, как правило, поддерживают ИИ. Ренессе отметил, что электронные продукты, оснащенные функцией ИИ, будут Произведите большое количество пользовательских данных, и многие из них - данные, относящиеся к личной конфиденциальности. Поэтому, если эти домашние электронные продукты, оснащенные искусственным интеллектом, полностью полагаются на внешнее облако для работы, это, очевидно, вызовет проблемы конфиденциальности.
С другой стороны, многие потребительские устройства IoT с относительно простыми функциями ограничены мощностью, вычислительной мощностью и издержками производства. Возможно, они не смогут поддерживать очень высокоуровневые алгоритмы AI. В это время локальные облачные устройства могут играть роль мозга. Равномерно заказывайте эти устройства.
Однако Ренессе также признал, что еще сложно утверждать, какое устройство будет играть роль локального облачного центра. Возможно, это более умный динамик более высокого порядка, это может быть смарт-телевизор или другие продукты.
Ян Смит, старший директор по маркетингу компании Arm (рис. 2), также считает, что в будущем все больше вычислительных и логических движков переместится на терминал. Основной движущей силой этого сдвига является защита конфиденциальности пользователей. При обработке и анализе данных в терминале вы можете легко анонимизировать данные и гарантировать, что конфиденциальные данные не будут протекать через сеть. Например, использование домашних приложений в качестве примера, потребители не хотят, чтобы кто-то узнал из Интернета, что у них нет дома. Народное время, а затем легко украсть дома.
Рисунок 2 Ян Смит (Ian Smythe), старший директор по маркетингу в Arm, сказал, что для приложений потребительского ИИ, будь то надежный механизм защиты конфиденциальности, станет ключом к принятию приложения.
Для визуальных приложений Smythe считает, что камеры, которые поддерживают визуальное распознавание, по своей сути являются важными соображениями для вопросов конфиденциальности. Очевидно, что эти устройства должны быть сконструированы таким образом, чтобы их можно было защищать при локальном хранении или передаче в облаке. Конфиденциальность и конфиденциальная информация. Поскольку передача обычно подключается по беспроводной сети, особое внимание должно быть уделено безопасности беспроводной передачи. Инженеры, проектирующие устройство, должны обеспечить, чтобы устройства, подключенные к сети, не были взломаны и не были взломаны.
Срок службы батареи остается основной технической задачей
Однако, чтобы подтолкнуть AI к краевому узлу, самой большой технической проблемой в настоящее время по-прежнему является энергопотребление системы. В качестве примера, например, для использования камер видеонаблюдения, потребители могут ожидать, что такие продукты будут полностью беспроводными, и лучше не подключать кабели питания. Это означает, что эти продукты должны питаться от батарей, а также поддерживать беспроводные сети. Кроме того, он должен иметь возможность идентифицировать все элементы и использовать неограниченное пространство для хранения.
Вышеуказанные требования представляют собой серьезную проблему для проектирования системы, требуя возможности запуска нескольких месяцев бесперебойных батарей для обеспечения возможностей машинного обучения (ML) и возможности постоянной загрузки файлов в облако для хранения данных. Эти экстремальные сценарии предназначены для проектирования чипов и компонентов системы. Требования довольно требовательны, и, самое главное, они освоили, когда нужно включить эти функции для продления срока службы батареи.
В случае домашних камер наблюдения камера не должна передавать видео в комнате в течение 24 часов. Разумно загрузить часть изображения, когда есть неподтвержденный человек. Точно так же, если сцена, подобная вакансии, остается неизменной. Не имеет смысла включать алгоритм ML. Осторожно организуйте, где и когда эти функции включены, чтобы потребительское устройство могло работать в ожидаемом режиме только с 2 батареями АА и его можно использовать в течение длительного периода времени.
Поскольку энергопотребление является одним из основных препятствий для ввода ИИ в терминальные устройства, многие стартапы на рынке теперь видят эту возможность для запуска микросхемы нейронной сети с низкой мощностью (NN) - кремниевой интеллектуальной собственности (IP) для поддержки чипа. Несмотря на снижение энергопотребления, разработчики могут удовлетворять требованиям, предъявляемым алгоритмом вывода. Kneron официально выпустила свою серию NPU - специализированный процессор искусственного интеллекта, предназначенный для терминальных устройств. IP. В эту серию входят три продукта: сверхнизкая мощность KDP 300, стандартная версия KDP 500 и высокопроизводительная версия KDP 700, которая может удовлетворить потребности смартфонов, смарт-домов, интеллектуальной безопасности и различных устройств ввода-вывода. Полный спектр продуктов имеет низкое энергопотребление, небольшие размеры и обеспечивает мощные вычислительные возможности. В отличие от энергопотребления процессора для искусственного интеллекта на рынке, IP-адрес Кнерона IPU потребляет 100 милливатт. (мВт), для KDP 300, предназначенного для распознавания лиц для смартфонов, потребляет менее 5 милливатт.
Ши Ялун (Shi Yalun), менеджер по маркетингу и управлению продуктами Endurance (слева на рис. 3) отметил, что необходимость выполнения операций искусственного интеллекта на терминальном устройстве при удовлетворении требований к потреблению энергии и производительности является одним из главных приоритетов, поэтому крайне важно предоставлять оптимизированные решения для отдельных приложений. В настоящее время применение искусственного интеллекта можно разделить на две основные категории: голос и видео, а используемая структура нейронной сети различна. Фокус речевых приложений - естественный анализ языка. Основной сетевой архитектурой является рекуррентная нейронная сеть (RNN). Основной сетевой структурой, используемой для анализа изображений, является сверточная нейронная сеть (CNN). Для оптимизации для различных сетевых структур решение, предоставляемое возможностями, отличается.
Шен Мингфэн (Shen Mingfeng), менеджер по разработке программного обеспечения для энергоинтенсивности (рис. 3, справа), добавил, что, хотя анализ естественного языка имеет более низкий спрос на производительность чип-процессоров, из-за тональности языка существуют большие различия в привычках разговоров, поэтому набор данных, необходимый для обучения модели С другой стороны, гораздо больше, чем распознавание видео, поскольку потребители уже привыкли использовать облачные помощники голоса, такие как Apple Siri и Google Assistant, приложениям для веб-анализа в автономном режиме пользуются предпочтения потребителей. Предварительным условием является то, что мы должны предоставлять подобный опыт работы с клиентами в ограниченных вычислительных ресурсах. Это проблема для поставщиков чипов и разработчиков систем.
Рисунок 3 Аарон Алан (слева), менеджер по маркетингу и приложениям продуктов Endurance, считает, что распознавание речи и изображений очень различно по своей природе и должно быть удовлетворено различными решениями. Правильно, Шен Мингфэн (Shen Mingfeng), менеджер по разработке программного обеспечения для разработки программного обеспечения.
Фактически, подавляющее большинство интеллектуальных динамиков по-прежнему не являются краевыми вычислительными продуктами. Аллен Аарон отметил, что для Ambaon's Echo, Apple Homepod или Baidu, смартфонов платформы Alibaba, все еще приходится Данные отправляются обратно в облако для обработки и семантического анализа, чтобы отвечать на запросы пользователей. Голосовые операции, которые могут выполняться непосредственно на конечном продукте, в основном основаны на правилах, а не на естественном семантическом понимании на основе машин.
С момента внедрения IPU NPU, первого в истории процессора для искусственного интеллекта, предназначенного для терминальных устройств, в 2016 году Nasdalem постоянно улучшал свой дизайн и спецификации и оптимизировался для разных промышленных приложений. Среди доступных в настоящее время для клиентов клиентов KDP 500 была принята заказчиками системных систем и войдет в производство ленточной продукции (Mask Tape-out) во втором квартале. Распознавание голоса в сотрудничестве с Sogou также обеспечило автономный семантический анализ. Даже если оконечное оборудование не подключено к Интернету, оно может Можете понять голосовые инструкции пользователя.
Kneron NPU IP - это специализированный процессор искусственного интеллекта, предназначенный для терминальных устройств, позволяющий терминальным устройствам запускать сети ResNet, YOLO и другие глубокие обучающие сети в автономной среде. Кнерон NPU - это комплексное аппаратное решение для искусственного интеллекта, включая аппаратное обеспечение IP, Compiler и Model Compression могут поддерживать различные модели нейронной сети, такие как Resnet-18, Resnet-34, Vgg16, GoogleNet и Lenet, а также поддерживать глубокое углубленное изучение. Рамки, включая Caffe, Keras и TensorFlow.
IP-процессор Kneron NPU потребляет 100 милливатт энергии, версия KDP 300 с ультранизким энергопотреблением составляет менее 5 милливатт, а весь спектр продуктов составляет 1,5 TOPS / Вт или более на ватт. Благодаря ряду эксклюзивных технологий, Познакомьтесь с потребностями производителей микросхем, поставщиков систем для низкого энергопотребления, высокой вычислительной мощности.
Блокировка основных элементов Аппаратные ускорители не боятся технической итерации
Использование жестких схем для повышения эффективности выполнения определенных конкретных вычислительных задач и снижения энергопотребления в течение ряда лет находится в области проектирования чипов, но по цене низкой гибкости приложения в случае значительного изменения спроса на рынке для функций чипа. , Или алгоритм программного обеспечения радикально меняется, разработчики чипов должны перерабатывать новые чипы.
В ситуации, когда спрос на функции чипа во многом определяется, этот метод проектирования не является проблемой. Однако в новых технологиях, где технологические итерации бывают быстрыми, принятие такого подхода к проектированию будет иметь относительно большой коммерческий риск. Искусственный интеллект - очень быстрое итерационное поле технологий. Почти каждый год появляются новые алгоритмы и модели. Исследовательский институт Open AI также отметил, что за последние 6 лет потребность в обучении модели AI для вычислительной производительности возрастет каждые 3,43 месяца. раз.
В этой связи Шен Мингфэн отметил, что аппаратные ускорители не обязательно негибкие. В качестве примера возьмем продукты выносливости. В плане дизайна архитектуры компания использует метод разложения ядра свертки (фильтр) для свертки больших ядер свертки. Рабочий блок разделен на множество небольших рабочих блоков свертки, которые должны быть соответственно задействованы, а затем объединены с технологией ускорения переконфигурируемой свертки (Reconfigurable Convolutional Acceleration), результаты работы множества небольших операционных блоков свертки объединяются для ускорения всей операции. Эксплуатационная эффективность.
Притча легче понять, как Lego кирпичи могут быть объединены в различные шаблонах для создания объекта, но сам объект еще целая стопка из нескольких основной коробки. Энергетическая программа Сопротивления является необходимым условием для алгоритмов искусственного интеллекта Базовые элементы ускоряются для повышения эффективности выполнения всего алгоритма, поэтому, даже если алгоритм AI обновляется с очень высокой скоростью, решение на основе производительности может по-прежнему оказывать эффект ускорения.
В дополнение к собственному дизайну акселерометра, который фокусируется на основных элементах, а не ускоряет конкретный алгоритм в целом, Terrain также предоставляет другие методы для ускорения или развертывания приложений AI. Например, его технология сжатия моделей сжимает неоптимизированные модели. количество раз; иерархическая технология хранение памяти (Кэширование многоуровневого) может уменьшить нагрузку на процессор и уменьшить объем передачи данных, для дальнейшего повышения общей эффективности работы Кроме того, Kneron НПУ IP-может быть объединен Kneron программного обеспечения распознавания изображений, обеспечивает анализ идентификации в режиме реального времени, и быстро. Ответ не только более стабилен, но также отвечает требованиям безопасности и конфиденциальности. Поскольку аппаратное и программное обеспечение может быть тесно интегрировано, общее решение меньше, а энергопотребление ниже, что способствует быстрой разработке продуктов.
Идентификация изображения AI более актуальна по отношению к краю
В целом, текущий рыночный спрос на распознавание образов является более актуальным, отсутствуют семантический анализ, хотя есть интеллектуальный динамик эти огромный потенциал приложений на рынке, но эта ставка, но меньше ресурсов отрасли. Основная причина этого явления заключается в том, что изображения Передача будет занимать большую полосу пропускания, что, в свою очередь, повышает общую стоимость владения системой. У этого голоса нет этой проблемы.
Лин Чжимин (Lin Zhiming), генеральный менеджер Jingxin Technology (рис. 4), пояснил, что интеграция искусственного интеллекта и Интернета Things также будет способствовать внедрению технологии граничных вычислений. Технология граничных вычислений будет применяться к множеству новых приложений. Среди этих тенденций гибкость и скорость - самые большие преимущества для тайваньских производителей. Для большинства тайваньских компаний и компаний, занимающихся разработкой ИС, легче перерезать рынок искусственного интеллекта с самого края.
Рисунок 4: Чжисин Лин, генеральный директор Jingxin Technology, считает, что IP Cam станет одним из основных приложений для выполнения вывода AI на периферийных устройствах.
В то же время, благодаря внедрению технологии граничных вычислений, также будут возрастать требования к оборудованию, такие как память и передача, что значительно увеличит производственные затраты. Поскольку система на кристалле (SoC), основанная на изображении, изначально более сложна, чем другие приложения, Допуск по стоимости также большой, поэтому ожидается, что технология краевых вычислений будет первой импортироваться приложениями, связанными с изображениями, такими как IP Cam.
Приложения для искусственного интеллекта могут быть разделены на обучение и идентификацию. В массовом вычислительном процессе глубокого обучения облачные вычисления все еще выполняются за короткий промежуток времени. Задача, на которую ответственны краевые вычисления, состоит в том, чтобы сначала собрать информацию. Первоначальная обработка, после фильтрации несущественной информации, загружает данные в облако, чтобы сохранить стоимость передачи. С другой стороны, глубокое обучение, выполненное облаком, также может сделать функцию идентификации терминала более интеллектуальной. Например, работа по глубокому изучению изображений может быть завершена облачными вычислениями. После того, как ученик в режиме ожидания распознает пешехода, IP-камера на краю может выполнять только работу по идентификации.
С другой стороны, поскольку IP Cam широко используется в сфере обеспечения безопасности и обеспечения безопасности в сообществе, правительство и предприятия относительно готовы поддерживать инвестиции, что также станет причиной быстрого развития IP Cam.
Лин Чжимин поделился тем, что многие производители сейчас изучают, как импортировать искусственный интеллект в свои собственные чипы и системы. Текущая ситуация похожа на начало Интернета вещей. Все еще пытаются понять, как использовать эту технологию. Предполагается, что производители будут около 2020 года. Запустит более актуальные продукты.
Приложения реального времени должны использовать архитектуру краевых вычислений
В настоящее время искусственный интеллект является горячей темой: постепенный переход от архитектуры облачных вычислений к архитектуре граничных вычислений окажет значительное влияние на поставщиков цепочки поставок. Хотя развитие искусственного интеллекта в краткосрочной перспективе будет по-прежнему доминировать в облачных вычислениях, Однако многие функции искусственного интеллекта в отношении приложений видения начнут импортировать края.
Дейл К. Хитт, директор по развитию рынка стратегии визуального интеллекта Xilinx (рис. 5), отмечает, что в обозримом будущем компоненты обучения в разработке ИИ могут по-прежнему доминировать в облачных вычислениях. Однако компоненты вывода / развертывания начались. Используйте граничные операции для поддержки приложений, требующих низкой латентности и эффективности сети.
Рисунок 5 Дейл К. Хитт, директор по разработке рынка для стратегии визуального интеллекта Xilinx, считает, что для приложений, требующих очень низкой латентности, крайние операции будут лучшим решением.
Машиноведение для приложений, связанных со зрением, станет одной из ключевых и далеко идущих тенденций в области применения на краях, а также будет сильным в промышленном машинном зрении, умных городах, визуальном анализе и самодвижущемся рынке. Потенциал роста. Что касается промышленного зрения и потребительских приложений, потому что краевая арифметика должна реализовывать алгоритмы машинного обучения, требования к производительности также намного выше, чем решения предыдущего поколения. Кроме того, быстро развивающиеся алгоритмы / функции машинного обучения. Требуется самоадаптивное аппаратное обеспечение для оптимизации будущих архитектур обработки вывода машин.
Например, Хитт использует самозахватные автомобили. За каждым датчиком в автомобиле существует точная поддержка алгоритма, которая отвечает за получение результатов сенсорной интерпретации данных датчиков. Последняя тенденция заключается в использовании алгоритмов глубокого обучения для генерации этих результатов интерпретации восприятия. Однако, Алгоритмы глубокого обучения должны быть обучены с помощью большого количества потенциальных ситуаций, чтобы узнать, как читать все возможные данные датчиков.
После обучения алгоритмы глубокого обучения требуют чрезвычайно высокой вычислительной эффективности и сверхнизкой задержки для безопасного управления транспортным средством. Для электромобилей необходимо использовать низкое энергопотребление для ограничения рабочей температуры и увеличения мощности аккумулятора. Цель состоит в том, чтобы обеспечить высокоэффективные маломощные адаптируемые решения для удовлетворения различных потребностей самодвижущегося AI.
В развитии краевых вычислений самая большая проблема заключается в том, что рыночный спрос слишком быстро меняется, поэтому технологии, которые могут быстро адаптироваться к различным изменениям, чрезвычайно важны, чтобы компании могли сохранять свою конкурентоспособность.
Хитт далее объяснил, что алгоритмы глубокого обучения постоянно продвигаются быстрыми темпами, и многие из ведущих решений 2017 года столкнулись с судьбой ликвидации. Даже имея сегодня возможность превосходить многие другие, поскольку потребности в вычислительной технике продолжают расти, аппаратные средства все еще нуждаются в Оптимизация. Аппаратное обеспечение должно быть обновлено с большей скоростью, чтобы избежать его устранения. Некоторое аппаратное обеспечение, возможно, даже потребуется обновить во время производства. Также необходимо вызвать много альтернативных технологий для обновления чипа.
Хитт добавил, что уникальные преимущества FPGA включают в себя глубокую аппаратную оптимизацию, включая операции, архитектуру памяти и ссылки. По сравнению с процессорами и графическими процессорами они могут достичь более высокой производительности с меньшим энергопотреблением после оптимизации. Аппаратная архитектура не может быть быстро оптимизирована для новых производных требований.
Работа с краем подавляющая
Опираясь на приложения AI, работающие в облачных центрах обработки данных, хотя он обладает чрезвычайно высокой поддержкой вычислительных возможностей, его точность идентификации, как правило, выше, чем у периферийных устройств на основе упрощенного вывода модели, но после рассмотрения вопросов конфиденциальности, реакции в реальном времени и онлайн-стоимости и других факторов С другой стороны, размер рынка терминальных устройств намного больше, чем у облачных центров обработки данных, и есть сильные экономические стимулы. Это также лозунг криков AIoT в прошлом году. Цена высока, и крупные полупроводниковые компании активно внедряются.
Глядя в будущее, приложения AI, полностью поддерживаемые облаком, будут по-прежнему существовать на рынке, но доля будет уменьшаться из года в год. Вместо этого будет заменена новая архитектура, объединяющая облачные и пограничные вычисления. Для разработчиков приложений AI облако не может быть заменено. Значение заключается в обучении модели, а не в выводе. Также по этой причине, независимо от того, сможет ли поставщик решений достичь бесшовной интеграции между «облаком» и «концом» для разработчиков приложений, будет разработчик приложения. Самое важное соображение при оценке поставщиков.