В прошлом месяце Huawei выпустила P20 Pro и P20, которая заняла первое место среди мобильных телефонов DxOMark, объявленных в этот день, а лидерство не было ни на один, ни на два. P20 Pro был на 10 пунктов выше, чем предыдущий Samsung Galaxy S9 Plus. Не одна эпоха, но один или два ведущих дня. Конечно, спецификация CMOS P150 1 / 1,73 дюйма неизбежно несколько запугивает, но 1 / 2,7-дюймовый CMOS P20 лишь немного меньше, чем Galaxy S9 Plus, Pixel 2. Высокий, но качество изображения также имеет очевидные преимущества. Откуда это преимущество?
Есть два способа мышления об улучшении качества фотографии: один из аппаратных средств насилия, таких как использование большей площади и больших пикселей CMOS, что увеличивает механическую оптическую стабилизацию изображения и большую диафрагму, а вторая идея - мягкая сила: И оптимизация.
Первый пример типичного случая - Samsung Galaxy S9 Plus. Перед тем, как Galaxy S8 сделал снимок относительно Galaxy S7, Galaxy S9 Plus первым применил новый 1,4-мегапиксельный CMOS с трехслойным стеком DRAM. Это второстепенный фактор в улучшении фотосъемки. Основным фактором реального прогресса является большой скачок оптических компонентов. Galaxy S9 Plus использует прорывную апертуру F1.5. Однако использование такой большой апертуры требует высокой стоимости. Прежде всего, трудно создавать большие отверстия выше F1.8, урожайность низкая, что приводит к высоким издержкам производства для модулей объектива. Во-вторых, апертура слишком велика, изображение будет переэкспонировано в ярких сценах, а GS9 даже вводит физические Изменение диафрагмы для решения этой проблемы значительно увеличивает сложность сборки камеры и снижает надежность.
Еще одна идея - оптимизация программного алгоритма. Этот типичный случай - пиксель Pixel 2, 12.2MP, 1.4μm, спецификации аппаратной части одной камеры f / 1.8 не очень преувеличены, но он все равно может переиграть iPhone X и другие аппаратные монстры. Это благодаря алгоритму DeepLab-v3 +, который является естественной сетью глубокого обучения на основе ИИ. Он может анализировать сцену в режиме реального времени, определять содержание целевой сцены, оптимизировать ее и выполнять обработку HDR + на месте, чтобы избежать чрезмерной экспозиции в некоторой степени. Наиболее важной технологией алгоритма DeepLab-v3 + является одиночная камера для достижения глубины резкости с помощью алгоритма. Эта функция требует большого количества операций кодирования и декодирования, множественной выборки и преобразования, огромного количества вычислений. Google Pixel 2 для достижения Эта функция даже специально разработала чип ускорения с именем Pixel Visual Core для выполнения обработки алгоритмов. Производительность с плавающей запятой FPU ускоренного чипа в пять раз выше, чем у Apple A11 Bionic. Google также, похоже, самоотверженно реализует алгоритм DeepLab-v3 +. С открытым исходным кодом, бесплатно в мире, чтобы поделиться. Конечно, Google также имеет свои собственные расчеты, с одной стороны, может быть в полной мере полезной Ресурсы бесплатного развития сообщества с открытым исходным кодом продолжают улучшаться. С другой стороны, его главный конкурент Qualcomm Snapdragon 835/845 не имеет такой же производительности AI, как A11, и он не может запускать этот набор алгоритмов, требующих чрезвычайно высокой производительности, поэтому не нужно беспокоиться об этом. Существуют также алгоритмы, которые не обладают достаточной производительностью для реализации.
Сравнение и анализ образцов P20
Однако в этом вопросе Google просчитан. Huawei Unicorn 970 первым включил процессор NPU, который может обеспечить достаточную производительность для достижения того же уровня алгоритмов глубокого обучения, которые используются для улучшения качества изображения при съемке. Основываясь на глубоком обучении Как алгоритм AI улучшает качество изображения? Давайте посмотрим на образец сравнения DxO. (Источник сравнения: https://www.dxomark.com/huawei-p20-pro-camera-review-innovative-technologies -outstanding-results /, конкретное сравнение оригинала можно посмотреть на этой странице)
Низкий свет и антибликовое покрытие
Это типичный сценарий ночной сцены. Черный купол в нижнем левом углу Huawei P20 Pro восстановлен до подлинности, в то время как iPhone X и Pixel 2 значительно переэкспонированы. Светодиодные фонари iPhone X и Pixel 2 также имеют явный ослеп. P20 Pro выполняет сцену через глубокое обучение. Обнаружение, во многом, чтобы избежать возникновения передержки. И верхний правый угол дерева Huawei P20 Pro лучше, но это происходит не из-за чрезмерной заточки, что приводит к увеличению точки, что является большим датчиком площади. Высокая чувствительность + Результат совместной работы позднего алгоритма.
Масштабирование и стабилизация оптического изображения
Я наивно полагал, что дно - это справедливость, хотя это происходит только в области DSLR, но не в поле мобильного телефона. До того, как Sony / Meizu использовала датчик глубины 1 / 2,7 дюйма, а также из-за большого дна, в мобильном телефоне Пространство не может добавить оптическую стабилизацию оптического изображения OIS, результат стоит свечи, я когда-то думал, что подошва и стабилизация оптического изображения, такие как рыба и лапа медведя, не могут иметь обоих.
Huawei P20 Pro представляет инновационную функциональность AIS, которая позволяет ему учитывать CMOS и оптическую стабилизацию изображения в конце пола. Его приблизительный принцип работы - определить тенденцию ручного движения через кадрирование камеры № 3, а затем через постобработку AI посредством многокадровой стабилизации. Алгоритм выполняет стабилизацию изображения и завершает задачи, которые я когда-то считал невозможными.
Портретная сцена
Портреты и снимки красоты мобильных телефонов иностранного бренда всегда отставали от отечественных брендов. Причина этого в том, что этого недостаточно, чтобы сосредоточиться. Внутри страны боли в портретах и красоте более насущны, что вынуждает отечественных производителей мобильных телефонов вкладывать больше средств в эту область. Huawei в полной мере воспользовался своей технологией и принял алгоритм глубокого обучения AI, чтобы идентифицировать 3D лица лиц и оптимизировать и улучшать кожу и цвет. Пример P20 Pro более радужный и перемещающийся. Поскольку люди меняются в реальном времени, они должны быть в режиме реального времени. Изображение анализируется и сравнивается с результатами глубокого обучения предыдущей нейронной сети, чтобы стать трехмерной лицевой информацией, а затем оптимизироваться. Объем обработки в реальном времени по-прежнему очень велик.
Сцена HDR
Эта сцена - портрет, но подсветка, яркость сцены за окном слишком высока, окно iPhone X сильно разоблачено, пиксель 2 над контролем экспозиции лучше, а управление P20 Pro более совершенное, а внутренний персонаж не слишком темный. Накопление обучающих сцен позволяет выполнять оценки сегментации на таких сложных сценах с большими различиями в свете и тени, а также устанавливать различные стратегии воздействия. Мощная производительность NPU Unicorn 970 делает эти процессы еще более мощными.
Целью двойной камеры является использование дополнительной камеры в качестве информации о глубине датчика глубины сцены для получения информации о глубине. Эффект глубины поля формируется путем многокадрового синтеза и последующей обработки. Однако алгоритм до эпохи ИИ имеет проблемы с отличием переднего плана от фона. Является более сложной растительностью, край подвержен дефектам.
Эффект глубины резкости и краевое суждение
И основываясь на сцене после того, как глубина исследование AI, чтобы определить, из-за большое количество данных, собранных таким образом, что камера сцена суда на переднем и заднем плане является более точным, более точной сегментацией краевого участка, но не отображается выше не поддерживает двойную камеру AI неправильной обработки сложный края Проблема.
В целом, NPU Unicorn 970 имеет компьютерное обучение для более чем 500 сцен в 19 категориях, таких как кошки и собаки, еда, толпы, макросы, ночные сцены / текст, цветы, голубое небо, сцены снега, пляжи и т. Д. . для достижения этой функции требует много накопления данных, но и большие объемы данных должны быть обработаны с помощью нейронной сети в режиме реального времени, чтобы фотографировать, поэтому алгоритм для вычисления мощности и выдвинул очень высокий спрос. Huawei P20 саммита не только посадки DXOMark Благодаря преимуществам CMOS и оптических компонентов существуют более совершенные алгоритмы для глазури на торте. И превосходные алгоритмы требуют мощных вычислений, чтобы гарантировать, что NPU Unicorn 970 незаменим.
В ответ на спрос на глубокое обучение AI Huawei активно участвовала в независимом подразделении NPU в начале исследований и разработок Kirin 970.
Как уже упоминалось ранее, ядром обработки изображений является анализ и распознавание сцены. В этой работе есть два этапа: первый этап - обучение. Большое количество образцов необходимо подавать через свернутую нейронную сеть сверточной нейронной сети. в мобильном устройстве локально, он также может быть большой сервер в облаке, чтобы работать, но наблюдение за новой фотографии, анализа и суждения в принципе может быть сделано только на местном уровне. Несмотря на то, что это только один новый анализ образца, но также необходимо сравнить данные до и накопления Да, и этот анализ суммируется в результатах машинного обучения. Процесс сверточной нейронной сети сверточной нейронной сети должен выполнять большое количество процессов принятия решений ветвей, что требует мощной возможности обработки с плавающей запятой FP16.
Qualcomm Xiaolong 845 так называемых «НПУ» является шестиугольник 685, шестиугольник 685 раз перед Hexagon 682 небольшое изменение. Строго говоря, это можно рассматривать только DSP, а не единорог 970 и A11 как НПУ в истинном смысле этого слова, но упрощенно Блок векторной обработки и эта вычислительная мощность DSP также могут быть заняты другими задачами. Более сложные задачи обучения машинам AI в Snapdragon 845 по-прежнему требуют использования GPU или даже CPU, и такая стоимость огромна.
Это принципиальная диаграмма TechInsights Kirin 970, мы можем найти небольшое ядро A53 ниже области чипов NPU, текущей мобильной SoC, только Apple A11 и Kirin 970 имеют реальное представление о NPU.
ИИ и глубокое обучение - это не только проблемы с аппаратным обеспечением. Мобильная обработка ИИ - это многоуровневый системный проект, объединяющий программные и аппаратные средства. Верхний уровень - это прикладной уровень, а нижеприведенный API - это прикладной интерфейс между прикладным уровнем и аппаратным уровнем. В настоящее время ИИ на платформе Android. Существует два основных API для ускорения: один из них - официальная версия Android AI Runtime от Google, похожая на Direct Compute под Windows, с хорошей совместимостью с программным и аппаратным обеспечением и является отраслевым стандартом, другая - HiAI от Huawei, которая уникальна для API Unicorn. NVIDIA CUDA, хотя и ограниченная аппаратными средствами, более эффективна. Также существует иерархическая система управления ресурсами HiAI ниже уровня API, назначая задачи на базовый аппаратный уровень. Следующий аппаратный уровень может быть NPU или графическим процессором. CPU, DSP или даже ISP.
Это показывает, что AI не обязательно должен работать на NPU. Другие процессоры, графические процессоры и DSP могут работать, но есть фундаментальные различия в производительности и эффективности: производительность GPU в четыре раза выше, чем у процессоров, а NPU - это процессоры. В дополнение к абсолютной производительности разрыв между коэффициентами потребления энергии еще более выражен. По сравнению с графическими процессорами и процессорами, NPU имеют разницу в 8 раз и 50 раз. Это можно назвать существенным недостатком для мобильных устройств, которые растянуты до предела. ,
Unicorn 970 использует NPU для идентификации элементов в режиме реального времени. Производительность может достигать вычислительной мощности 16GFlops. Единственная обработка занимает всего 32ns, а рабочий ток составляет всего 300 мА. По сравнению с процессорами и графическими процессорами с несколькими ваттами он очень зеленый.
Из теста производительности AI от мастера Лу видно, что преимущество производительности Qilin 970 над машиной разработки Xiaolong 845 очевидно. Тест AI Lu содержит три элемента: InceptionV3, Resnet34 и VGG16. Три тестовых элемента используют три разных метода. Алгоритм идентифицирует 100 изображений соответственно и оценивает производительность за счет трудоемкого времени. Эти три алгоритма в основном являются единственными тремя алгоритмами, которые в настоящее время обучаются искусственному распознаванию нейронной сети. Они очень репрезентативны и, как говорят, являются современными алгоритмами глубокого обучения AI. Все эти три алгоритма, InceptionV3 в большей степени зависят от процессора и графического процессора, у Kirin 970 и Xiaolong 845 две платформы имеют небольшую разницу, а алгоритм Resnet34, VGG16 является более продвинутым, может в полной мере использовать преимущества производительности NPU, Поэтому производительность Unicorn 970 с NPU в следующих двух тестовых элементах имеет очевидные преимущества.
В частности, алгоритм VGG16, состоящий из 16-слойной структуры, объединяющей 13 слоев свертки и 3 полноцепочечных слоя, очень подходит для NPU. Точность вычисления этого алгоритма - FP16, а излучение ЦП - FP32, которое имеет более высокую точность. Но при работе с FP16 одна передача может обрабатывать только один FP16, поэтому ресурсы будут потрачены впустую. Поэтому для расчета на основе FP16, такого как VGG16, NPU, оптимизированный для FP16, является более эффективным и может быть более полно использован. ресурсы.
Некоторые компании даже могут похвастаться характеристиками AI 660, но Xiolong 660's Hexagon 680 DSP вообще не имеет вычислительной мощности FP16. Так что AI полагается на процессор или графический процессор? Он действительно может запускать AI, и мы не можем обвинять его в ложности. Публичность, но производительность и энергопотребление не выглядят красиво.
В эпохе до ИИ, чтобы улучшить качество камеры без видимого порога без основного R & силы D бренда, просто готово потратить несколько долларов, чтобы купить лучше отец, чтобы найти Sony CMOS, тяжело переносить на более низких урожаях большой апертуры, не применять Qualcomm или публичная версия от Samsung в ISP алгоритм жеребьевке броске, также может сделать хорошую камеру телефона. Однако, после прихода AI, традиционное мышление уже не представляется возможным, в лучшем случае, просто конкуренция, так что бренд не основной возможности аппаратного обеспечения R & D может сохранить хорошее оборудование, но если есть отсутствует алгоритм, основанный на разумной глубине обучения AI, может сделать продукт полностью за идею. был открыт разрыв между двумя эшелону, за ним последовали залива, в конечном счете, ведущие компании AI трудно идти в ногу Уровень.
Под компанией имеет алгоритм прочности R & D, хотя ситуация немного лучше, может участвовать в глубине исследования AI в игру, но эти компании не имеют чип уровень R & способность D, мы не можем обеспечить достаточный НП количества фишек поставщика продукции перед случае, только жаловаться и не хотят следовать.
Так что теперь есть AI машинного обучения и развития потенциала предприятий можно рассматривать как второсортное, но чип ¨R & D возможности и платформу для создания эко-бизнес является вершиной. В нижней части марки Huawei Кирин в качестве основы для разработки и средней машины HiAI в качестве платформы для поддержки верхней больше бытовой электроники и программных приложений с прямой контакт с конечными потребителями, таких экосистем является здоровым и устойчивым развитием ИИ экологии. потребителей, на основе глубины обучения AI только черный ящик, пользователям не нужно и понять, как она работает, вы можете просто наслаждаться плодами их польщен. Huawei Kirin это льстило незамеченных героев, заставит ее работать после нашей жизни лучше.