Huawei no mês passado lançou o P20 Pro e P20, ranking entre os melhores no dia da publicação da DxOMark câmera de telefone celular e margem de líder não é 1 ponto 2 pontos, antes do P20 Pro de topo Samsung Galaxy S9 Além disso alta de 10 pontos, pode-se dizer não uma era, mas um ou dois à frente dos tempos. naturalmente P20 Pro 1 / 1,73 polegadas de especificações CMOS é inevitável que algumas pessoas intimidação, mas o P20 CMOS de 1 / 2,7 polegadas em comparação com o Galaxy S9 Além disso, Pixel 2 é apenas ligeiramente especificações Alta, mas sua qualidade de imagem também tem vantagens óbvias De onde veio essa vantagem?
Melhorar a qualidade da fotografia é ter duas ideias, um hardware luta violenta, como o uso de uma área maior maior de pixels CMOS, aumentar a estabilização de imagem óptica mecânica, abertura maior, ea segunda é a idéia de soft power: Algoritmos E otimização.
A primeira ideia é um caso típico é o Samsung Galaxy S9 Além disso, antes do Galaxy S8 relativa Galaxy S7 câmera básica, apenas marcando o tempo, enquanto o Galaxy S9 Além disso, foi pioneira no uso de novas 1.4μm CMOS DRAM com uma pilha de três camadas, mas isso só é um fator secundário para aumentar as fotos dos principais fatores é o verdadeiro grande passo em frente grandes componentes ópticos salto em frente, Galaxy S9 Além disso avanço usa uma grande abertura de F1.5. mas é necessária a utilização de uma grande abertura tal que pagar um preço elevado, em primeiro lugar, mais do que F1.8 grande abertura de produção é muito difícil, rendimento muito baixo, o que resulta em alta produção custa módulo de câmara, e a segunda abertura for demasiado grande, em cenas brilhantes fará com que a imagem é sobre-exposta, GS9 mesmo fisicamente introduzida Alterar a íris para resolver esse problema aumenta muito a complexidade da montagem da câmera e reduz a confiabilidade.
Outra idéia é otimizar os algoritmos de software, o caso típico é o Pixel 2, 12.2MP, 1.4μm pixels, as especificações de f hardware / 1.8 única câmera não é muito exagerado, mas ainda pode sobrecarregar iPhone X e outro monstro hardware, um voto, isso é graças ao DeepLab-v3 + algoritmo. este algoritmo é baseado na profundidade de aprender AI rede natural, análise em tempo real pode ser realizada no local, identificando o conteúdo da cena alvo, para otimização. HDR + e processamento cena, em certa medida, para evitar caso superexposição ocorreu. DeepLab-v3 + algoritmo de manobra mais porter é uma única câmera para alcançar a profundidade de campo para tirar fotos através do algoritmo, tal funcionalidade é implementada requer uma série de operações de codificação e decodificação, amostragem múltipla e conversão, a quantidade de computação é enorme. Google Pixel 2 para alcançar esse recurso é ainda um chip acelerador especialmente desenvolvido chamado Pixel Visual core para realizar o processamento aritmético, o desempenho de ponto flutuante chip de aceleração FPU é cinco vezes o da Apple A11 Bionic. o Google também vai olhar imparcial DeepLab-v3 + algoritmo open source, livre para compartilhar com o mundo. é claro, o Google também está fazendo a sua própria pequena pensar, por um lado, você pode aproveitar ao máximo recursos livres open source de desenvolvimento da comunidade para continuar a melhorar, por outro lado, a sua rival desempenho Qualcomm Xiaolong AI não é tão bom quanto 835/845 A11, e isso não precisa executar algoritmo muito alto desempenho, então não se preocupe pensamento, outros solteiros não há nenhum hardware capaz algoritmo para ser realizado.
Comparação e análise de amostras P20
Mas sobre esta questão Google tenha calculado mal, Huawei Kirin 970 processador NPU construiu o chumbo, que pode fornecer o desempenho adequado para atingir o mesmo nível de desempenho de qualidade com este algoritmo baseado na profundidade de aprendizagem, para aumentar a tiro baseado na profundidade de aprendizagem algoritmos de IA é como melhorar a qualidade do desempenho, vamos dar uma olhada na prova comparativa DxO (fonte comparação :. https://www.dxomark.com/huawei-p20-pro-camera-review-innovative-technologies -Excelente-/ resultados, artwork contraste específico pode ser visto em desta página)
Pouca luz e anti-reflexo
Foi uma cena típica noite, Huawei P20 canto Pro inferior esquerdo do teto para restaurar a verdadeira preto, enquanto o iPhone X e Pixel 2 superexposição, obviamente, menores postes certas iPhone X e Pixel 2 também reflexo significativo. P20 estudo Pro aprofundada realizada pela cena detecção, em grande medida para evitar a superexposição de acontecer. e no canto superior direito dos ramos Huawei P20 Pro detalhes melhor, mas não muito nitidez leva impaciente a subir, esta é uma grande área de sensor de alta sensibilidade melhor + resultado da interação do último algoritmo.
Zoom e estabilização óptica de imagem
Eu era ingênuo o suficiente para pensar sola é a justiça, embora este seja apenas o campo DSLR, mas no espaço móvel não é o caso. Antes Sony / Meizu sola sensor de uma vez com 1 / 2.7 polegadas, mas também devido à grande final, o telefone você não pode adicionar espaço para estabilização de imagem óptica OIS, o resultado vale a vela, uma vez eu pensei sola e estabilização de imagem óptica, como peixe e não pode ter ambos.
Huawei P20 Pro é a introdução inovadora de função de AIS, para que ele possa ter em conta as grandes CMOS finais e estabilização de imagem óptica. Provavelmente trabalha enquadrando o movimento para julgar a tendência de câmera de mão através de três, e depois novamente pela AI após o tratamento por multi-quadro estável algoritmo de anti-shake, eu terminei a tarefa não pode ser concluída se pensava.
Cena do retrato
marca estrangeira telemóveis retratos e beleza tiro foi ficando para trás as marcas nacionais, a razão é a falta de atenção, o país é mais urgente para pontos retrato e dor beleza, forçando os fabricantes nacionais de telefonia móvel têm mais de entrada a este respeito. O Huawei pleno uso das suas vantagens tecnológicas, para o reconhecimento facial 3D por personagens AI enfrentar algoritmos de aprendizagem de profundidade, e cor para otimizar e melhorar a pele acima provas P20 Pro ainda mais rosado e em movimento. Porque os personagens são mudanças em tempo real, a necessidade de tempo real imagem e aprendizagem profundidade pelos resultados de redes neurais com análise prévia e comparação, a informação torna-se um rosto em 3D e, em seguida, otimizar a quantidade de operação de processamento em tempo real ainda é muito grande.
Cena HDR
Esta cena é um retrato, mas a luz de fundo, o brilho da cena fora da janela é muito alta, a janela iPhone X da superexposição sério, Pixel 2 superexposição melhor controle, enquanto o P20 Pro controle é mais perfeita, enquanto o caráter interior nem muito escuro. Uma vez que a profundidade a cena torna o aprendizado acumulação é dividido determinar para essas grandes diferenças no brilho das cenas complexas, definir estratégias de exposição diferentes, Kirin 970 NPU desempenho poderoso torna estes processos mais facilidade.
Dupla utilização de câmera começando é a informação sub profundidade câmera cena obtido em um sensor de profundidade, profundidade formado de campo por síntese multi-estrutura e modo de pós-processamento, mas no algoritmo antes AI idade, para a identificação de distinguir problemas de primeiro e segundo plano, especialmente É uma vegetação mais complexa, a borda é propensa a defeitos.
Profundidade do efeito de campo e julgamento de borda
E baseado na cena após o estudo aprofundado AI para determinar, devido à grande quantidade de dados acumulados para que a cena da câmera de julgamento no primeiro plano eo fundo é parte mais preciso, mais preciso segmentação borda, mas não aparecem acima não suporta dual-câmara AI imprópria borda complexa manipulação O problema.
No geral, Kirin NPU 970 a 19 categorias e mais de 500 cenas de treinamento de aprendizado de máquina, tais como gatos e cães, comida, pessoas, Macro, Noite / texto, flores, céu azul, neve, praia, etc. tem um esquema de otimização correspondente . para alcançar esta função requer um monte de acumulação de dados, mas também grandes quantidades de dados precisam ser processados pela rede neural em tempo real para tirar fotos, então o algoritmo para poder de computação e apresentar uma demanda muito alta. Huawei P20 da cúpula não é apenas plantar DxOMark Devido às vantagens do CMOS e dos componentes ópticos, existem algoritmos mais avançados para a formação de gelo no topo do bolo e excelentes algoritmos precisam de poder computacional poderoso para garantir que o 970 NPU da Kirin seja indispensável.
Em resposta à demanda por aprendizado profundo de IA, a Huawei tem sido proativa em se juntar à unidade independente de NPU no início do Kirin 970 R & D.
Mencionado anteriormente, trabalho de processamento de imagem principal é identificar a análise do cenário, este trabalho tem duas fases. A primeira fase é o treinamento precisa ser dado um grande número de amostras analisadas pela rede convolução neural aprender Convolucional Neural Network, o processo de formação pode ser no dispositivo móvel localmente, ele também pode ser um grande servidor para a nuvem para operar, mas o follow-up do novo fotos, análise e julgamento, basicamente, só pode ser feito localmente. Embora esta seja apenas uma única análise de nova amostra, mas também precisa comparar os dados antes e acumulação Sim, e esta análise são resumidos em resultados de aprendizagem de máquina. e esta rede neural convolutional convolução rede neural para processar um grande número de processo de decisão ramo, o que exige um forte FP16 flutuante poder de processamento ponto.
Qualcomm Xiaolong 845 chamado 'NPU' é Hexagon 685, Hexagon 685 pouco antes Hexagon 682 pequena mudança. Estritamente falando, isso só pode ser considerado DSP, ao invés do unicórnio 970 e A11 como NPU, no verdadeiro sentido, mas simplista unidade de processamento vetorial, eo poder DSP computação também pode ser ocupado por outras tarefas. Xiaolong 845 mais complexas tarefas de aprendizado de máquina AI ainda precisa ser ainda CPU GPU para alcançar, e este preço é enorme.
Esta é TechInsights núcleo Kirin 970 gráfico, podemos ver abaixo A53 é uma área de chip pequeno núcleo NPU, atual SoC móvel, só a Apple A11 e Kirin 970 tem um verdadeiro sentimento de NPU.
AI e aprendizagem profunda não é apenas um problema de hardware, mover processo AI é um sistema multi-nível projeta uma combinação de hardware e software. A camada superior é a camada de aplicação, que está sob a API como uma camada de aplicação e camada de hardware interfaces de aplicativos interativos. Plataforma Android está atualmente em AI API acelerado são principalmente dois: um é oficial Android AI Runtime do Google, Direct Compute sob semelhante do Windows, um bom software e compatibilidade de hardware, é a norma da indústria, o outro é Huawei Hiai, esta é uma API única unicórnio similar. CUDA da NVIDIA, embora existam restrições quanto ao hardware, mas mais eficiente. na camada de API, seguido por um sistema de gestão de recursos heterogêneos Hiai, atribuir tarefas para a camada subjacente hardware camada de hardware abaixo podem ser NPU, também pode ser uma GPU, CPU, DSP ou mesmo ISP.
Isso mostra que a AI não precisa necessariamente ser executada em NPUs. Outras CPUs, GPUs e DSPs podem funcionar, mas existem diferenças fundamentais em desempenho e eficiência: o desempenho da GPU é 4 vezes maior que o das CPUs e as NPUs são CPUs. tempos de intervalo de energia do intervalo de desempenho absoluta do que o mais óbvio, NPU em comparação com a GPU e a CPU tem até 8 vezes e diferença de 50 vezes, que se estendia por dispositivos móveis de potência, pode dizer-se que existe uma lacuna de natureza .
Kirin NPU 970 com a identificação em tempo real dos produtos, o desempenho pode ser 16GFlops poder de computação alcançado, consumindo apenas um único 32NS de processamento, ea corrente de funcionamento de apenas 300mA, é muito verde em comparação com algumas centenas de watts de termos de CPU e GPU.
AI a partir de testes de desempenho, podemos ver o Mestre Lu Qilin 970 Xiao Long 845 de desenvolvimento de desempenho da máquina óbvias vantagens relativas. Teste Mestre Lu AI contém InceptionV3, Resnet34, VGG16 3 projectos, três são três itens de teste diferentes reconhecimento algoritmo foram 100 imagens para avaliar o desempenho através demorado. estas três algoritmo básico é atualmente o único treinar o mapa de conhecimento de inteligência artificial rede neural dos três algoritmos, muito representativa, pode-se dizer que o algoritmo atual aprendizagem profundidade AI . todos os três algoritmos, InceptionV3 mais dependentes de CPU e GPU, unicórnio pequeno 970 e 845 Xiaolong dois hiatos plataforma; e Resnet34, VGG16 em algoritmos mais avançados que podem tirar proveito dos benefícios do NPU de desempenho, Portanto, o desempenho do Unicorn 970 com NPU nos próximos dois itens de teste possui vantagens óbvias.
VGG16 algoritmo em particular, ver que compreende camadas 13 e 16 de convolução três estrutura de camadas de toda a cadeia está camadas ligadas, o NPU é adequado. Esta precisão de cálculo do algoritmo é FP16, FP32 e CPU são transmitidas, de forma mais precisa. no entanto, quando usado para tratar FP16, apenas uma única transmissão, ou um único processo FP16, assim será um grave desperdício de recursos. Portanto, no presente VGG16 calculado com base FP16, FP16 otimizado NPU para o uso mais eficiente pode ser mais plenamente Recursos
A empresa tem ainda de sopro Xiao Long 660 desempenho AI, mas Xiaolong 660 Hexagon 680 DSP fez poder não FP16 computação, é de contar com AI para contar? CPU ou GPU? Na verdade ele pode ser executado AI, não podemos culpar falsa Publicidade, mas desempenho e consumo de energia não são bonitos.
Na era antes da AI, para melhorar a qualidade da câmera sem limite aparente sem uma R subjacente & D força da marca, apenas dispostos a gastar alguns dólares para comprar um pai melhor para encontrar um Sony CMOS, suportar duro com rendimentos mais baixos grande abertura, aplicar Qualcomm ou versão pública da Samsung do ISP algoritmo lance lance, também pode fazer uma boa câmera do telefone. no entanto, após a chegada da AI, o pensamento tradicional não é mais viável, no máximo, uma competição simples, para que a marca não é o subjacente capacidades de hardware de P & D pode economizar um bom hardware, mas se há um algoritmo que falta baseado na aprendizagem inteligente profundidade AI, poderia tornar o produto totalmente por trás da idéia. a diferença entre os dois escalão foi aberto, ele foi seguido por golfo, acabou levando empresas de IA difícil manter-se O nível.
Sob A empresa tem algoritmo de resistência R & D, embora a situação é um pouco melhor, pode participar de um estudo aprofundado AI para o jogo, mas essas empresas não têm o nível de chip capacidade de I & D, não podemos fornecer provedor de chip count NPU suficiente de produtos a montante do caso, apenas Reclamante e relutante em seguir.
Portanto, agora existem AI aprendizagem e desenvolvimento da máquina capacidades de empresas podem ser considerados como de segunda categoria, mas capacidades e plataforma para construir eco-business o chip de P & D é o topo. Na parte inferior da marca Huawei Kirin como uma base para o desenvolvimento e máquina Hiai meio como uma plataforma para apoiar o superior Mais produtos eletrônicos de consumo e aplicativos de software estão em contato direto com os usuários finais. Esse ecossistema é um ecossistema de IA saudável e sustentável. Para os consumidores, a IA baseada em aprendizado profundo é apenas uma caixa preta. Para entender como funciona e como funciona, aproveite os frutos de sua escalada, e o Huawei Unicorn é o herói dos bastidores, e seu trabalho árduo tornará nossa vida melhor no futuro.