Huawei mese scorso ha rilasciato la P20 Pro e P20, collocandosi tra i migliori il giorno della pubblicazione della fotocamera del cellulare DxOMark e il margine che porta non è 1 punto 2 punti, prima che il P20 Pro di alto Samsung Galaxy S9 più alti 10 punti, si può dire non un'epoca, ma uno o due in anticipo sui tempi. Naturalmente P20 Pro 1 / 1,73 pollici di specifiche CMOS è inevitabile che alcune persone bullo, ma il P20 CMOS 1 / 2,7 pollici rispetto al Galaxy S9 Inoltre, Pixel 2 è solo leggermente specifiche Alta, ma la sua qualità di imaging ha anche evidenti vantaggi. Da dove viene questo vantaggio?
Ci sono due modi per pensare al miglioramento della qualità della fotografia: uno è l'hardware della violenza, come l'uso di un'area più ampia e pixel più grandi di CMOS, che aumenta la stabilizzazione ottica dell'immagine meccanica e una maggiore apertura, e la seconda idea è la potenza morbida: E l'ottimizzazione.
La prima idea è un caso tipico è il Samsung Galaxy S9 Inoltre, prima del Galaxy S8 relativa Galaxy S7 telecamera base solo tempo di marcatura, mentre il Galaxy S9 più sperimentato l'uso del nuovo 1.4μm CMOS DRAM con una pila a tre strati, ma questo solo è un fattore secondario per migliorare le immagini dei fattori principali è il vero grande passo in avanti grandi componenti ottici balzo in avanti, Galaxy S9 più innovativa utilizza una grande apertura di F1.5. ma l'uso di una grande apertura come è tenuto a pagare un prezzo elevato, prima, più di F1.8 grande apertura di produzione è molto difficile, molto bassa resa, con conseguente alta produzione costa modulo telecamera, e la seconda apertura è troppo grande, in scene luminose renderà l'immagine è sovraesposta, GS9 anche fisicamente introdotto La modifica dell'iride per risolvere questo problema aumenta notevolmente la complessità dell'assemblaggio della telecamera e riduce l'affidabilità.
Un'altra idea è quella di ottimizzare gli algoritmi software, il caso tipico è quello del pixel 2, 12.2MP, pixel 1.4μm, le specifiche hardware di f / 1.8 singola telecamera non è molto esagerato, ma ancora in grado di sopraffare iPhone X e altro mostro hardware, un voto, grazie ad DeepLab-v3 + algoritmo. questo algoritmo è basato sulla profondità della rete di apprendimento naturale aI, l'analisi in tempo reale può essere effettuata sulla scena, che identifica il contenuto scena bersaglio, per l'ottimizzazione. HDR + e lavorazione scena, in una certa misura per evitare caso sovraesposizione si è verificato. DeepLab-v3 + algoritmo di acrobazia più portiere è una singola telecamera per raggiungere la profondità di campo per scattare foto attraverso l'algoritmo, tale funzionalità è implementata richiede un sacco di operazioni di codifica e decodifica, campionamento multiplo e la conversione, la quantità di calcolo è enorme. Google Pixel 2 per raggiungere questa caratteristica è anche un chip acceleratore appositamente sviluppato chiamato Pixel visiva core per eseguire l'elaborazione aritmetica, le prestazioni in virgola mobile chip di accelerazione FPU è cinque volte l'Apple A11 Bionic. Google cercherà anche imparziale DeepLab-v3 + algoritmo Open source, gratuito per il mondo da condividere.Certamente, Google ha anche i suoi calcoli, da un lato, può essere pienamente vantaggioso Libero e open source risorse per lo sviluppo della comunità di continuare a migliorare, d'altra parte il suo rivale prestazioni Qualcomm Xiaolong AI non è buono come 835/845 A11, e questo non deve correre algoritmo molto alte prestazioni, quindi non preoccupatevi di pensiero, altri singoli Esistono anche algoritmi che non hanno prestazioni sufficienti da implementare.
Confronto e analisi del campione P20
Ma su questo tema Google ha sbagliato i calcoli, Huawei Kirin 970 processore NPU costruito il piombo, può fornire prestazioni adeguate per ottenere lo stesso livello di prestazioni di qualità con questo algoritmo in base alla profondità di apprendimento, per migliorare le riprese in base alla profondità di apprendimento algoritmi di intelligenza artificiale è come migliorare la qualità delle prestazioni, diamo uno sguardo alla prova comparativa DxO (fonte confronto :. https://www.dxomark.com/huawei-p20-pro-camera-review-innovative-technologies - risultati eccezionali /, il confronto specifico dell'originale può essere visualizzato in questa pagina)
Bassa luminosità e antiriflesso
E 'stata una scena tipica di notte, Huawei P20 angolo Pro in basso a sinistra del soffitto per ripristinare il vero nero, mentre iPhone X e Pixel 2 sovraesposizione ovviamente, lampioni in basso a destra iPhone X e Pixel 2 significativa anche l'abbagliamento. P20 studio approfondito Pro effettuati dalla scena rilevamento, in gran parte per evitare la sovraesposizione accada. e l'angolo in alto a destra dei rami Huawei P20 Pro dettagli meglio, ma non troppo nitidezza porta impaziente di salire, si tratta di una vasta area di sensore ad alta sensibilità migliore + Il risultato dell'azione congiunta dell'algoritmo finale.
Zoom e stabilizzazione ottica dell'immagine
Sono stato abbastanza ingenuo pensare suola è la giustizia, anche se questo è solo il campo DSLR, ma nel settore mobile non è il caso. Prima di Sony / Meizu una volta con 1 / 2,7 pollici suola sensore, ma anche a causa della grande fine, il telefono non è possibile aggiungere spazio per la stabilizzazione ottica dell'immagine OIS, il risultato vale la candela, una volta ho pensato suola e la stabilizzazione ottica dell'immagine, come il pesce e non può avere entrambe le cose.
Huawei P20 Pro è l'introduzione innovativa della funzione AIS, in modo che possa tener conto delle grandi CMOS finali e stabilizzazione ottica dell'immagine. Probabilmente funziona inquadrando movimento per giudicare l'andamento della camera a mano attraverso tre, e poi nuovamente AI dopo il trattamento multi-frame stabile L'algoritmo esegue la stabilizzazione dell'immagine e completa compiti che una volta consideravo impossibili.
Scena ritratto
Esteri marchio telefoni cellulari ritratti e colpo di bellezza ha registrato un ritardo le marche nazionali, il motivo è la mancanza di attenzione, il paese è più urgente per il ritratto e il dolore bellezza punti, costringendo i produttori nazionali di telefonia mobile hanno più input in questo senso. Il Huawei pieno uso dei suoi vantaggi tecnologici, per il riconoscimento del volto in 3D da personaggi aI faccia algoritmi di apprendimento profonde, e il colore per ottimizzare e migliorare la pelle sopra prove P20 Pro ancora più roseo e in movimento. Perché i personaggi sono cambiamenti in tempo reale, la necessità di tempo reale L'immagine viene analizzata e confrontata con i risultati dell'apprendimento in profondità della rete neurale precedente per diventare informazioni sul viso 3D e quindi ottimizzata.La quantità di elaborazione in tempo reale è ancora molto grande.
Scena HDR
Questa scena è un ritratto, ma la retroilluminazione, la luminosità della scena fuori dalla finestra è troppo alto, la finestra di iPhone X di sovraesposizione grave, Pixel 2 sovraesposizione un migliore controllo, mentre il controllo P20 Pro è più perfetta, mentre il carattere interno né troppo scuro. Dal momento che la profondità L'accumulo di scene di apprendimento rende possibile eseguire giudizi di segmentazione su scene così complesse con grandi differenze di luce e ombra e impostare diverse strategie di esposizione.Le potenti prestazioni NPU di Unicorn 970 rendono questi processi ancora più potenti.
Doppio uso telecamera inizio è l'informazione secondaria profondità fotocamera ottenuto scena di un sensore di profondità, la profondità formata di campo per sintesi multi-frame e la modalità di post-elaborazione, ma l'algoritmo prima dell'età AI, per identificare distinguendo problemi di primo piano e di sfondo, in particolare È una vegetazione più complessa, il bordo è soggetto a difetti.
Profondità di campo e giudizio sui bordi
E sulla base di scena dopo lo studio approfondito di AI per determinare, a causa della grande quantità di dati accumulati in modo che la scena della macchina fotografica del giudizio in primo piano e lo sfondo è più preciso, più precisa porzione di bordo di segmentazione, ma non appare sopra non supporta dual-fotocamera AI impropria movimentazione bordo complessa Il problema
Nel complesso, Kirin NPU 970 a 19 categorie e più di 500 scene di machine learning formazione, come cani e gatti, cibo, la gente, Macro, Notte / testo, fiori, cielo blu, neve, spiaggia, ecc ha un sistema di ottimizzazione corrispondente . per realizzare questa funzione richiede un sacco di accumulazione di dati, ma anche grandi quantità di dati devono essere elaborati dalla rete neurale in tempo reale per scattare foto, quindi l'algoritmo per la potenza di calcolo e ha presentato una domanda molto elevata. Huawei P20 del vertice non è solo piantando DxOMark vantaggi radicate nel CMOS e componenti ottici, più buon algoritmo glassa sulla torta. all'eccellente algoritmo richiede una forte forza operatori di garantire 970 Kirin NPU contribuito.
In risposta alla domanda di apprendimento profondo dell'IA, Huawei è stata attivamente coinvolta nell'unità indipendente NPU all'inizio della ricerca e sviluppo Kirin 970.
Accennato in precedenza, immagine lavoro nucleo di elaborazione è identificare l'analisi della scena, questo lavoro ha due fasi. La prima fase è la formazione deve essere dato un gran numero di campioni analizzati da rete convoluzione neurale apprendimento convoluzionale Neural Network, il processo di formazione può essere nel dispositivo mobile a livello locale, ma può anche essere un server di grandi dimensioni per la nube a funzionare, ma il follow-up della nuova foto, l'analisi e il giudizio fondamentalmente può essere fatto solo a livello locale. anche se questo è solo un singolo nuova analisi del campione, ma anche bisogno di confrontare i dati prima e l'accumulo Sì, e questa analisi sono riassunti in risultati di apprendimento automatico. e questa rete neurale convoluzionale rete neurale convoluzione per elaborare un gran numero di processo decisionale ramo, che richiede un forte FP16 floating point potenza di elaborazione.
Qualcomm Xiaolong 845 cosiddetti 'NPU' è Hexagon 685, Hexagon 685 poco prima di Hexagon 682 piccolo cambiamento. A rigor di termini, questo può essere considerato solo DSP, piuttosto che l'unicorno 970 e A11 come NPU nel vero senso, ma semplicistico unità di elaborazione vettoriale, e la potenza di calcolo DSP inoltre possono essere occupati da altri compiti. Xiaolong 845 più complessi compiti di apprendimento macchina di intelligenza artificiale ancora bisogno di essere ancora CPU GPU per raggiungere, e questo prezzo è enorme.
Questo è TechInsights nucleo Kirin 970 grafico, possiamo vedere sotto A53 è un piccolo nucleo NPU area del chip, corrente SoC cellulare, solo Apple A11 e Kirin 970 ha un vero senso di NPU.
AI e l'apprendimento profondo non è solo un problema hardware, mossa processo AI è un sistema a più livelli proietta una combinazione di hardware e software. Lo strato superiore è il livello di applicazione, che è sotto l'API come strato di applicazione e livello hardware interfacce applicative interattive. Piattaforma Android è attualmente in AI API accelerata sono principalmente due: uno è di Google Android ufficiale AI Runtime, diretto Compute sotto simile di Windows, un buon software e la compatibilità hardware, è la norma del settore, l'altro è Huawei HiAI, si tratta di un'API unico unicorno simile. CUDA di NVIDIA, anche se ci sono restrizioni sull'hardware, ma più efficiente. nello strato API seguito da un sistema di gestione delle risorse eterogeneo HiAI, assegnare compiti allo strato sottostante hardware livello hardware sottostante può essere NPU, può anche essere una GPU, CPU, DSP, o anche ISP.
Ciò dimostra che l'AI non è necessariamente essere eseguita solo sulla NPU, l'altra CPU, GPU, DSP nulla può essere, ma in termini di prestazioni ed efficienza, ha una differenza fondamentale: prestazioni GPU è quattro volte la CPU, ma la CPU è NPU 25 volte a parte energia gap prestazioni assolute rispetto alla più evidente, NPU rispetto alla GPU e la CPU ha fino a 8 volte e la differenza di 50 volte, che si estendeva per i dispositivi mobili di potenza, si può affermare che esiste un gap di natura .
Kirin NPU 970 con l'identificazione in tempo reale delle merci, le prestazioni possono essere raggiunto 16GFlops potenza di calcolo, consumando solo un singolo 32NS di elaborazione, e la corrente di funzionamento di soli 300 mA, è molto verde rispetto a qualche centinaia di watt di termini di CPU e GPU.
AI dai test di performance, siamo in grado di vedere il Maestro Lu Qilin 970 relativi Xiao Long 845 sviluppo delle prestazioni della macchina evidenti vantaggi. Test Maestro Lu AI contiene InceptionV3, Resnet34, VGG16 3 progetti, tre sono tre diversi elementi di prova riconoscimento algoritmo erano 100 immagini per valutare le prestazioni attraverso il tempo. questi tre algoritmo di base è attualmente l'unica formazione della rete neurale mappa della conoscenza intelligenza artificiale dei tre algoritmi, molto rappresentativo, si può dire che l'attuale algoritmo di apprendimento profondità aI . tutti i tre algoritmi, InceptionV3 più dipendenti dalla CPU e GPU, piccoli unicorno 970 e 845 Xiaolong due gap piattaforma e Resnet34, VGG16 su algoritmi più avanzati che possono sfruttare i vantaggi prestazionali del NPU, così, ovviamente, Kirin 970 con i vantaggi prestazionali NPU nei prossimi due elementi di prova.
VGG16 particolare algoritmo, vedi comprendente strati 13 e 16 di convoluzione tre struttura di strato di tutta la catena è strati uniti, il NPU è adatto. Questa precisione di calcolo dell'algoritmo è FP16, FP32 e CPU vengono trasmessi, più accuratamente. Tuttavia, quando viene utilizzato per trattare FP16, solo una singola trasmissione, o un singolo processo FP16, così sarà un grave spreco di risorse. Pertanto, nella presente VGG16 calcolato FP16, FP16 ottimizzato NPU per un uso più efficiente può essere più pienamente risorse.
L'azienda ha anche soffia Xiao Long 660 prestazioni AI, ma Xiaolong 660 Hexagon 680 DSP ha il potere non FP16 di calcolo, è fare affidamento su AI contare? CPU o GPU? In effetti è possibile eseguire AI, non possiamo dare la colpa falso pubblicità, ma non ha un aspetto buone prestazioni e il consumo energetico.
Nell'era prima che l'IA, per migliorare la qualità della fotocamera per la soglia apparente, senza un progetto di R sottostante & S forza del marchio, solo disposti a spendere un paio di dollari per comprare un padre migliore per trovare un Sony CMOS, a sopportare duro con rendimenti più bassi grande apertura, applicare Qualcomm o versione pubblica di Samsung del provider algoritmo di lancio lancio, può anche fare un telefono con fotocamera. Tuttavia, dopo l'arrivo di aI, pensiero tradizionale non è più praticabile, al massimo, un semplice concorrenza in modo che il marchio non è il sottostante le capacità hardware di R & S può risparmiare un buon hardware, ma se c'è un algoritmo mancante sulla base di apprendimento intelligente profondità aI, potrebbe rendere il prodotto pienamente dietro l'idea. il divario tra i due scaglione è stato aperto, è stato seguito da golfo, portando infine aziende aI difficile tenere il passo Il livello
Sotto L'azienda dispone di algoritmo di R & S forza, anche se la situazione è leggermente migliore, in grado di partecipare a uno studio approfondito AI nel gioco, ma queste aziende non hanno la chip a livello di R & S capacità, non in grado di fornire sufficienti di chip NPU fornitore numero di prodotti a monte del caso, solo Lamentista e riluttante a seguire.
Così ora ci sono AI di apprendimento e sviluppo macchina capacità delle imprese può essere considerato come di seconda categoria, ma capacità e piattaforma per costruire eco-business di R & S di chip è il top. Nella parte inferiore del marchio Huawei Kirin come base per lo sviluppo e la macchina mezzo HiAI come piattaforma per sostenere la parte superiore più prodotti di elettronica di consumo e le applicazioni software con il contatto diretto con i clienti finali, tali ecosistemi è uno sviluppo sano e sostenibile di AI ecologia. per i consumatori, in base alla profondità di intelligenza artificiale solo una scatola nera di apprendimento, gli utenti non hanno bisogno Per capire come funziona e come funziona, goditi i frutti della sua morbidezza e Huawei Unicorn è l'eroe dietro le quinte: il suo duro lavoro migliorerà la nostra vita in futuro.