Huawei社は先月DxOMark携帯電話のカメラやリードマージンの発表の日に最高の間のランキングはトップサムスンギャラクシーS9プラス高10ポイント以上P20 Proの前に、それは言うことができる、1ポイント2ポイントではない、P20のプロとP20をリリースない時代、1つまたは回の2つの先行。CMOS仕様の1 / 1.73インチは、いくつかのいじめっ子の人々が、ギャラクシーS9プラスに比べて1 / 2.7インチCMOSのP20は、画素2はわずかに仕様であることは避けられないコースP20プロの高画質ですが、そのイメージング品質にも明らかな利点があります。この利点はどこからもたらされましたか？
強化写真の品質は、このような大きな画素はCMOS、機械的、光学的画像安定化、大口径を増加させる、より大きな面積の使用のような2つのアイデア、激しい戦いのハードウェアを有することであり、第二は、ソフトパワーの考えである：アルゴリズムそして最適化。
最初のアイデアは、この唯一のギャラクシーS9 Plusは、三層スタックを持つ新しい1.4μMCMOS DRAMの使用を開拓しながら、典型的なケースは、単に時間をマーキングギャラクシーS8相対ギャラクシーS7基本的なカメラの前にサムスンギャラクシーS9プラス、であるが、 Galaxy S9 Plusは画期的なF1.5アパーチャを採用していますが、このような大口径のアパーチャを使用するとコストが高くなります。まず、明るいシーンで、生産のF1.8大口径、高生産コストのカメラモジュールで得られた非常に困難で、非常に低い収率であり、そして第2の開口が大きすぎるよりも、画像がオーバーされるようになります、GS9も物理的に導入しますこの問題を解決するためにアイリスを変更すると、カメラアセンブリの複雑さが大幅に増加し、信頼性が低下します。
もう一つのアイデアは、ソフトウェア・アルゴリズムを最適化することで、典型的な場合は、そのピクセル2で、12.2MP、1.4μMピクセル、F / 1.8のハードウェア仕様、単一のカメラは、非常に誇張されないが、それでもiPhone Xとその他のハードウェアのモンスターを圧倒することができ、一票このDeepLab-V3 +アルゴリズムのおかげである。このアルゴリズムは、AI自然のネットワークを学習の深さに基づいており、リアルタイム分析が最適化の対象シーンの内容を、識別、現場に行うことができる。HDR +とシーン処理、ある程度露出オーバーのケースを避けるために、計算量が膨大である、複数のサンプリングと変換、符号化および復号化の操作の多くを必要とします。DeepLab-V3 +アルゴリズム最もポータースタントアルゴリズムを通じて写真を撮るために被写界深度を達成するために、単一のカメラで、このような機能が実装されて発生した。グーグル画素2は、達成するためにこの機能は、演算処理を実行するためにピクセルのVisualコアと呼ばれるも、特別に開発されたアクセラレータチップであり、加速チップFPU浮動小数点演算性能は5倍、アップルA11バイオニックです。Googleはまた公平にDeepLab-V3 +アルゴリズムを見ていきますオープンソース、世界と共有すること自由に。もちろん、Googleはまた、一方で、独自の小さな思考をしている、あなたはを最大限に活用することができます無料のオープンソースコミュニティの開発リソースを改善し続けるために、一方でライバルクアルコム小龍AIのパフォーマンスは、この必要性は非常に高いパフォーマンスのアルゴリズムを実行していない、そう考え、他人シングルを心配しないでください845分の835 A11ほど良好ではない、と実装するのに十分なパフォーマンスハードウェアを持たないアルゴリズムがあります。
P20サンプルの比較分析
Googleが誤算たこの問題について、Huawei社キリン970プロセッサNPUはリードを築いた。しかし、それは学習の深さに基づいて撮影を強化するために、学習の深さに基づいて、このアルゴリズムを用いて品質性能の同じレベルを達成するために十分な性能を提供することができますAIアルゴリズムは、パフォーマンスの質を高める方法である、の比較証拠にDxO（比較元:. https://www.dxomark.com/huawei-p20-pro-camera-review-innovative-technologiesを見てみましょう-outstanding-results /、オリジナルの特定の比較はこのページで見ることができます）
低照度および防眩
これは、iPhone Xと明らかに画素2オーバー、右下の街灯iPhone Xとも画素2の重要なグレア。P20 Proの深さの調査は、シーンによって行われている間、天井のHuawei社P20 Proの左下隅には、真の黒を復元するために、典型的な夜景でした起きてから露出オーバーを避けるために、かなりの程度までの検出、および枝華為P20 Proの詳細の右上より良いが、あまりにも多くの切れ味が上昇しせっかちつながりません、これは+優れた高感度センサの大面積であります後期アルゴリズムの共同アクションの結果。
ズームおよび光学式の画像安定化
私は、1 / 2.7インチセンサーのアウトソールと、だけでなく、原因の大終わりに一度ソニー/ Meizuの前に。電話これは単なるDSLRフィールドですが、アウトソールが正義だと思うのに十分なナイーブだったが、モバイル空間にそうではありませんあなたがろうそく結果は価値がある、OIS光学画像安定化のためのスペースを追加することはできません、私はかつて、このような魚として、アウトソールと光学画像安定化を考えたとの両方を持つことはできません。
それは、アカウントに大きなエンドCMOSと光学式手ブレ補正を取ることができるようにHuawei社のP20 Proは、AIS機能の革新的な導入である。それはおそらく、マルチフレームの安定により処理した後AIによって再び三を通じて手持ちカメラのトレンドを判断する動きをフレーミングすることで動作し、アルゴリズムは画像安定化を実行し、かつては達成できなかったと考えられるタスクを完了させます。
ポートレートシーン
肖像画や美しショットは国内ブランドに遅れをとってきた外国ブランドの携帯電話は、理由が注意の欠如である、国は、国内の携帯電話メーカーは、この点でより多くの入力を持って強制的に、肖像画や美容痛みのポイントのために、より緊急であるザAIキャラクターによって3次元顔認識のための技術的優位のHuawei社の完全使用は、深い学習アルゴリズムに直面し、そして色が最適化し、証明のP20 Proの上の皮膚を強化するためにも、より多くのバラ色と移動。文字は、リアルタイムの変化、リアルタイムの必要性があるので、画像は分析され、以前のニューラルネットワークの深い学習結果と比較され、3D顔面情報になり、最適化されます。リアルタイム処理の量はまだまだ大きくなります。
HDRシーン
内部文字でも暗すぎるしながら、P20 Proの制御は、より完璧である一方で、このシーンは肖像画ですが、窓の外のシーンのバックライト、輝度が高すぎる、深刻な露出オーバーの窓iPhone X、ピクセル2オーバー、より良い制御。深さはシーンはキリン970 NPU強力なパフォーマンスは、これらのプロセスがより容易になり、蓄積は、複雑なシーンの明るさのような大規模な違いを決定異なる露光戦略を設定分かれて学習できます。
デュアルユースのカメラ開始は、特に、深度センサでシーンを取得し、マルチフレーム合成及び後処理モードによって被写界深度を形成するが、AIの年齢前アルゴリズムで、区別前景と背景の問題を識別するためのサブカメラの奥行き情報でありますより複雑な植生は、エッジが欠陥になりやすいです。
被写界深度効果とエッジ判定
そして、AIの深さの調査が原因蓄積されたデータが大量に、決定する後のシーンに基づくので、前景と背景の判断のカメラのシーンは、より正確に、より正確なセグメンテーションエッジ部分ですが、デュアルカメラAI、不適切な取り扱い、複雑なエッジをサポートしていない上に表示されないこと問題。
全体的に、ネコやイヌ、食べ物、人々、マクロ、ナイト/テキスト、花、青い空、雪、ビーチ、などなどキリンNPU 970 19カテゴリと500の以上のシーン訓練機械学習は、対応する最適化スキームを持っています。この機能を実現するためには、データの蓄積の多くを必要とするだけでなく、大量のデータは、写真を撮るために、リアルタイムでニューラルネットワークによって処理される必要があり、そのパワーを計算するためのアルゴリズムと非常に高い需要を前方に置く。サミットのHuawei社のP20はちょうどDXOMarkを植えていませんCMOSと光学部品、ケーキの上のより良いアルゴリズムのアイシングに根ざし利点。優れたアルゴリズムは970キリンNPUが貢献保証するために強い力演算子が必要です。
Huaweiは、AIディープ学習の要求に応えて、Kirin 970 R＆Dの開始時にNPU独立部に参加することに積極的に取り組んできました。
前述した、画像処理コアジョブがシーン解析を識別することで、この作業は2つのステージを有している。第一段階は、訓練は畳み込みニューラルネットワークを学習する畳み込みニューラルネットワークにより解析多数のサンプルを与えられる必要があり、トレーニングプロセスとすることができますモバイルデバイス、ローカル、また、動作させるためのクラウドへの大規模なサーバーことができますが、新しい写真、解析および判断のフォローアップは、基本的にローカルでのみ行うことができます。これは、単一の新しいサンプルの分析ですが、だけでなく、前のデータを比較する必要があると蓄積はい、この分析は、機械学習成果に要約されている。そして、この畳み込みニューラルネットワーク畳み込みニューラルネットワークは、ポイント処理能力を浮動強いFP16を必要とする分岐決定プロセスの多数を、処理します。
クアルコム小龍845いわゆる「NPUはちょうどヘキサゴン682の小さな変更前の六角685、六角形685である。厳密に言えば、これはのみではなく、真の意味でのNPUとしてユニコーン970およびA11よりも、DSPと考えられるが、単純化することができますベクトル処理ユニット、およびDSP演算能力は、他のタスクによって占有することができる。小龍は845の、より複雑なAI機械学習タスクがまだ達成するためにも、GPUのCPUである必要があり、この価格は膨大です。
これはTechInsightsコアキリン970チャートであり、我々はA53の下には、小さなコアNPUチップ面積、現在のモバイルのSoCで見ることができる、唯一のアップルA11とキリン970は、NPUの本当の意味を持っています。
AIと深い学習は単にハードウェアの問題ではなく、AIプロセスを移動するマルチレベルシステムは、ハードウェアとソフトウェアの組み合わせを投影である。トップ層は、アプリケーション層とハードウェア層対話型アプリケーションインタフェースとしてAPIの下にあるアプリケーション層である。Androidプラットフォームは、AIに現在あります加速APIは主に二つある。一つは同様のWindowsでGoogleの公式のAndroid AIランタイム、直接計算で、良いソフトウェアとハードウェアの互換性、業界標準であり、他はHuawei社秘、これは同様のユニコーンユニークなAPIです。 NVIDIAのCUDAは、ものの、ハードウェア上の制限があるが、より効率的。秘異種リソース管理システムに続いAPI層で、NPUかもしれ下の基盤となるハードウェア層ハードウェア層にタスクを割り当てる、またGPUすることができ、 CPU、DSP、あるいはISP。
これは、AIは必ずしも唯一のNPU、他のCPU、GPU上で実行されていないことを示して、DSPの何もすることはできませんが、パフォーマンスと効率性の面で、根本的な違いがあります：GPU性能は4倍のCPUですが、CPUはNPU 25ですGPUとCPUと比較して離れてより明白よりも絶対性能ギャップエネルギーから回、NPUは8倍および電力モバイルデバイスのための延伸50倍差まで有し、自然のギャップがあると言えます。
商品のリアルタイムの識別とキリンNPU 970、性能、電力を計算16GFlopsを達成することができるが、単一の処理32ns、およびのみ300ミリアンペアの動作電流を消費し、それは、CPUとGPUの用語のワット数百に比べて非常に緑です。
パフォーマンステストからAI、我々は970の相対小龍845開発マシンのパフォーマンス明白な利点マスター呂麒麟を見ることができます。マスター呂AIテストはInceptionV3、Resnet34、VGG16 3つのプロジェクトが含まれている、3は、3つの異なる試験項目です認識アルゴリズムは、時間のかかる通じ性能を評価するために100枚の画像だった。これら三つの基本的なアルゴリズムは、現在3つのアルゴリズムの唯一のトレーニングニューラルネットワーク、人工知能の知識マップで、非常代表、現在のAI深学習アルゴリズムと言うことができます。すべての3つのアルゴリズム、InceptionV3 CPUとGPUへの依存度、少しユニコーン970と845小龍2プラットフォームのギャップ;およびResnet34、VGG16 NPUのパフォーマンス上の利点を活用することができ、より高度なアルゴリズムで、だから、明らかに次の2つのテスト項目を超えるNPUの性能の利点を持つキリン970。
VGG16特定のアルゴリズム、より正確に、層13及び接合層は、NPUが適切である。このアルゴリズムのこの計算精度がFP16、FP32及びCPUが送信されているされているチェーン全体の畳み込み3層構造16を含む参照。 、FP16を治療するための唯一の単一の送信、または単一FP16プロセスなので、リソースのだろう深刻な廃棄物を使用する場合。したがって、ベースFP16計算このVGG16でのために、FP16は、より効率的に使用するためにNPUを最適化しかし、より完全にすることができ資源。
同社はさらに小龍660 AIのパフォーマンスを吹いていますが、小龍660ヘキサゴン680 DSPは、コンピューティングパワーをFP16なかった、それは？CPUやGPUをカウントするAIに依存するのですか？確かにそれはAIを実行することができ、我々は偽、それを責めることはできません宣伝、それは優れた性能と消費電力を見ていません。
AIの前の時代では、より低い収率大口径にハード耐えるために、ソニーCMOSを見つけるために、より良い父親を買うために数ドルを費やすことだけ喜んで、ブランドの根底にあるR＆Dの強さなしで明白なしきい値のカメラの品質を向上させるために、 ISPアルゴリズム投げ投げのクアルコムやサムスンの公開バージョンを適用していない、また、良好なカメラ付き携帯電話を作ることができます。ただし、AIの到着後、伝統的な考え方が最大で、もはや実現可能である、単純な競合ブランドは、基盤となるハードウェアのR＆Dにならないような機能をすることができます優れたハードウェアを保存しますが、インテリジェントAIの深さの学習をもとに不足しているアルゴリズムが存在する場合、アイデアの後ろに完全に製品を作ることができます。2段の階段の間のギャップを開いた、それが最終的に追いつくのは難しいAIの大手企業、湾が続きましたレベル。
会社の下にR＆D強度のアルゴリズムを持っている状況は少し良いですが、ゲームにAIの深さ研究に参加することができますが、これらの企業は、チップレベルのR＆D機能を持たない、我々は、例上流製品の十分なNPUチップカウントプロバイダを提供することはできません不平を言って従うことを嫌う。
だから、今は二流とみなすことができる企業のAI機械学習と開発能力がありますが、チップのR＆D機能やエコビジネスを構築するためのプラットフォームがトップです。アッパーをサポートするためのプラットフォームとして開発するための基礎と中間秘機などのHuawei社キリンブランドの下部にこのようなエコシステムは、健康で持続可能なAIエコシステムです。消費者にとって、深い学習に基づくAIはブラックボックスに過ぎません。そして、それが動作する方法を理解するために、あなただけの彼らの光栄の成果を享受することができます。Huawei社キリンはこれが陰の英雄を光栄です、彼女は私たちの生活をより良い場所後に懸命に働くようになります。