視聴される動画のほぼすべてが、すでにニューラルネットワークの手を経ている。ただしそれは標準コーデックの両端においてであり、コーデックの代わりとしてではない。2026年にニューラル符号化がどこで実用化され、シリコンにどれだけのコストを課し、誰が収益を得ているのかを、完全版レポートとスライドとともに紹介する。
要旨
2026年、ニューラル符号化はすでに主流だが、標準コーデックを置き換えるのではなく、その前後で働いている。ネットワークは符号化の前に映像を整え（スマートフォンのカメラやNetflixの符号化パイプライン）、復号の後に映像を修復する（YouTubeのSuper Resolution、Meta、テレビのプロセッサー）。その間のビットストリームは今もAV1、HEVC、AVC、VVCで、固定機能ハードウェアが復号する。エンドツーエンドのニューラルコーデックが実用化されているのは、一社が両端を握る閉じた系だけである。Teams通話でのMicrosoftのMLVC、あらゆる音声・動画モデルの内部にあるトークナイザー、そしてゲーム1作のニューラルテクスチャがそれにあたる。ニューラルビットストリームの一般向け再生は、2029年末に完成予定のH.267と、その後のチップ開発サイクルを待たねばならない。理由はチップにある。唯一公開されているニューラル映像デコーダーの設計は、実測されたHEVCデコーダーの約12倍のエネルギーを画素あたりに要し、高速な研究用コーデックは1080p30で約22 TOPSを必要とする。お金は標準とプラットフォームに流れ、最もよく知られたニューラルコーデックのスタートアップは買収された。
なぜこれを調べたか
数カ月おきに、AIコーデックがもうすぐH.264、HEVC、AV1を置き換えると誰かに言われる。この話題について私が目にするものの大半は、圧縮性能の記録が並ぶ研究論文か、ベンダーから出てくる。どちらも、実際に何が、誰に向けて、どれだけのコストで実用化されているのかについては、ほとんど語らない。
私はファブレス半導体の研究開発とマネジメントに長年携わり、フルカスタムASICのデータパス設計や、映像コーデックアクセラレーターをはじめとするマルチメディア・カメラチップのプロジェクトを手がけてきた。そこで、チップをレビューするのと同じ観点でこの問題を見た。画素あたりのエネルギー、メモリトラフィック、標準がシリコンに何を固定することを許すか、そして誰が支払うかである。JVET、MPEG、JPEG、AOMedia、IETFの標準文書と会合報告、企業のエンジニアリングブログ、チップの論文、パテントプールの料率表、輸出管理の条文、報道を読んだ。以下の数値はすべて2026年11月12日時点のもので、金額は米ドルである。すべての出典を収めた完全版レポートは末尾にある。
調査結果の要点
図1 2026年、ニューラル符号化はどこで実用化されているか。行は各領域が届く人数の多い順に並べた。
| 問い | 短い答え |
|---|---|
| ニューラル符号化はどこで大規模に実用化されているか？ | コーデックの前後：カメラのISP、符号化側のダウンスケール、再生側の超解像。エンドツーエンドは閉じた系だけ：通話、ゲームのアセット、生成AIのトークナイザー |
| ニューラルコーデックは再生でAV1、HEVC、VVCを置き換えるか？ | H.267（第1版は2029年末）と、その後のデバイスの更新サイクルを経るまでは置き換えない。私の推定では、主流化は2030年代半ば |
| シリコンでのコストは？ | 画素あたりのエネルギーはハードウェアHEVCデコーダーの約12倍。さらにメモリトラフィックと、ビット単位で一致する復号という要件が加わる |
| 誰が収益を得るか？ | プラットフォームは節約分を手元に残す。IPベンダーとパテントプールは設計ごと、デバイスごとに対価を得る。ニューラルコーデックのスタートアップは買収された |
| 企業はどこで勝負できるか？ | ニューラルな前処理と後処理、閉じた系の製品、コーデックとNPUを組み合わせたシリコン、そしてその間にある評価と標準化の仕事 |
三つの経路
「ニューラル符号化」という言葉は三つの異なるものを指しており、これをめぐる議論の多くは、それらを混同することから生じている。ネットワークは標準コーデックの前後で働くことができる。ビットストリームは標準のまま、符号化の前や復号の後で画素を処理する。標準の内部に入ることもできる。すべてのデコーダーが実行しなければならないツールになるということであり、厳密に仕様化する必要がある。あるいは、対でしか機能しない学習型のエンコーダーとデコーダーによって、コーデックをエンドツーエンドで置き換えることもできる。
図2 ニューラルネットワークがコーデックに入る三つの経路。2026年に実用化されているものの大半は一つ目である。
一つ目は誰の許可も要らない。二つ目には標準が要る。三つ目には両端を握ることが要る。人々に届く順番も、このとおりである。
再生とストリーミング：両端はニューラル、中間は標準
大手サービスはコーデックの移行を一つ終え、次の移行を始めているが、どちらにもニューラルデコーダーは関わっていない。Netflixは2025年12月、視聴の約30%をAV1が担っていると報告した。YouTubeは、視聴時間で重み付けしたカタログの90%以上がAV1で視聴できるとしている。AV2は2026年5月28日に完成し、圧縮効率はAV1より約30%高い。3週間以内に、Chips&Media、Allegro DVT、VeriSiliconがAV2デコーダーの顧客を発表した。ブラジルのTV 3.0は、2026年6月にVVCによる商用放送を始めた。
ニューラルの部分は両端にある。Netflixは2022年から、マスター映像のダウンスケールに従来のフィルターではなく小さなニューラルネットワークを使っている。どのデバイスにも変更は要らず、Netflixのテストでは視聴者の約77%がこちらを好んだ。YouTubeは1080p未満でアップロードされた動画をテレビ上で機械学習によってアップスケールし、Metaはサーバーとスマートフォンで超解像を動かし、Samsungのフラッグシップテレビ用プロセッサーは768のアップスケール用ネットワークをうたう。
存在しないのは、一般の画面で再生されるニューラルビットストリームであり、その理由は時間である。再生フォーマットは、それを再生しうるすべてのデバイスで復号できなければならない。AV1は、仕様の完成からNetflix視聴の30%に達するまで8年近くかかった。
図3 標準の完成から一般の画面に届くまで、10年の大半を要する。
ニューラルツールをあらゆる画面に届けうる標準は、VVCの後継の仮称であるH.267である。JVETは2026年7月に提案募集を発行した。応募提案は2027年1月に評価され、第1版は2029年末に完成予定である。従来型の路線はすでにVVC比で約28%を削減しており、JVETのニューラルループ内フィルターは、デコーダーで画素あたり1万MAC以上のコストをかけて6–14%を削減する。私は、H.267が、従来型のコアに、削減できるビットがコストに見合う少数のニューラルツールを加えたものになると予想している。
写真：カメラの中はニューラル、ウェブは従来型
最近のフラッグシップスマートフォンで撮った写真は、保存される前にすべてニューラルネットワークを通っている。QualcommのCognitive ISPは2023年からリアルタイムのセマンティックセグメンテーションを実行しており、CES 2026ではChips&MediaとVisionary.aiが、すべてをNPU上で動かす完全なISPを披露した。そのうえで、結果はJPEGやHEIFで保存される。
初の学習型画像標準であるJPEG AIは2025年に発行された。デコーダーのコストは画素あたり7000から21万6000 MACで、VVCのイントラ符号化に対して12.5–27.9%の改善を示す。私が調べた限り、これをデフォルトで使うカメラ、ギャラリーアプリ、ブラウザーはない。2026年にウェブが採用したフォーマットは従来型である。Chrome 155は10月6日にJPEG XLを有効にした。デコーダーは高速かつメモリ安全で、どのCPUでも動く。ニューラル符号化が勝つのは一社のパイプラインの内部であり、どこでも開ける必要があるフォーマットは従来型のままである。
通話：エンドツーエンドのニューラルコーデックが実用化される場
通話は閉じた系である。両端で同じアプリが動き、通話の途中でも標準コーデックにフォールバックできる。大規模に使われる最初のエンドツーエンドのニューラルコーデックが通話にあるのは、そのためである。MicrosoftのAI音声コーデックSatinは、2021年からTeamsとSkypeのすべての二者間通話で使われている。2026年7月、Microsoftはニューラル映像コーデックMLVCをオープンソース化した。MLVCは現在、Teamsのピアツーピア通話で展開が進んでいる。
図4 通話では、ニューラルコーデックがハードウェアHEVC比でビットレートを65–76%削減する（Microsoft自身のテストセット）。
見出しの88%はH.264との比較である。同じノートPCにすでに載っているハードウェアHEVCと比べると65–76%で、それでも大きい。MLVCは540pと360pで、NPUの半分以下を使って動作する。また、Microsoftが所有しないハードウェアでも同一の復号結果を得るために、圧縮率をいくらか犠牲にした。
誰もがこの道を選んだわけではない。Opusは2024年、深層学習をオプションの後方互換な追加機能として取り入れた。Metaが従来型の音声コーデックMLowを開発したのは、同社の通話の20%以上が古いARMv7のスマートフォンで行われ、WhatsAppでは毎日数千万件の通話が10年以上前のスマートフォンで行われているからである。ニューラルコーデックが最初に実用化されるのは、デバイスが新しく、一つのベンダーが両端を握る場所である。
生成AI：誰もコーデックと呼ばない最大の導入例
あらゆる音声・動画モデルは、学習型コーデックの上で動いている。音声モデルは、KyutaiのMimiのようなニューラル音声コーデックのトークンを、毎秒12.5フレーム、1.1 kbpsで読み書きする。動画生成モデルは、LTX-Videoのような動画オートエンコーダーの潜在空間で動作し、その圧縮率は1:192である。いずれも他者が復号するフォーマットではないが、一社がエンコーダー、デコーダー、ハードウェアを所有していれば、学習型圧縮が大規模に機能することを証明している。生成動画を提供する事業者にとって、トークナイザーの効率は直接のコスト項目である。
ゲーム：ニューラル再構成は主流に、ニューラルアセットは始まったばかり
NVIDIAのDLSSは、描画する画素とフレームを減らし、残りをネットワークに再構成させる。ニューラルテクスチャ圧縮はAssassin's Creed Mirageに搭載されたが、実行時のコストのため、一部のアセットにしか使われていない。
図5 一社が技術スタック全体を握ると、ニューラル再構成は急速に普及する。
衛星、ドローン、ロボットの通信リンクは、技術的にはエンドツーエンドのニューラルコーデックに最も適しているが、市場は小さく、双方で輸出管理が強まっている。2026年11月18日からの中国のドローン輸出規則は、セマンティック画像圧縮を基準値として名指ししているほどである。
シリコンの視点
ここは、私自身の経歴が最も生きる部分である。チップ設計チームは、新しいコーデックについて四つの問いを立てる。画素あたりのジュール数、画素あたりのDRAMトラフィック、ゲート数、そして世界中のすべてのデコーダーがまったく同じビットを計算するかどうかである。四つのいずれにおいても、2026年のニューラルデコーダーは、最初のチップが出る前のハードウェアHEVCと同じ段階にある。
図6 復号画素あたりのエネルギー：固定機能デコーダーがひと桁優位。
唯一公開されているニューラル映像デコーダーのチップ設計NVCAは、画素あたり14.6 nJを要する。MITのHEVCデコーダーチップは、DRAM込みで1.19 nJ、コアだけなら0.31 nJである。1080p30に換算すると、およそ900 mW対74 mWになる。Microsoftの高速な研究用コーデックDCVC-RTは、論文自身のモジュール別の表を私が合計すると、復号画素あたり約17万5000 MAC、1080p30で約22 TOPSを要する。AI PCの定義である40 TOPSの半分を、ストリーム1本に費やすことになる。
図7 ニューラルツールは画素あたり数万MAC、ニューラルデコーダー全体では数十万MAC。
さらに二つのコストが重要である。一つはメモリである。MITのチップではシステムのエネルギーの約4分の3がDRAMに費やされ、ニューラルデコーダーはフレーム間で大きな特徴マップを持ち回る。もう一つは厳密性である。二つのデバイスが確率を異なる値で計算すると、エントロピー復号は破綻する。本格的なニューラルコーデックがいまやすべて整数演算を使い、MLVCが圧縮率と引き換えに同一の復号結果を得ているのは、そのためである。
図8 実用化されている分担：ビットストリームは固定機能ハードウェア、画素はニューラルエンジン。
売れているシリコンは、両者を組み合わせている。Tencentは自社開発のCanghaiコーデックチップを10万個以上稼働させており、第2世代はH.266とオンチップ超解像を加える。IPベンダーは、コーデックブロックと映像向けNPUを並べて販売している。私がいまメディアSoCを企画するなら、次のようにする。再生が必須のすべての標準（AV2を含む）に固定機能デコーダーを載せる。DRAMを余分に経由せずに表示解像度で画質改善ができる規模のNPUを用意する。決定論的な整数モードを備える。そして、H.267は2029年以降の設計開始とする。
誰が収益を得るか、企業はどこで勝負できるか
図9 お金は標準とプラットフォームに流れる。
プラットフォームは節約分を手元に残し、MicrosoftがMLVCでそうしたように、ときにはコードを無償で公開する。IPベンダーは、新しい標準ごとにデコーダーをライセンスする。パテントプールはデバイスごとに徴収する。VVCの場合、米国などRegion 1の市場で、スマートフォン1台あたり0.50ドル、4Kテレビ1台あたり1.00–1.50ドルである。WaveOneはAppleに、iSIZEはソニーに、Deep RenderはInterDigitalに買収された。エンドツーエンドのニューラル映像コーデックのライセンスで成り立っている独立企業は、私が調べた限り見当たらなかった。
企業にとって開かれている事業機会は、動画サービス向けのニューラル前処理、チップメーカー向けの表示側の画質改善、会議や専用回線向けの閉じた系のニューラルコーデック、コーデックとNPUを組み合わせたシリコン、そしてニューラルツールを出荷するすべての企業が必要とする評価・適合性検証ツールである。H.267の標準化作業には、忍耐とライセンス戦略が要る。
割り引いて聞くべき主張と、注目すべき節目
ニューラルコーデックに関する主張には、四つのことを確かめるとよい。比較の基準、指標、解像度、復号コストである。「88%削減」は、360pでのH.264比である。「ビデオメモリ85–96%削減」はデモシーンでの数字で、発売済みのゲームでは30%にとどまる。「JPEG AIは標準である」という主張には、まだ製品の裏付けがない。
注目すべき節目は、2027年1月のH.267の評価、2027年初めのYouTube初のAV2配信、2027年後半のH.267の最初のテストモデル、MLVCがTeams以外に広がるかどうか、JPEG AIをデフォルトで使う最初の製品、そしてスマートフォンとPCのNPUの演算能力である。2029年末のH.267第1版が、一般向けの再生におけるニューラルツールのチップ開発サイクルの始まりとなる。
完全版レポートとスライドのダウンロード
完全版レポートでは、各領域をより詳しく扱い、シリコンの試算、標準と特許、主張と根拠の対照表、すべての出典を収めている。
本書は英語版の翻訳であり、両者に相違がある場合は英語版が優先する。
未解決の問い
ここで挙げる問いのいくつかには、まだ公開された答えがない。そして、それこそが私が技術的に最も興味を引かれる問いである。ニューラルデコーダーは、圧縮性能の優位を失う前に、ベンダーの異なるNPU間でビット単位で一致する整数演算にどこまで近づけるか。ニューラル後処理は、画素あたりどれだけのDRAMトラフィックを要するか。H.267デコーダーにおいて、ニューラルツールは画素あたりどれだけのコストで元が取れなくなるか。通話以外のどの閉じた系が、最初にエンドツーエンドのニューラルコーデックを採用できるか。そして、デコーダーが細部を再構成するのではなく生成する場合、忠実度をどう測るか。
これらは、技術交流と技術協力を通じて、今後数年にわたりともに探究していける領域である（i@tanshuai.com）。
著者について
タン・シュアイは、チップ、ハードウェア、システムソフトウェアにわたって20年以上の経験を持つテクノロジストであり創業者で、取得した特許は20件にのぼる。ファブレス半導体の研究開発とマネジメントに長年携わり、フルカスタムASICのデータパス設計や、映像コーデックアクセラレーターをはじめとするマルチメディア・カメラチップのプロジェクトを手がけてきた。活動の場は、シリコンバレー、ニューヨーク、シカゴ、台湾、グレーターベイエリア（深圳と香港）、ベトナム、マレーシアに及ぶ。現在はAI研究開発者として活動している。
技術的な議論：i@tanshuai.com