Neurale netwerken geven al vorm aan bijna elke video die je bekijkt, maar aan beide kanten van een standaardcodec, niet in plaats ervan. Hier lees je waar neurale codering in 2026 wordt ingezet, wat het kost in silicium en wie eraan verdient, met het volledige rapport en de slides.
Samenvatting
Neurale codering is in 2026 al gemeengoed, maar werkt rond standaardcodecs in plaats van ze te vervangen. Netwerken geven het beeld vorm vóór het coderen, in telefooncamera's en in de coderingspijplijn van Netflix, en herstellen het na het decoderen, in YouTube Super Resolution, bij Meta en in tv-processors; de bitstream daartussen is nog altijd AV1, HEVC, AVC of VVC, gedecodeerd door fixed-function hardware. End-to-end neurale codecs worden alleen ingezet in gesloten ketens waarin één bedrijf beide kanten beheerst: MLVC van Microsoft in Teams-gesprekken, de tokenizers in elk spraak- en videomodel, neurale textures in één game. Afspelen van neurale bitstreams op massaschaal wacht op H.267, dat eind 2029 wordt verwacht, en op een siliciumcyclus daarna. De reden zit in de chip: het enige gepubliceerde ontwerp van een neurale videodecoder heeft per pixel ongeveer 12 keer zoveel energie nodig als een gemeten HEVC-decoder, en een snelle onderzoekscodec vraagt zo'n 22 TOPS voor 1080p30. Het geld volgt de standaarden en de platforms; de bekendste startups in neurale codecs zijn overgenomen.
Waarom ik hiernaar heb gekeken
Om de paar maanden vertelt iemand me dat AI-codecs op het punt staan H.264, HEVC en AV1 te vervangen. Het meeste wat ik daarover lees, komt uit onderzoekspapers, waar de compressierecords staan, of van leveranciers. Geen van beide zegt veel over wat er werkelijk wordt ingezet, bij wie, en tegen welke kosten.
Ik heb vele jaren R&D en management voor fabless chips achter de rug, waaronder full-custom ontwerp van ASIC-datapaden en multimediaprojecten voor camerachips, zoals videocodecversnellers, dus ik heb ernaar gekeken zoals ik een chip zou beoordelen: energie per pixel, geheugenverkeer, wat een standaard je in silicium laat vastleggen, en wie betaalt. Ik las standaardisatiedocumenten en vergaderverslagen van JVET, MPEG, JPEG, AOMedia en de IETF, technische blogs van bedrijven, chippapers, tarievenlijsten van patentpools, teksten over exportcontrole en de pers. Alle cijfers hieronder gelden per 12 november 2026, en bedragen zijn in Amerikaanse dollars. Het volledige rapport, met alle bronnen, staat onderaan.
De resultaten in één oogopslag
Figuur 1. Waar neurale codering in 2026 wordt ingezet. De rijen zijn geordend naar het aantal mensen dat elk domein bereikt.
| Vraag | Kort antwoord |
|---|---|
| Waar wordt neurale codering op grote schaal ingezet? | Rond de codec: camera-ISP's, downscaling aan de encoderkant, superresolutie bij het afspelen. End-to-end alleen in gesloten ketens: gesprekken, game-assets, tokenizers voor generatieve AI |
| Gaan neurale codecs AV1, HEVC en VVC vervangen bij het afspelen? | Niet vóór H.267 (versie 1 eind 2029) en een apparaatcyclus daarna; breed gebruik halverwege de jaren 2030, naar mijn schatting |
| Wat kost het in silicium? | Ongeveer 12 keer de energie per pixel van een HEVC-hardwaredecoder, plus geheugenverkeer en de eis van bitexacte decodering |
| Wie verdient eraan? | Platforms houden de besparingen zelf; IP-leveranciers en patentpools worden per ontwerp en per apparaat betaald; startups in neurale codecs zijn overgenomen |
| Waar kan een bedrijf meedoen? | Neurale voor- en nabewerking, producten voor gesloten ketens, silicium met codec plus NPU, en het evaluatie- en standaardisatiewerk daartussen |
Drie wegen naar binnen
“Neurale codering” omvat drie verschillende dingen, en de meeste discussies erover ontstaan doordat ze door elkaar worden gehaald. Een netwerk kan rond een standaardcodec werken: het bewerkt pixels vóór het coderen of na het decoderen, terwijl de bitstream standaard blijft. Het kan binnen een standaard zitten, als tool die elke decoder moet uitvoeren, en dan moet het exact gespecificeerd zijn. Of het kan de codec end-to-end vervangen, met een getrainde encoder en decoder die alleen als paar werken.
Figuur 2. Drie manieren waarop een neuraal netwerk een codec binnenkomt. Het meeste wat in 2026 wordt ingezet, valt onder de eerste.
De eerste heeft niemands toestemming nodig. De tweede heeft een standaard nodig. De derde vereist controle over beide kanten. In die volgorde bereiken ze mensen.
Afspelen en streaming: neuraal aan beide kanten, standaard in het midden
De grote diensten hebben één codecovergang afgerond en beginnen aan de volgende, en bij geen van beide komt een neurale decoder kijken. Netflix meldde in december 2025 dat AV1 ongeveer 30% van zijn kijktijd voor zijn rekening nam; YouTube zegt dat meer dan 90% van zijn catalogus, gewogen naar kijktijd, in AV1 beschikbaar is. AV2 was op 28 mei 2026 klaar, met ongeveer 30% betere compressie dan AV1, en binnen drie weken hadden Chips&Media, Allegro DVT en VeriSilicon klanten voor AV2-decoders aangekondigd. TV 3.0 in Brazilië begon in juni 2026 met commerciële VVC-uitzendingen.
Het neurale deel zit aan beide kanten. Sinds 2022 gebruikt Netflix een klein neuraal netwerk in plaats van een conventioneel filter om zijn masters te verkleinen; dat vergt geen enkele wijziging aan apparaten, en in tests van Netflix gaf ongeveer 77% van de kijkers er de voorkeur aan. YouTube schaalt video's die onder 1080p zijn geüpload met machine learning op voor tv's, Meta past superresolutie toe op zijn servers en op telefoons, en Samsung prijst zijn vlaggenschipprocessor voor tv's aan met 768 upscalingnetwerken.
Wat niet bestaat, is een neurale bitstream op gangbare schermen, en de reden is tijd. Een afspeelformaat moet decoderen op elk apparaat dat het ooit zal afspelen. AV1 had bijna acht jaar nodig van voltooide specificatie tot 30% van de kijktijd bij Netflix.
Figuur 3. Van voltooide standaard tot gangbare schermen: het grootste deel van een decennium.
De standaard die neurale tools naar elk scherm zou kunnen brengen, is H.267, de werknaam voor de opvolger van VVC. JVET bracht in juli 2026 zijn oproep tot voorstellen uit; de inzendingen worden in januari 2027 beoordeeld en de eerste versie wordt eind 2029 verwacht. Het klassieke spoor bespaart al ongeveer 28% ten opzichte van VVC, terwijl de neurale in-loopfilters van JVET 6–14% besparen bij decoderkosten van 10 duizend MAC's per pixel en meer. Ik verwacht een klassieke kern met enkele neurale tools waar de bespaarde bits de kosten rechtvaardigen.
Fotografie: neuraal in de camera, klassiek op het web
Elke foto van een recente vlaggenschiptelefoon is door neurale netwerken gegaan voordat hij wordt opgeslagen. De Cognitive ISP van Qualcomm voert sinds 2023 realtime semantische segmentatie uit, en op CES 2026 toonden Chips&Media en Visionary.ai een volledige ISP die helemaal op een NPU draait. Daarna wordt het resultaat opgeslagen als JPEG of HEIF.
JPEG AI, de eerste beeldstandaard op basis van getrainde netwerken, verscheen in 2025, met een winst van 12,5–27,9% ten opzichte van VVC-intracodering bij decoderkosten van 7 tot 216 duizend MAC's per pixel. Ik vond geen camera, galerij-app of browser die het standaard gebruikt. Het formaat dat het web in 2026 omarmde, is klassiek: Chrome 155 schakelde JPEG XL op 6 oktober in, met een snelle, geheugenveilige decoder die op elke CPU draait. Neurale codering wint binnen de pijplijn van één bedrijf; formaten die overal moeten openen, blijven klassiek.
Bellen: waar end-to-end neurale codecs worden ingezet
Gesprekken zijn een gesloten keten: beide kanten draaien dezelfde app en kunnen midden in een gesprek terugvallen op een standaardcodec. Daarom vind je daar de eerste end-to-end neurale codecs op grote schaal. Satin, de AI-spraakcodec van Microsoft, draait sinds 2021 in alle Teams- en Skype-gesprekken tussen twee deelnemers. In juli 2026 maakte Microsoft MLVC open source, een neurale videocodec die nu wordt uitgerold in peer-to-peer-gesprekken in Teams.
Figuur 4. In gesprekken verslaat een neurale codec hardware-HEVC met 65–76%, op Microsofts eigen testset.
Het kopcijfer van 88% geldt tegenover H.264; tegenover de hardware-HEVC die al in dezelfde laptops zit, is het 65–76%, nog altijd veel. MLVC draait op 540p en 360p en gebruikt daarbij hooguit de helft van de NPU, en het leverde wat compressie in om identiek te decoderen op hardware die niet van Microsoft is.
Niet iedereen koos deze route. Opus voegde in 2024 deep learning toe als optionele, achterwaarts compatibele extra's. Meta bouwde MLow, een klassieke spraakcodec, omdat meer dan 20% van zijn gesprekken via oude ARMv7-telefoons loopt en dagelijks tientallen miljoenen WhatsApp-gesprekken via telefoons van meer dan tien jaar oud. Neurale codecs worden het eerst ingezet waar de apparaten nieuw zijn en één leverancier beide kanten beheerst.
Generatieve AI: de grootste toepassing die niemand een codec noemt
Elk spraak- en videomodel draait op een getrainde codec. Spraakmodellen lezen en schrijven de tokens van neurale audiocodecs zoals Mimi van Kyutai, met 12,5 frames per seconde en 1,1 kbps. Videogeneratoren werken in de latente ruimte van video-autoencoders zoals die van LTX-Video, die 1:192 comprimeert. Geen daarvan is een formaat dat iemand anders decodeert, maar ze bewijzen dat neurale compressie op grote schaal werkt als één bedrijf de encoder, de decoder en de hardware bezit. Voor wie generatieve video aanbiedt, is de efficiëntie van de tokenizer een directe kostenpost.
Games: neurale reconstructie is gemeengoed, neurale assets komen op gang
DLSS van NVIDIA rendert minder pixels en frames en laat een netwerk de rest reconstrueren. Neurale texturecompressie verscheen in Assassin's Creed Mirage, alleen gebruikt voor geselecteerde assets vanwege de kosten tijdens runtime.
Figuur 5. Als één bedrijf de hele stack beheerst, verspreidt neurale reconstructie zich snel.
Verbindingen voor satellieten, drones en robots passen technisch het best bij end-to-end neurale codecs, maar ze vormen een kleine markt die aan beide kanten steeds meer onder exportcontrole valt: de Chinese exportregels voor drones die vanaf 18 november 2026 gelden, noemen zelfs semantische beeldcompressie als drempelwaarde.
De blik vanuit het silicium
Hier telt mijn eigen achtergrond het zwaarst. Een chipteam stelt over elke nieuwe codec vier vragen: joule per pixel, DRAM-verkeer per pixel, gates, en of elke decoder ter wereld precies dezelfde bits berekent. Op alle vier staat een neurale decoder in 2026 waar hardware-HEVC stond vóór de eerste chips.
Figuur 6. Energie per gedecodeerde pixel: fixed-function decoders liggen een ordegrootte voor.
Het enige gepubliceerde ontwerp van een neurale videodecoderchip, NVCA, heeft 14,6 nJ per pixel nodig; de HEVC-decoderchip van MIT heeft 1,19 nodig met DRAM en 0,31 voor de kern. Bij 1080p30 is dat zo'n 900 mW tegenover 74 mW. De snelle onderzoekscodec DCVC-RT van Microsoft heeft, volgens mijn optelling van de eigen tabel per module, ongeveer 175 duizend MAC's per gedecodeerde pixel nodig, ofwel ongeveer 22 TOPS bij 1080p30: de helft van de 40 TOPS die een AI-pc definieert, voor één stream.
Figuur 7. Een neurale tool kost tienduizenden MAC's per pixel; een complete neurale decoder kost er honderdduizenden.
Nog twee kostenposten tellen mee. Geheugen: in de MIT-chip gaat ongeveer driekwart van de systeemenergie naar DRAM, en neurale decoders slepen grote feature maps mee tussen frames. Exactheid: entropiedecodering faalt als twee apparaten een kans verschillend berekenen, en daarom gebruikt elke serieuze neurale codec nu integerrekenkunde en levert MLVC compressie in voor identieke decodering.
Figuur 8. De taakverdeling in producten: fixed-function hardware voor de bitstream, een neurale engine voor de pixels.
Het silicium dat verkoopt, combineert de twee. Tencent heeft meer dan 100.000 van zijn eigen Canghai-codecchips in gebruik, en de tweede generatie voegt H.266 en superresolutie op de chip toe; IP-leveranciers verkopen codecblokken en video-NPU's naast elkaar. Als ik nu een media-SoC zou plannen: fixed-function decoders voor elke standaard die je moet afspelen, inclusief AV2; een NPU gedimensioneerd voor verbetering op schermresolutie, zonder extra rondgang via DRAM; deterministische integermodi; en H.267 als ontwerpstart na 2029.
Wie eraan verdient, en waar een bedrijf kan meedoen
Figuur 9. Het geld volgt de standaarden en de platforms.
Platforms houden de besparingen zelf en geven de code soms weg, zoals Microsoft met MLVC deed. IP-leveranciers licentiëren decoders voor elke nieuwe standaard. Patentpools innen per apparaat: voor VVC 0,50 dollar per telefoon en 1,00–1,50 dollar per 4K-tv in de VS en andere markten in Regio 1. WaveOne ging naar Apple, iSIZE naar Sony en Deep Render naar InterDigital. Ik vond geen zelfstandig bedrijf dat zijn geld verdient met het in licentie geven van een end-to-end neurale videocodec.
Voor een bedrijf liggen de open kansen in neurale voorbewerking voor videodiensten, beeldverbetering aan schermzijde voor chipmakers, neurale codecs in gesloten ketens voor videovergaderen en privéverbindingen, silicium met codec plus NPU, en de tooling voor evaluatie en conformiteit die iedereen nodig heeft die neurale tools levert. Standaardisatiewerk aan H.267 vraagt geduld en een licentiestrategie.
Claims om met een korrel zout te nemen, en waar je op moet letten
Vraag bij elke claim over neurale codecs naar vier dingen: de referentie, de maatstaf, de resolutie en de decodeerkosten. “88% besparing” geldt tegenover H.264 bij 360p; “85–96% minder videogeheugen” is een demoscène, tegenover 30% in de uitgebrachte game; achter “JPEG AI is een standaard” zit nog geen product.
De momenten die ertoe doen: de beoordeling voor H.267 in januari 2027, de eerste AV2-streams van YouTube begin 2027, het eerste testmodel van H.267 in de tweede helft van 2027, of MLVC zich buiten Teams verspreidt, het eerste product dat JPEG AI standaard gebruikt, en de NPU-budgetten in telefoons en pc's. Versie 1 van H.267, eind 2029, start de siliciumcyclus voor neurale tools bij het afspelen op massaschaal.
Download het volledige rapport en de slides
Het volledige rapport behandelt elk domein uitgebreider, met de rekensommen voor het silicium, de standaarden en patenten, een tabel met claims tegenover bewijs, en alle bronnen.
- Neurale codering in 2026: volledig rapport (pdf)
- Neurale codering in 2026: slides (pdf)
- Engelse editie: volledig rapport · slides
Dit is een vertaling van de Engelse editie; waar de twee verschillen, is de Engelse editie leidend.
Open vragen
Een paar vragen hebben nog geen publiek antwoord, en technisch vind ik juist die het interessantst: hoe dicht een neurale decoder bij bitexacte integerrekenkunde op NPU's van verschillende leveranciers kan komen voordat hij zijn compressievoordeel verliest; wat neurale nabewerking kost aan DRAM-verkeer per pixel; bij welke kosten per pixel een neurale tool zich in een H.267-decoder niet meer terugverdient; welke gesloten systemen buiten gesprekken als eerste end-to-end neurale codecs kunnen gebruiken; en hoe je getrouwheid meet als een decoder details genereert in plaats van ze te reconstrueren.
Dit zijn gebieden die we de komende jaren samen kunnen verkennen, via technische uitwisseling en technische samenwerking: i@tanshuai.com.
Over de auteur
Tan Shuai is technoloog en oprichter, met meer dan twintig jaar werk in chips, hardware en systeemsoftware, en 20 verleende patenten. Hij heeft vele jaren R&D en management voor fabless chips achter de rug, waaronder full-custom ontwerp van ASIC-datapaden en multimediaprojecten voor camerachips, zoals videocodecversnellers. Zijn werk bracht hem naar Silicon Valley, New York, Chicago, Taiwan, de Greater Bay Area (Shenzhen en Hongkong), Vietnam en Maleisië. Tegenwoordig werkt hij als AI-onderzoeker en -ontwikkelaar.
Technische discussie: i@tanshuai.com.