Neuroverkot muokkaavat jo lähes jokaista katsomaasi videota, mutta standardikoodekin kummassakin päässä, eivät sen tilalla. Tässä kerron, missä neuraalinen koodaus on käytössä vuonna 2026, mitä se maksaa piirillä ja kuka sillä ansaitsee; mukana ovat koko raportti ja esitysdiat.
Tiivistelmä
Neuraalinen koodaus on vuonna 2026 jo valtavirtaa, mutta se toimii standardikoodekkien ympärillä eikä korvaa niitä. Neuroverkot muokkaavat kuvaa ennen koodausta puhelinten kameroissa ja Netflixin koodausketjussa sekä korjaavat sitä dekoodauksen jälkeen YouTuben Super Resolution -toiminnossa, Metalla ja televisioiden prosessoreissa; välissä kulkeva bittivirta on yhä AV1, HEVC, AVC tai VVC, ja sen dekoodaa kiinteätoiminen laitteisto. Päästä päähän -neuraalikoodekit ovat käytössä vain suljetuissa järjestelmissä, joissa sama yritys hallitsee molempia päitä: Microsoftin MLVC Teams-puheluissa, tokenisoijat jokaisen puhe- ja videomallin sisällä ja neuraaliset tekstuurit yhdessä pelissä. Neuraalisten bittivirtojen laajamittainen toisto odottaa H.267:ää, jonka on määrä valmistua vuoden 2029 lopussa, ja sitä seuraavaa piirisykliä. Syy on piirissä: ainoa julkaistu neuraalisen videodekooderin suunnitelma tarvitsee pikseliä kohden noin 12 kertaa enemmän energiaa kuin mitattu HEVC-dekooderi, ja nopea tutkimuskoodekki tarvitsee 1080p30-videolle noin 22 TOPS laskentatehoa. Raha seuraa standardeja ja alustoja; tunnetuimmat neuraalikoodekkien startup-yritykset on ostettu.
Miksi tutkin tätä
Muutaman kuukauden välein joku kertoo minulle, että tekoälykoodekit ovat syrjäyttämässä H.264:n, HEVC:n ja AV1:n. Suurin osa siitä, mitä aiheesta luen, tulee joko tutkimusartikkeleista, joissa pakkausennätykset tehdään, tai valmistajilta. Kumpikaan ei kerro paljon siitä, mitä todella päätyy tuotteisiin, kenelle ja millä hinnalla.
Minulla on takanani monen vuoden kokemus fabless-piirien tutkimus- ja kehitystyöstä ja sen johtamisesta, mukaan lukien ASIC-datapolkujen full custom -suunnittelu ja multimedian kamerapiiriprojektit, kuten videokoodekkikiihdyttimet, joten tarkastelin aihetta samoin kuin arvioisin piiriä: energia pikseliä kohden, muistiliikenne, mitä standardi antaa kiinnittää piiriin ja kuka maksaa. Luin JVET:n, MPEG:n, JPEG:n, AOMedian ja IETF:n standardiasiakirjoja ja kokousraportteja, yritysten insinööriblogeja, piiriartikkeleita, patenttipoolien hinnastoja, vientivalvontasäädöksiä ja lehdistöä. Kaikki alla olevat luvut ovat 12. marraskuuta 2026 tilanteen mukaisia, ja rahamäärät ovat Yhdysvaltain dollareina. Koko raportti kaikkine lähteineen on lopussa.
Tulokset lyhyesti
Kuvio 1. Missä neuraalinen koodaus on käytössä vuonna 2026. Rivit on järjestetty sen mukaan, kuinka monta ihmistä kukin alue tavoittaa.
| Kysymys | Lyhyt vastaus |
|---|---|
| Missä neuraalinen koodaus on laajassa käytössä? | Koodekin ympärillä: kameroiden ISP:t, koodauspään alasskaalaus, toiston superresoluutio. Päästä päähän vain suljetuissa järjestelmissä: puhelut, pelien resurssit, generatiivisen tekoälyn tokenisoijat |
| Korvaavatko neuraalikoodekit AV1:n, HEVC:n ja VVC:n toistossa? | Eivät ennen H.267:ää (versio 1 vuoden 2029 lopussa) ja sitä seuraavaa laitesykliä; arvioni mukaan valtavirtaan 2030-luvun puolivälissä |
| Mitä se maksaa piirillä? | Noin 12 kertaa laitteisto-HEVC-dekooderin energia pikseliä kohden, lisäksi muistiliikenne ja vaatimus bittitarkasta dekoodauksesta |
| Kuka ansaitsee? | Alustat pitävät säästöt itsellään; IP-toimittajat ja patenttipoolit saavat maksun suunnitelmaa ja laitetta kohden; neuraalikoodekkien startup-yritykset ostettiin |
| Missä yritys voi toimia? | Neuraalinen esi- ja jälkikäsittely, suljettujen järjestelmien tuotteet, koodekin ja NPU:n yhdistävät piirit sekä niiden väliin jäävä arviointi- ja standardointityö |
Kolme tietä sisään
”Neuraalinen koodaus” kattaa kolme eri asiaa, ja useimmat aiheesta käytävät kiistat johtuvat niiden sekoittamisesta. Neuroverkko voi toimia standardikoodekin ympärillä ja käsitellä pikseleitä ennen koodausta tai dekoodauksen jälkeen, jolloin bittivirta pysyy standardinmukaisena. Se voi olla standardin sisällä työkaluna, jota jokaisen dekooderin on ajettava, joten se on määriteltävä täsmällisesti. Tai se voi korvata koodekin päästä päähän opitulla kooderilla ja dekooderilla, jotka toimivat vain parina.
Kuvio 2. Kolme tapaa, joilla neuroverkko tulee koodekkiin. Suurin osa vuonna 2026 käytössä olevasta on ensimmäistä tapaa.
Ensimmäinen ei vaadi kenenkään lupaa. Toinen vaatii standardin. Kolmas vaatii molempien päiden hallinnan. Tässä järjestyksessä ne myös tavoittavat ihmiset.
Toisto ja suoratoisto: neuraalinen molemmissa päissä, standardi keskellä
Suuret palvelut saivat yhden koodekkisiirtymän päätökseen ja aloittavat seuraavaa, eikä kumpaankaan liity neuraalista dekooderia. Netflix kertoi joulukuussa 2025, että noin 30 % sen katselusta kulki AV1-muodossa; YouTuben mukaan yli 90 % sen katalogista katseluajalla painotettuna on saatavilla AV1-muodossa. AV2 valmistui 28. toukokuuta 2026, ja sen pakkausteho on noin 30 % parempi kuin AV1:n; kolmen viikon kuluessa Chips&Media, Allegro DVT ja VeriSilicon olivat ilmoittaneet AV2-dekooderiensa asiakkaista. Brasilian TV 3.0 aloitti kaupalliset VVC-lähetykset kesäkuussa 2026.
Neuraalinen osuus on molemmissa päissä. Netflix on vuodesta 2022 skaalannut mastereitaan alaspäin perinteisen suodattimen sijaan pienellä neuroverkolla, mikä ei vaadi muutoksia mihinkään laitteeseen ja minkä tuloksen noin 77 % katsojista valitsi Netflixin testeissä. YouTube skaalaa televisioissa koneoppimisella ylöspäin videoita, jotka on ladattu alle 1080p-resoluutiolla, Meta ajaa superresoluutiota palvelimillaan ja puhelimissa, ja Samsung mainostaa lippulaivatelevisioidensa prosessorissa olevan 768 skaalausneuroverkkoa.
Valtavirran näytöiltä puuttuu neuraalinen bittivirta, ja syy on aika. Toistoformaatin on oltava dekoodattavissa jokaisella laitteella, joka sitä koskaan toistaa. AV1:ltä kului valmiista määrittelystä lähes kahdeksan vuotta 30 %:n osuuteen Netflixin katselusta.
Kuvio 3. Valmiista standardista valtavirran näyttöihin kuluu suurin osa vuosikymmenestä.
Standardi, joka voisi viedä neuraaliset työkalut jokaiseen näyttöön, on H.267, VVC:n seuraajan työnimi. JVET julkaisi ehdotuspyyntönsä heinäkuussa 2026; vastaukset arvioidaan tammikuussa 2027, ja ensimmäisen version on määrä valmistua vuoden 2029 lopussa. Klassinen linja säästää jo noin 28 % VVC:hen verrattuna, kun taas JVET:n neuraaliset silmukkasuodattimet säästävät 6–14 %, ja niiden dekoodauskustannus on vähintään 10 tuhatta MAC-operaatiota pikseliä kohden. Odotan klassista ydintä ja muutamaa neuraalista työkalua siellä, missä säästetyt bitit oikeuttavat kustannuksen.
Valokuvaus: neuraalinen kamerassa, klassinen verkossa
Jokainen uuden lippulaivapuhelimen ottama kuva on kulkenut neuroverkkojen läpi ennen tallennusta. Qualcommin Cognitive ISP on tehnyt reaaliaikaista semanttista segmentointia vuodesta 2023, ja CES 2026 -messuilla Chips&Media ja Visionary.ai esittelivät täyden ISP:n, joka toimii kokonaan NPU:lla. Sen jälkeen tulos tallennetaan JPEG- tai HEIF-muodossa.
Ensimmäinen opittu kuvastandardi JPEG AI julkaistiin vuonna 2025: se pakkaa 12,5–27,9 % VVC:n intrakoodausta paremmin, ja dekooderin kustannus on 7–216 tuhatta MAC-operaatiota pikseliä kohden. En löytänyt yhtään kameraa, galleriasovellusta tai selainta, joka käyttäisi sitä oletuksena. Verkko otti vuonna 2026 käyttöön klassisen formaatin: Chrome 155 kytki JPEG XL -tuen päälle 6. lokakuuta nopealla, muistiturvallisella dekooderilla, joka toimii millä tahansa suorittimella. Neuraalinen koodaus voittaa yhden yrityksen oman käsittelyketjun sisällä; formaatit, joiden on auettava kaikkialla, pysyvät klassisina.
Puhelut: missä päästä päähän -neuraalikoodekit ovat käytössä
Puhelu on suljettu järjestelmä: molemmissa päissä on sama sovellus, joka voi kesken puhelun turvautua standardikoodekkiin. Siksi ensimmäiset laajassa käytössä olevat päästä päähän -neuraalikoodekit löytyvät sieltä. Microsoftin tekoälypohjainen puhekoodekki Satin on ollut käytössä kaikissa Teamsin ja Skypen kahdenkeskisissä puheluissa vuodesta 2021. Heinäkuussa 2026 Microsoft julkaisi avoimena lähdekoodina MLVC:n, neuraalisen videokoodekin, jota otetaan nyt käyttöön Teamsin vertaisyhteyspuheluissa.
Kuvio 4. Puheluissa neuraalikoodekki pärjää 65–76 % pienemmällä bittinopeudella kuin laitteisto-HEVC Microsoftin omalla testiaineistolla.
Otsikoissa näkyvä 88 % on verrattu H.264:ään; samoissa kannettavissa jo olevaan laitteisto-HEVC:hen verrattuna se on 65–76 %, mikä on yhä paljon. MLVC toimii 540p- ja 360p-resoluutioilla ja käyttää korkeintaan puolet NPU:sta, ja se luopui osasta pakkaustehoa dekoodautuakseen identtisesti laitteistolla, jota Microsoft ei omista.
Kaikki eivät valinneet tätä tietä. Opus lisäsi syväoppimisen vuonna 2024 valinnaisina, taaksepäin yhteensopivina lisäosina. Meta rakensi klassisen puhekoodekin nimeltä MLow, koska yli 20 % sen puheluista soitetaan vanhoilla ARMv7-puhelimilla ja kymmeniä miljoonia WhatsApp-puheluita päivässä yli kymmenen vuotta vanhoilla puhelimilla. Neuraalikoodekit tulevat käyttöön ensin siellä, missä laitteet ovat uusia ja yksi palveluntarjoaja hallitsee molempia päitä.
Generatiivinen tekoäly: suurin käyttöönotto, jota kukaan ei kutsu koodekiksi
Jokainen puhe- ja videomalli toimii opitun koodekin varassa. Puhemallit lukevat ja kirjoittavat neuraalisten äänikoodekkien tokeneita; esimerkiksi Kyutain Mimin nopeus on 12,5 kehystä sekunnissa ja 1,1 kbps. Videogeneraattorit toimivat videoautoenkooderien latenttiavaruudessa; esimerkiksi LTX-Videon autoenkooderi pakkaa suhteessa 1:192. Mikään näistä ei ole formaatti, jota kukaan muu dekoodaisi, mutta ne osoittavat, että opittu pakkaus toimii laajassa mittakaavassa, kun sama yritys omistaa kooderin, dekooderin ja laitteiston. Generatiivista videota tarjoavalle tokenisoijan tehokkuus on suora kustannuserä.
Pelit: neuraalinen rekonstruktio on valtavirtaa, neuraaliset resurssit vasta alussa
NVIDIAn DLSS renderöi vähemmän pikseleitä ja kuvia ja antaa neuroverkon rakentaa loput. Neuraalinen tekstuuripakkaus päätyi julkaistuun Assassin's Creed Mirage -peliin, jossa sitä käytettiin ajonaikaisen kustannuksensa vuoksi vain valituissa resursseissa.
Kuvio 5. Kun yksi yritys hallitsee koko pinoa, neuraalinen rekonstruktio leviää nopeasti.
Satelliitti-, drooni- ja robottiyhteydet sopivat teknisesti parhaiten päästä päähän -neuraalikoodekeille, mutta ne ovat pienet markkinat, ja niiden vientivalvonta kiristyy molemmin puolin: Kiinan 18. marraskuuta 2026 voimaan tulevissa droonien vientisäännöissä semanttinen kuvanpakkaus mainitaan jopa raja-arvona.
Piirien näkökulma
Tässä oma taustani merkitsee eniten. Piiritiimi kysyy jokaisesta uudesta koodekista neljä asiaa: jouleja pikseliä kohden, DRAM-liikennettä pikseliä kohden, porttien määrää ja sitä, laskeeko jokainen dekooderi maailmassa täsmälleen samat bitit. Kaikilla neljällä mittarilla neuraalinen dekooderi on vuonna 2026 siinä, missä laitteisto-HEVC oli ennen ensimmäisiä piirejään.
Kuvio 6. Energia dekoodattua pikseliä kohden: kiinteätoimiset dekooderit ovat kertaluokan edellä.
Ainoa julkaistu neuraalisen videodekooderin piirisuunnitelma, NVCA, tarvitsee 14,6 nJ pikseliä kohden; MIT:n HEVC-dekooderipiiri tarvitsee DRAM-muisteineen 1,19 ja pelkkä ydin 0,31. 1080p30-videolla tämä tarkoittaa noin 900 mW verrattuna 74 mW:iin. Microsoftin nopea tutkimuskoodekki DCVC-RT tarvitsee laskemani mukaan, sen omasta moduulikohtaisesta taulukosta summattuna, noin 175 tuhatta MAC-operaatiota dekoodattua pikseliä kohden eli noin 22 TOPS 1080p30-videolla: puolet niistä 40 TOPSista, joilla tekoäly-PC määritellään, yhtä videovirtaa varten.
Kuvio 7. Neuraalinen työkalu vie pikseliä kohden kymmeniätuhansia MAC-operaatioita, kokonainen neuraalinen dekooderi satojatuhansia.
Kaksi muuta kustannusta on tärkeitä. Muisti: MIT:n piirissä noin kolme neljäsosaa järjestelmän energiasta kuluu DRAM-muistiin, ja neuraaliset dekooderit kuljettavat suuria piirrekarttoja kuvasta toiseen. Täsmällisyys: entropiadekoodaus pettää, jos kaksi laitetta laskee todennäköisyyden eri tavoin, ja siksi jokainen vakavasti otettava neuraalikoodekki käyttää nyt kokonaislukuaritmetiikkaa ja MLVC vaihtaa pakkaustehoa identtiseen dekoodaukseen.
Kuvio 8. Tuotteissa käytetty työnjako: kiinteätoiminen laitteisto bittivirralle, neuroprosessori pikseleille.
Myyvät piirit yhdistävät nämä kaksi. Tencentillä on käytössä yli 100 000 omaa Canghai-koodekkipiiriä, ja toinen sukupolvi tuo H.266:n ja piirillä toteutetun superresoluution; IP-toimittajat myyvät koodekkilohkoja ja video-NPU:ita rinnakkain. Jos suunnittelisin media-SoC:tä nyt: kiinteätoimiset dekooderit jokaiselle standardille, joka on pystyttävä toistamaan, AV2 mukaan lukien; kuvanparannukseen näytön resoluutiolla mitoitettu NPU ilman ylimääräistä kierrosta DRAM-muistin kautta; deterministiset kokonaislukutilat; ja H.267-suunnittelun aloitus vuoden 2029 jälkeen.
Kuka ansaitsee ja missä yritys voi toimia
Kuvio 9. Raha seuraa standardeja ja alustoja.
Alustat pitävät säästöt itsellään ja antavat joskus koodin vapaasti käyttöön, kuten Microsoft teki MLVC:n kanssa. IP-toimittajat lisensoivat dekoodereita jokaiseen uuteen standardiin. Patenttipoolit laskuttavat laitekohtaisesti: VVC:stä 0,50 dollaria puhelimelta ja 1,00–1,50 dollaria 4K-televisiolta Yhdysvalloissa ja muilla Region 1 -markkinoilla. WaveOne päätyi Applelle, iSIZE Sonylle ja Deep Render InterDigitalille. En löytänyt yhtään itsenäistä yritystä, joka saisi elantonsa lisensoimalla neuraalista päästä päähän -videokoodekkia.
Yritykselle avoimia mahdollisuuksia ovat neuraalinen esikäsittely videopalveluille, näyttöpään kuvanparannus piirivalmistajille, suljettujen järjestelmien neuraalikoodekit videoneuvotteluihin ja yksityisiin yhteyksiin, koodekin ja NPU:n yhdistävät piirit sekä arviointi- ja yhdenmukaisuustyökalut, joita jokainen neuraalisia työkaluja toimittava tarvitsee. H.267:n standardointityö vaatii kärsivällisyyttä ja lisensointistrategian.
Väitteet, joihin kannattaa suhtautua varauksella, ja mitä seurata
Vaadi jokaiselta neuraalikoodekkeja koskevalta väitteeltä neljä asiaa: vertailukohta, mittari, resoluutio ja dekoodauksen kustannus. ”88 % säästö” on verrattu H.264:ään 360p-resoluutiolla; ”85–96 % vähemmän videomuistia” koskee demokohtausta, kun julkaistussa pelissä hyöty oli 30 %; väitteen ”JPEG AI on standardi” takana ei ole vielä yhtään tuotetta.
Tärkeät ajankohdat: H.267:n arviointi tammikuussa 2027, YouTuben ensimmäiset AV2-suoratoistot alkuvuonna 2027, H.267:n ensimmäinen testimalli vuoden 2027 jälkipuoliskolla, leviääkö MLVC Teamsin ulkopuolelle, ensimmäinen JPEG AI -formaattia oletuksena käyttävä tuote sekä puhelinten ja PC:iden NPU-budjetit. H.267:n versio 1 vuoden 2029 lopussa käynnistää piirisyklin neuraalisille työkaluille valtavirran toistossa.
Lataa koko raportti ja esitysdiat
Koko raportti käsittelee jokaista aluetta tarkemmin ja sisältää piirien laskelmat, standardit ja patentit, väitteitä ja näyttöä vertailevan taulukon sekä kaikki lähteet.
- Neuraalinen koodaus vuonna 2026: koko raportti (PDF)
- Neuraalinen koodaus vuonna 2026: esitysdiat (PDF)
- Englanninkielinen versio: koko raportti · esitysdiat
Tämä on käännös englanninkielisestä versiosta; jos versiot eroavat, englanninkielinen versio on ratkaiseva.
Avoimet kysymykset
Muutamaan kysymykseen ei ole vielä julkista vastausta, ja ne ovat mielestäni teknisesti kiinnostavimpia: kuinka lähelle bittitarkkaa kokonaislukuaritmetiikkaa neuraalinen dekooderi pääsee eri valmistajien NPU:illa ennen kuin se menettää pakkausetunsa; mitä neuraalinen jälkikäsittely maksaa DRAM-liikenteenä pikseliä kohden; millä pikselikohtaisella kustannuksella neuraalinen työkalu lakkaa maksamasta itseään takaisin H.267-dekooderissa; mitkä suljetut järjestelmät puheluiden lisäksi voivat ottaa päästä päähän -neuraalikoodekit käyttöön ensimmäisinä; ja miten vastaavuutta alkuperäiseen pitäisi mitata, kun dekooderi generoi yksityiskohtia sen sijaan, että rekonstruoisi ne.
Näitä alueita voimme tutkia yhdessä tulevina vuosina teknisen tiedonvaihdon ja teknisen yhteistyön kautta: i@tanshuai.com.
Kirjoittajasta
Tan Shuai on teknologi ja perustaja, jolla on takanaan yli kaksikymmentä vuotta työtä piirien, laitteistojen ja järjestelmäohjelmistojen parissa sekä 20 myönnettyä patenttia. Hänellä on monen vuoden kokemus fabless-piirien tutkimus- ja kehitystyöstä ja sen johtamisesta, mukaan lukien ASIC-datapolkujen full custom -suunnittelu ja multimedian kamerapiiriprojektit, kuten videokoodekkikiihdyttimet. Työ on vienyt hänet Piilaaksoon, New Yorkiin, Chicagoon, Taiwaniin, Greater Bay Area -alueelle (Shenzhen ja Hongkong), Vietnamiin ja Malesiaan. Nykyään hän työskentelee tekoälytutkijana ja -kehittäjänä.
Teknistä keskustelua varten: i@tanshuai.com.