Wat is Nvidia DLSS? Een eenvoudige omschrijving

In maart 2020 kondigde Nvidia DLSS 2.0 aan, een bijgewerkte versie van DLSS die gebruikmaakt van een nieuw deep learning neuraal netwerk dat tot 2 keer sneller zou moeten zijn dan DLSS 1.0 omdat het efficiënter gebruikmaakt van de AI-processors van RTX-kaarten, Tensor Cores genaamd. Dit snellere netwerk stelt het bedrijf ook in staat om alle beperkingen op ondersteunde GPU's, instellingen en resoluties te verwijderen.

DLSS 2.0 wordt ook verondersteld een betere beeldkwaliteit te bieden en belooft een tot 2-3 keer hogere framerate (in 4K Performance Mode) in vergelijking met de tot ongeveer 70% fps boost van de voorganger. Met behulp van DLSS 2.0's 4K Performance Mode, beweert Nvidia dat een RTX 2060 grafische kaart games kan draaien op maximale instellingen met een speelbare framerate. Nogmaals, een game moet DLSS 2.0 ondersteunen, en je hebt een RTX grafische kaart nodig om de voordelen te oogsten.



De originele DLSS was blijkbaar beperkt tot ongeveer 2x upscaling (Nvidia heeft dit niet direct bevestigd), en veel games beperkten hoe het kon worden gebruikt. In Battlefield V, bijvoorbeeld, als je een RTX 2080 Ti of snellere GPU hebt, kun je DLSS alleen inschakelen op 4K - niet op 1080p of 1440p. Dat komt omdat de overhead van DLSS 1.0 vaak zwaarder woog dan het potentiële voordeel bij lagere resoluties en hoge framerates.

In september 2020 bracht Nvidia DLSS 2.1 uit, die een Ultra Performance Mode voor super high-res gaming (9x upscaling), ondersteuning voor VR-games, en dynamische resolutie toevoegde. Dat laatste, zo vertelde een Nvidia-vertegenwoordiger aan Tom's Hardware, betekent dat: "De inputbuffer kan van frame tot frame van afmeting veranderen terwijl de outputgrootte vast blijft. Als de rendering engine dynamische resolutie ondersteunt, kan DLSS worden gebruikt om de vereiste upscale naar de displayresolutie uit te voeren." Merk op dat je vaak mensen zult horen verwijzen naar zowel de oorspronkelijke DLSS 2.0 als de 2.1 update als "DLSS 2.0". 

Een van de meest opvallende veranderingen tussen de oorspronkelijke DLSS en de DLSS 2.0 versie is de introductie van selecteerbare beeldkwaliteitsmodi: Kwaliteit, Gebalanceerd, of Prestaties - en Ultra Prestaties met 2.1. Dit beïnvloedt de renderresolutie van het spel, met betere prestaties maar lagere beeldkwaliteit naarmate je door die lijst gaat.

Met 2.0 bood de modus Prestaties de grootste sprong, waarbij games werden geupscaled van 1080p naar 4K. Dat is 4x upscaling (2x breedte en 2x hoogte). De gebalanceerde modus gebruikt 3x upscaling, en de modus Kwaliteit gebruikt 2x upscaling. De Ultra Performance-modus die met DLSS 2.1 werd geïntroduceerd, maakt gebruik van 9x upscaling en is vooral bedoeld voor gamen op 8K-resolutie (7680 x 4320) met de RTX 3090. Hoewel het technisch gezien kan worden gebruikt bij lagere doelresoluties, zijn de upscaling artefacten zeer merkbaar, zelfs bij 4K (720p upscaled). In principe ziet DLSS er beter uit naarmate het meer pixels krijgt om mee te werken, dus terwijl 720p naar 1080p er goed uitziet, zal rendering bij 1080p of hogere resoluties een beter eindresultaat opleveren.

Hoe beïnvloedt dit alles de prestaties en kwaliteit in vergelijking met het oorspronkelijke DLSS? Voor een idee kunnen we ons wenden tot Control, dat oorspronkelijk DLSS 1.0 had en vervolgens DLSS 2.0 ondersteuning kreeg toen het werd uitgebracht. (Vergeet niet dat de volgende afbeelding afkomstig is van Nvidia, dus het is verstandig om deze ook met een korreltje zout te nemen). 

Een van de verbeteringen die DLSS 2.0 zou moeten brengen is een betere beeldkwaliteit in gebieden met bewegende objecten. De bijgewerkte rendering in de bovenstaande fanafbeelding ziet er veel beter uit dan de afbeelding met DLSS 1.0, die er zelfs merkbaar slechter uitzag dan met DLSS uit. 

DLSS 2.0 wordt ook verondersteld een verbetering te bieden ten opzichte van standaard DLSS in gebieden van het beeld waar de details subtieler zijn.

Nvidia beloofde dat DLSS 2.0 zou resulteren in een grotere adoptie van games. Dat komt omdat de oorspronkelijke DLSS het AI-netwerk moest trainen voor elke nieuwe game die DLSS-ondersteuning nodig had. DLSS 2.0 maakt gebruik van een gegeneraliseerd netwerk, wat betekent dat het werkt in alle games en wordt getraind door "niet-game-specifieke inhoud" te gebruiken, volgens Nvidia.



Om een spel de originele DLSS te laten ondersteunen, moest de ontwikkelaar het implementeren, en vervolgens moest het AI-netwerk specifiek voor dat spel worden getraind. Met DLSS 2.0 is die laatste stap geëlimineerd. De spelontwikkelaar moet DLSS 2.0 nog steeds implementeren, maar het zou veel minder werk moeten kosten, omdat het een algemeen AI-netwerk is. Het betekent ook dat updates aan de DLSS engine (in de drivers) de kwaliteit voor bestaande spellen kunnen verbeteren. Unreal Engine 4 en Unreal Engine 5 hebben DLSS 2.0 ondersteuning, en Unity zal het toevoegen via zijn 2021.2 update dit jaar. Dat maakt het voor spellen gebaseerd op die engines triviaal om de functie in te schakelen. 

Zowel het oorspronkelijke DLSS als DLSS 2.0 werken met Nvidia's NGX supercomputer voor het trainen van hun respectievelijke AI-netwerken, evenals de Tensor Cores van RTX-kaarten, die worden gebruikt voor AI-gebaseerde rendering. 

Om een spel DLSS 1.0 ondersteuning te geven, moest Nvidia eerst het DLSS AI neurale netwerk, een type AI netwerk genaamd convolutional autoencoder, trainen met NGX. Het begon met het tonen van duizenden screen captures van het spel aan het netwerk, elk met 64x supersample anti-aliasing. Nvidia liet het neurale netwerk ook beelden zien waarbij geen anti-aliasing werd gebruikt. Het netwerk vergeleek vervolgens de opnamen om te leren hoe de kwaliteit van het 64x supersample anti-aliased beeld kon worden "benaderd" met behulp van bronframes van lagere kwaliteit. Het doel was een hogere beeldkwaliteit zonder de framerate te veel aan te tasten.

Het AI-netwerk herhaalde dit proces, en paste zijn algoritmes aan zodat het uiteindelijk via inferentie de 64x kwaliteit kon benaderen met de beelden van de basiskwaliteit. Het eindresultaat was "anti-aliasing die de kwaliteit van [64x Super Sampled] benadert, terwijl de problemen worden vermeden die geassocieerd worden met TAA, zoals schermbrede vervaging, bewegingsgebaseerde vervaging, ghosting en artefacten op transparanten", legde Nvidia in 2018 uit. 

DLSS maakt ook gebruik van wat Nvidia "temporele feedbacktechnieken" noemt om te zorgen voor scherpe details in de beelden van de game en "verbeterde stabiliteit van frame tot frame." Temporele feedback is het proces waarbij bewegingsvectoren, die de richtingen beschrijven waarin objecten in het beeld bewegen over frames heen, worden toegepast op de native/hogere resolutie-uitvoer, zodat het uiterlijk van het volgende frame van tevoren kan worden ingeschat. 

DLSS 2.0 krijgt zijn snelheidsboost door zijn vernieuwde AI-netwerk dat efficiënter gebruikmaakt van Tensor Cores, waardoor betere framerates mogelijk zijn en beperkingen voor GPU's, instellingen en resoluties worden opgeheven. Team Green zegt ook dat DLSS 2.0 slechts 25-50% van de pixels rendert (en slechts 11% van de pixels voor de DLSS 2.1 Ultra Performance-modus), en nieuwe temporele feedbacktechnieken gebruikt voor nog scherpere details en betere stabiliteit dan de originele DLSS. 

Nvidia's NGX supercomputer moet nog steeds het DLSS 2.0 netwerk trainen, dat ook een convolutie autoencoder is. Volgens Nvidia spelen twee dingen een rol: "lage resolutie, aliased beelden die door de game engine zijn gerenderd" en "lage resolutie, bewegingsvectoren van dezelfde beelden - ook gegenereerd door de game engine."

DLSS 2.0 gebruikt deze bewegingsvectoren voor temporele feedback, die de convolutie-autoencoder (of DLSS 2.0-netwerk) uitvoert door "het huidige frame met lage resolutie en het vorige frame met hoge resolutie te nemen om op pixel-per-pixel-basis te bepalen hoe een huidig frame van hogere kwaliteit kan worden gegenereerd", zoals Nvidia het zegt. 

Het trainingsproces voor het DLSS 2.0-netwerk omvat ook het vergelijken van de beeldoutput met een "ultra-hoge kwaliteit" referentiebeeld dat offline is gerenderd in 16K-resolutie (15360 x 8640). Verschillen tussen de beelden worden naar het AI-netwerk gestuurd om te leren en verbeteringen aan te brengen. De supercomputer van Nvidia voert dit proces herhaaldelijk uit, op mogelijk tienduizenden of zelfs miljoenen referentiebeelden in de loop van de tijd, wat een getraind AI-netwerk oplevert dat op betrouwbare wijze beelden kan produceren met een bevredigende kwaliteit en resolutie.

Bij zowel DLSS als DLSS 2.0 stuurt de NGX-supercomputer, nadat het AI-netwerk voor de nieuwe game is getraind, de AI-modellen via GeForce Game Ready-stuurprogramma's naar de Nvidia RTX grafische kaart. Van daaruit kan uw GPU de AI-kracht van zijn Tensor Cores gebruiken om DLSS 2.0 in real-time uit te voeren naast de ondersteunde game.

Omdat DLSS 2.0 een algemene aanpak is in plaats van te worden getraind door een enkele game, betekent dit ook dat de kwaliteit van het DLSS 2.0-algoritme in de loop der tijd kan verbeteren zonder dat een game updates van Nvidia hoeft te bevatten. De updates bevinden zich in de drivers en kunnen invloed hebben op alle games die DLSS 2.0 gebruiken.