Wunderwaffe DLSS 2.0: Nvidia will mit überarbeitetem Algorithmus alles besser machen (2024)

Deep-Learrning Super-Sampling, kurz DLSS, ist neben Hardware-gestütztem Echtzeit-Raytracing das wohl wichtigste Feature der Geforce-RTX-Grafikkarten. Im Gegensatz zu Raytracing, das im Laufe des Jahres auch auf AMD- und möglicherweise sogar Intel-Grafikchips lauffähig sein wird, bleibt DLSS alias "AI super resolution" ein Geforce-exklusives Feature - das stellte Nvidia in der jüngsten Präsentation klar. Was es mit DLSS auf sich hat und warum mit DLSS 2.0 alles besser wird, erfahren Sie im Folgenden.

DLSS: Hintergrund und Funktionsweise

Hinter Deep-Learning Supersampling steckt ein neuartiges Bildglättungsverfahren, das sich Künstliche Intelligenz (KI) zunutze macht. Das Vorgehen lässt sich vereinfacht formuliert in wenigen Worten beschreiben: Ein sogenanntes neuronales Netzwerk wird solange mit hochauflösenden respektive bestmöglich geglätteten Bildern gefüttert, bis es ein "tiefes Verständnis" dafür entwickelt, wie gute Grafik aussieht. Man nennt die durch Schlussfolgerung (Inferenz) gewonnenen Erkenntnisse daher Deep Learning. Dieses Wissen wird in komprimierter Form abgespeichert und gelangt mittels Spiel- und Treiber-Code auf die Rechner der Spieler.

Sind Hard- und Software bereit, schlägt die Stunde der Tensor-Kerne, welche in jeder Geforce RTX 20 schlummern. Diese spezialisierten, mit enormer Rechenleistung ausgestatteten Einheiten kümmern sich darum, dass die gewonnenen Informationen in Bildqualität umgewandelt werden. Um Super-Sampling, wie suggeriert, handelt es sich jedoch gemäß klassischer Definition nicht. Ursächlich dafür ist Nvidias Entscheidung, DLSS als Entlastungsmaßnahme zu bewerben, die bei vergleichbarer Qualität die Leistung erhöht. Dahinter steckt keine Zauberei, sondern ein uralter Trick: Die interne Render-Auflösung fällt bei aktivem DLSS geringer aus als die im Spiel eingestellte. Es liegt in der Natur der Sache, dass eine reduzierte Auflösung zu entsprechend geringerer Qualität und stärkerem Aliasing führt. Hier setzt das Herzstück von DLSS an: Die Software weiß aus den Trainingssessions, welche Informationen verlorengehen, und versucht diese nach bestem Wissen spatial (räumlich) und temporal (zeitlich) aufzuwerten.

Alles ist relativ - Ultra HD ist auch nur eine geringe Auflösung

Im Vergleich mit dem Material, das Nvidias Netzwerk zum Trainieren bekommt, ist das allgemein als "hochauflösend" bezeichnete Ultra HD (4K) nur ein bröseliger Aliasing-Haufen, von gängigen Auflösungen wie WQHD und Full HD nicht zu sprechen. Die Ground Truth, also das Offline-Trainingsmaterial der Nvidia-Rechner, besteht aus 16K-Bildern, ergo einer viermal höheren Achsenauflösung. Daher gelingt es DLSS in besonders ausgedehnt trainierten Spielen, Details darzustellen, die in gängigen Echtzeitauflösungen im Pixelraster verschwinden.
Quelle: NvidiaWunderwaffe DLSS 2.0: Nvidia will mit überarbeitetem Algorithmus alles besser machen (6)

DLSS 2.0: Flexibler und qualitativ höherwertig

Mittlerweile gibt Nvidia selbstkritisch zu, dass DLSS in seiner ursprünglichen Form mit zu vielen Einschränkungen behaftet war, die den großen Durchbruch verhindert hatten. Trotz diverser, intern durchgeführter Iterationen von DLSS (1.x) blieb vor allem das Training problematisch, welches zwingend pro Spiel und szenenweise durchgeführt werden musste. Dabei, so Nvidia, bereiteten vor allem die Bewegungsvektoren Probleme: Sequenzen, die sich nur minimal unterschieden, könnten nicht als Input dienen, da diese sonst zu Artefakten (wie falschen Pixeln) führten. Der hohe Zeit- und Verwaltungsaufwand ist auch der Grund, warum DLSS 1.x nur ausgewählten Auflösungen angeboten wurde.

Doch die Entwicklung ging weiter, mit dem Ziel, eine flexible und doch mächtige Lösung zu erschaffen. Dafür musste ein generalisierter Ansatz auf Software-Basis her, den Nvidia "Convolutional Autoencoder" nennt. Was damit möglich ist, lässt sich seit August 2019 im Mystery-Actionspiel Control bestaunen: DLSS 1.9, so die interne Iteration, unterstützt weit mehr Auflösungen als beispielsweise Final Fantasy XV und Shadow of the Tomb Raider, erhöht die Bildrate signifikant und erzielt zweifellos hübsche Bewegtbilder. Doch kleinere Artefakte, die mit TAA der alten Schule nicht auftreten, blieben. Also forschte und entwickelte Nvidia weiter.

Herausgekommen ist DLSS 2.0. Dieses zeichnet sich laut Nvidia durch seine gesteigerte Qualität und Flexibilität aus. Man verwendet nun ein universell trainiertes Netz, das Pro-Spiel-Training ist nicht mehr notwendig und vereinfacht damit auch die Integration von DLSS in Spiele - Zutun durch deren Entwickler ist jedoch nach wie vor nötig, da DLSS Zugriff auf diverse Buffer benötigt. Durch weitere Software-Errungenschaften ist DLSS 2.0 mit allen RTX-20-Grafikkarten in allen Auflösungen nutzbar und zeichnet vor allem in Bewegung sauberere Bilder. Gerade pixelfeine Strukturen, der "Endgegner" aller Anti-Aliasing-Modi, sollen durch das verbesserte Motion-Vector-Training beinahe fehlerfrei dargestellt werden. Dafür opfert Nvidia ein paar Prozent Leistung gegenüber dem früheren Verfahren, die es wert sind:
Quelle: NvidiaWunderwaffe DLSS 2.0: Nvidia will mit überarbeitetem Algorithmus alles besser machen (10)

DLSS 2.0 in Aktion: Gegenwart und Zukunft

Wolfenstein Youngblood und Deliver Us The Moon, die bisher neuesten Spiele mit DLSS, zeigen den neuen 2.0-Ansatz bereits in Aktion. Besonders erwähnenswert ist aus PCGH-Sicht die Implementierung in Wolfenstein Youngblood, da diese tatsächlich in der Lage ist, viele Objekte besser darzustellen als die Kombination aus nativer Auflösung und Temporal-AA. Dies gilt jedoch nicht uneingeschränkt und Nvidia ist sich dessen bewusst - einige Bildteile, darunter Stacheldrahtzaun, benötigen weiteres Training und verfeinerte Optimierungen des Algorithmus. Stand jetzt zeigt Wolfenstein YB jedoch den besten Ausblick, auch was in Kombination mit Raytracing möglich ist.

Dass DLSS die interne Auflösung in jedem Fall reduziert, gilt nach wie vor - Nvidia äußert sich beharrlich mit keinem Wort zu DLSS 2x, das mit Turing angekündigt wurde und das Ziel hat, bei nativer Auflösung neue Qualitätssphären zu erklimmen. Wer DLSS 2.0 nutzt, hat in bisherigen Spielen die Wahl zwischen drei Modi: Performance, Balanced und Quality (Leistung, Ausgewogen, Qualität), deren Namen selbsterklärend sind. Technisch unterscheidet die Modi die interne Auflösung, welche nicht immer explizit genannt wird. Neu ist, dass sogar ein FHD-Bild mittels DLSS auf UHD hochgerechnet werden kann; zuvor waren die Schritte kleiner. Auf Nachfrage seitens PCGH betonte Nvidia, dass die Tensorkerne auch bei DLSS 2.0 für die Rekonstruktion verantwortlich zeichnen und nicht etwa die Allzweck-ALUs. Damit büßt man zwar theoretisch Flexibilität ein, erhält durch Entlastung der übrigen Einheiten jedoch den beworbenen Leistungsgewinn.

In Kürze werden auch Mechwarrior 5 und Control mit DLSS 2.0 ausgerüstet. Die entsprechenden Patches erscheinen im Laufe der Woche und benötigen für einwandfreie Funktion außerdem den neuen "game-ready driver" (GRD) 445.75 WHQL. Nvidia hat bereits vorgearbeitet und Vorschau-Artikel für Control und Mechwarrior 5 sowie weitere Informationen zu DLSS 2.0 inklusive Videos veröffentlicht. PC Games Hardware wird sich DLSS 2.0 in Control (DLC) und Mechwarrior 5 ebenfalls zeitnah ansehen - freuen Sie sich auf entsprechende Artikel!
Quelle: NvidiaDLSS 2.0 in Mechwarrior 5: Wie bereits in Wolfenstein Youngblood gelingt es dem Algorithmus, Bildfragmente zu rekonstruieren, die bei nativer Auflösung im Pixelraster untergehen.

').css('opacity', 0).html(tip).appendTo('body');self.init();self.target.on('mouseleave', () => {console.log('mouseleave');console.log($('#shareDialog').hasClass('is-open'));if ($('#shareDialog').hasClass('is-open')) {self.remove();}});self.tooltip.on('click', () => {self.remove();});});$(window).on('resize', () => {self.init();});}/*** @param target* @param info* @param timeout*/showTemporary(target, info, timeout) {let self = this;timeout = timeout || 10;this.target = target;let tip = self.textList[info];if (!tip || tip == '') {return false;}if (this.tooltip) {this.tooltip.remove();}this.tooltip = $('

').css('opacity', 0).html(tip).appendTo('body');this.init();setTimeout(() => {self.remove();$(this.target).removeClass('active');}, timeout * 1000);}/****/remove() {if (!this.tooltip) {return;}this.tooltip.animate({top: '-=10',opacity: 0}, 50, function() {$(this).remove();});}/****/init() {if (!this.tooltip || !this.target) {return;}this.tooltip.addClass('dBlk');}}ctcTooltip = new ctcTooltips();$(document).on('click', '.shareCopy', function() {$(this).addClass('active');copyToClipboardNew($(this));});var copyToClipboardNew = function(target) {var textArea = document.createElement('textarea'),text = target.data('text');textArea.style.position = 'fixed';textArea.style.top = 0;textArea.style.left = 0;textArea.style.width = '2em';textArea.style.height = '2em';textArea.style.padding = 0;textArea.style.border = 'none';textArea.style.outline = 'none';textArea.style.boxShadow = 'none';textArea.style.background = 'transparent';textArea.value = text;document.body.appendChild(textArea);textArea.focus();textArea.select();try {var successful = document.execCommand('copy');if (successful) {ctcTooltip.showTemporary(target, 'link_copied', 2);} else {ctcTooltip.showTemporary(target, 'link_copy_error');}} catch (err) {}document.body.removeChild(textArea);};var closeShareWidget = function(delay) {setTimeout(function() {shareDialog.classList.remove('is-open');}, delay);}jQuery(document).on('click', '.jsShare', function() {shareDialog.classList.add('is-open');jQuery(document).on('click', '#shareDialog', function() {if (event.target.nodeName == 'I') {closeShareWidget();} else {var container = $('.shareWrapper');if ((!container.is(event.target) && !container.has(event.target).length) || event.target.nodeName == 'A') {closeShareWidget();}}});})

169