Archiv verlassen und diese Seite im Standarddesign anzeigen : Apple MetalFX Upscaling
Daredevil
2022-11-01, 01:41:08
Moin!
Nach Nvidia, AMD und Intel vergnügt Apple sich nun auch im Upscaling, welches erstmalig mit Resident Evil Village nutzbar ist in Kombination mit einem Apple Silicon Prozessor + macOS Ventura.
Wie das ganze funktioniert erklärt Apple in ihrem WWDC2022 Schnipsel mit dem Titel:
Boost performance with MetalFX Upscaling
https://developer.apple.com/videos/play/wwdc2022/10103/
Discover MetalFX, a new API that provides platform optimized graphics effects for Metal applications. With MetalFX Upscaling, your application can now render frames at a lower resolution, reducing rendering time, without compromising rendering quality. We'll also show you how and when to use its two effects: spatial upscaling, which delivers substantial performance gains, and temporal AA and upscaling, which delivers the highest quality rendering.
https://abload.de/img/bildschirmfoto2022-11xzd5z.png
Erste REVIillage Ergebnisse sind auf Reddit schon zu sehen:
https://www.reddit.com/r/macgaming/comments/yg6xxy/resident_evil_village_performance_on_an_m1_pro_16/
Bilder in Originalgröße: https://dropover.cloud/be185d
Bilder wurden erstellt mit einem M1Pro und 16GPU Kernen.
https://abload.de/img/bildschirmfoto2022-11ahite.png
https://abload.de/img/bildschirmfoto2022-11c6fhe.png
Hoffentlich kommen in den nächsten Tagen mal noch mehr Infos raus zum Spiel, ich hoffe doch mal MaxTech erbarmt sich eines großen Vergleiches. :)
Mfg DD
Tobalt
2022-11-01, 05:36:02
Wow ein schlechter spatialer Upscaler mehr.. :uclap:
genau was die Welt braucht.
robbitop
2022-11-01, 09:14:16
Man kann ja FSR 2 mitnutzen. :)
Tobalt
2022-11-01, 09:21:11
Man kann ja FSR 2 mitnutzen. :)
Eben.
Für propritäre spatiale Upscaler gibt es allerspätestens seit FSR keinen Grund mehr.
Und selbst proprietäre spatiotemporale Upscaler müssen erstmal irgendwie FSR2 schlagen, damit sie eine Daseinsberechtigung haben.
basix
2022-11-01, 10:09:53
Im Video wird auch ein temporaler Ansatz erklärt und gezeigt. MetalFX Upscaling hat hier also zwei Versionen: Spatial only und spatio-temporal. Letzteres ist vom Prinzip her das selbe wie DLSS2 und Co. inkl. Motion Vectors etc.
In der Quote im Startpost ist ebenfalls "temporal AA and upscaling" erwähnt ;)
robbitop
2022-11-01, 10:40:15
Ja stimmt - hab mir das Video auch gerade erst angeschaut. Und es ist eines der ersten Videos, was den Zusammenhang mit Supersampling erklärt. :up: Ehrlich gesagt das erste Video, was die Funktionsweise bisher ganzheitlich am besten erklärt. (auch wenn der Presenter sehr nüchtern ist)
Also im Prinzip wie FSR - man kann FSR 1 (spatial) und FSR 2 (temporal) implementieren. Je nach Aufwand, den der Entwickler bereit ist zu investieren.
Tobalt
2022-11-01, 13:44:46
Stimmt, ich bin nur nach den Screenshots gegangen, die ich am Smartphone betrachtet habe. Bleibt nur noch die Frage offen, in welcher Hinsicht Apple meint, dass ihre Lösung besser als FSR ist.
DrFreaK666
2022-11-01, 14:08:03
was mir aufgefallen ist: der RT-Schatten wurde schärfer
https://abload.de/thumb/screenshot_20221101_1jreye.jpg (https://abload.de/image.php?img=screenshot_20221101_1jreye.jpg)
Für propritäre spatiale Upscaler gibt es allerspätestens seit FSR keinen Grund mehr.
Nach dieser Logik hätte FSR1 keinerlei Daseinsberechtigung. Lancos ist keine Neuentwicklung von AMD sondern war schon lange davor ein öffentlich bekannter Algorithmus den jeder verwenden konnte.
Und das FSR1 der heilige Gral des single frame Upscalings ist, ist auch eine sehr gewagte Aussage.
Bzw. genauer eine die durch ML basierte Foto-Upscaler ist es eigentlich schon bewiesen, dass deutlich hochwertigeres single frame upscaling möglich ist.
Und selbst proprietäre spatiotemporale Upscaler müssen erstmal irgendwie FSR2 schlagen, damit sie eine Daseinsberechtigung haben.[/QUOTE]
Wow ein schlechter spatialer Upscaler mehr.. :uclap:
Fast jeder aktuelle Upscaler ist ein spatialer Upscaler.
Der einzig aktuell breit verfügbare temporale Upscaler ist DLSS3, wobei "breit verfügbar" auch schon eine Übertreibung ist.
aufkrawall
2022-11-01, 14:49:51
Nennt sich AA.
was mir aufgefallen ist: der RT-Schatten wurde schärfer
Die Schatten sind nicht Schärfer, die Auflösung wurde rekonstruiert.
Wobei man solche Schatten mit RT ja nicht gerade will, man will ja endlich Schatten mit sinnvoller variabler Softness.
basix
2022-11-01, 17:29:02
Interessant ist dabei evtl, dass die RT-Effekte mit der Ausgabeauflösung mitskalieren und nicht wie bei vielen Spielen an der Rendering-Auflösung hängen. Ob das generell beim MetalFX Upscaling so ist, ist eine andere Frage.
DrFreaK666
2022-11-01, 18:00:07
Nennt sich AA.
siehe basix.
Hast wohl vergessen
aufkrawall
2022-11-01, 18:09:14
Interessant ist dabei evtl, dass die RT-Effekte mit der Ausgabeauflösung mitskalieren
Oder die Schatten sind gar kein RT. "Schärfer" sind sie trotzdem nur durch DrFreaK666's Guckloch in die Realität...
DrFreaK666
2022-11-01, 18:42:28
Oder die Schatten sind gar kein RT. "Schärfer" sind sie trotzdem nur durch DrFreaK666's Guckloch in die Realität...
Hast du dir das Video angeschaut?
"... ray trace scene with many reflections and shadows".
Übersetze es mal für mich auf Deutsch oder schau dir das Video an!
fondness
2022-11-01, 21:58:22
Ist bekannt wieviel sie vom FSR Code kopiert haben? :D
basix
2022-11-02, 09:20:45
Glaube nicht, dass das Apple notwendig hat. Anyway: Falls sie etwas übernommen haben, gibt es entsprechende SW-Lizenzbedingungen bei FSR ;)
Ist bekannt wieviel sie vom FSR Code kopiert haben? :D
Vermutlich den lancos Scaler, den AMD zuvor schon "kopiert" hat.
Tobalt
2022-11-02, 11:03:01
Was ist an einer Lanczos Interpolation denn auch speziell? Wird doch seit Jahrzehnten überall verwandt.
basix
2022-11-02, 11:20:32
Bei FSR wird aktiv Ringing unterdrückt. Ist also nicht "reines" Lanczos.
Badesalz
2022-11-02, 11:42:29
Das ist glaub ich das erste mal, auch wenn mich das bisschen ärgert ;) daß mir sowas eher gefällt als nicht gefällt...
Auch wenn KLAR sein sollte, daß die Stellen die da gezoomt werden nicht wahllos gewählt wurden. Das ist wie bei NVs DLSS Promos ja auch. Um wirklich was darüber zu erzählen bräuchten wir beide Videos jeweils native. Am besten in Alparysoft LVC ;)
Was ist an einer Lanczos Interpolation denn auch speziell?
Nichts, AMD hat eben den schönen Namen "FSR" draufgeschrieben.
Bei FSR wird aktiv Ringing unterdrückt. Ist also nicht "reines" Lanczos.
Lanczos ist parametrisierbar, je Nachdem ob einem Schärfe, Artefaktfreiheit etc. wichtiger ist.
Auch daran ist nichts neu in FSR, es wird eben eine Einstellung gewählt die relativ geringes Ringing erzeugt.
Das ist wie bei NVs DLSS Promos ja auch. Um wirklich was darüber zu erzählen bräuchten wir beide Videos jeweils native. Am besten in Alparysoft LVC ;)
Kannst ja gerne den Samplecode laden und damit herumspielen bis du alles siehst was du sehen willst.
Ist ja nicht so als ob der nicht verfügbar wäre.
Tobalt
2022-11-03, 06:50:30
Bei FSR wird aktiv Ringing unterdrückt. Ist also nicht "reines" Lanczos.
Die Unterdrückung von Ringing ist doch gerade die Stärke des Lanczos Kernels.
Durch die Fensterfunktion führt der Lanczos-Filter zu weniger Ringing als bei einem abgeschnittenen Sinc-Filter.
basix
2022-11-03, 08:28:34
Die Unterdrückung von Ringing ist doch gerade die Stärke des Lanczos Kernels.
Lanczos führt aber trotzdem zu Ringing. Nvidias Filter sind zum Teil Lanczos basiert und Ringing ist dort deutlich ausgeprägter. FSR1 macht zusätzliche Sachen, um Ringing zu vermeiden: https://www.hardwaretimes.com/amd-fsr-vs-lanczos-nvidia-cp-upscaling-comparisons-how-much-of-an-improvement-does-the-former-bring/
https://www.hardwaretimes.com/wp-content/uploads/2021/08/E7-HC-DXIAcgYE7-1024x473.jpg?ezimgfmt=ng:webp/ngcb16
dildo4u
2022-11-12, 19:18:52
6iXx9lfe62w
Daredevil
2025-06-10, 08:59:28
Apple baut offenbar eine "DLSS Converter" Funktion bzw. es ist Bestandteil ihres "Game Porting Toolkits 3", womit man Windows Spiele auf den Mac bekommt.
https://s1.directupload.eu/images/250610/8iwjgtce.png
Mehr gibts hier:
https://developer.apple.com/videos/play/wwdc2025/211?time=133
https://s1.directupload.eu/images/250610/g2sfe5gt.png
basix
2025-06-10, 11:43:36
Das heisst, man nimmt die DLSS API und hooked dort MetalFX rein?
Wieso macht das AMD nicht wie Apple? :) FSR3/4 für alled DLSS Games hört sich gut an (für alle die OptiScaler nicht verwenden können/wollen)
Exxtreme
2025-06-10, 11:48:26
Das heisst, man nimmt die DLSS API und hooked dort MetalFX rein?
Wieso macht das AMD nicht wie Apple? :) FSR3/4 für alled DLSS Games hört sich gut an (für alle die OptiScaler nicht verwenden können/wollen=
AMD macht das wahrscheinlich nicht weil "divide et impera". Würde AMD sowas machen dann wäre FSR instantan tot weil das niemand mehr einbauen würde. Zudem müsste man sämtlichen auch subtilen API-Änderungen hinterherprogrammieren. Bei Apple ist das nicht so weil Apple sowieso ein eigenes Universum ist.
Daredevil
2025-06-10, 11:54:07
Das heisst, man nimmt die DLSS API und hooked dort MetalFX rein?
Wieso macht das AMD nicht wie Apple? :) FSR3/4 für alled DLSS Games hört sich gut an (für alle die OptiScaler nicht verwenden können/wollen=
Gute Frage nächste Frage. :D
Apple kann ja FSR bereits aktivieren in unterstützen Games und hat ihr ( altbackenes ) MetalFX, aber DLSS ist einfach deutlich verbreiteter, insofern macht es natürlich Sinn, den Entwicklern das Leben nicht zu erschweren, wenn sie ein Spiel auf MacOS Portieren, sondern irgendwie "beides" anbietet zu können. Also das man auch DLSS Spiele brauchbar auf den Mac bekommt, wenn es FSR oder ähnliches einfach nicht gibt.
Hier das Gaming Update, der Dude zeigt ziemlich gut, was im Gaming per Emulation geht und was nicht:
RCLdFSWgLW4
Erste Benchmarks zeigen respektable Verbesserungen in der GPTK Performance. ( Cyberpunk Benchmark )
https://s1.directupload.eu/images/250610/hvhyq5gz.png
basix
2025-06-10, 11:55:16
AMD macht das wahrscheinlich nicht weil "divide et impera". Würde AMD sowas machen dann wäre FSR instantan tot weil das niemand mehr einbauen würde. Zudem müsste man sämtlichen auch subtilen API-Änderungen hinterherprogrammieren. Bei Apple ist das nicht so weil Apple sowieso ein eigenes Universum ist.
Native FSR4 Implementation inkl. offenem Source Code für die Entwickler und Treiber-Feature (DLSS to FSR Override) sind ganz unterschiedliche Flughöhen. Es geht ja primär um Games, die kein FSR4 nachgereicht bekommen werden (die meisten älteren Games mit DLSS2+ Support).
Es liegt an AMD, ihren Käufern die bestmögliche Lösung anzubieten (FSR4 in möglichst vielen Spielen anzubieten) und gleichzeitig die Entwickler zu überzeugen, die paar Stunden für eine native FSR4 Integration auch zu investieren. So überzeugt man Leute, ihre Produkte zu kaufen.
Exxtreme
2025-06-10, 12:02:13
Native FSR4 Implementation inkl. offenem Source Code für die Entwickler und Treiber-Feature (DLSS to FSR Override) sind ganz unterschiedliche Flughöhen. Es geht ja primär um Games, die kein FSR4 nachgereicht bekommen werden (die meisten älteren Games mit DLSS2+ Support).
Es liegt an AMD, ihren Käufern die bestmögliche Lösung anzubieten (FSR4 in möglichst vielen Spielen anzubieten) und gleichzeitig die Entwickler zu überzeugen, die paar Stunden für eine native FSR4 Integration auch zu investieren. So überzeugt man Leute, ihre Produkte zu kaufen.
Wenn die Entwickler mitbekommen, dass Spiele automatisch FSR-Support haben wenn sie DLSS implementieren dann war's das mit der FSR-Implementierung. Jetzt noch FSR dediziert zu implementieren würde nur die Kosten nach oben treiben und keinen Nutzen haben. FSR-Support würde sofort rausfliegen und man würde die Kosten an AMD auslagern. Dass AMD das nicht macht ist verständlich.
Und wer noch DLSS2-Spiele hat, der kann Optiscaler nutzen.
Wieso macht das AMD nicht wie Apple? :) FSR3/4 für alled DLSS Games hört sich gut an (für alle die OptiScaler nicht verwenden können/wollen)
Das ist nichts für den Enduser, das Gameporting Toolkit ist nur für Demozwecke für Entwickler gedacht um zu checken ob es überhaupt sinnvoll ist ihre Spiele zu Portieren.
Apple will natürlich, dass die Entwickler für den Endkunden eine native Metal-Portierung zur Verfügung stellen
Daredevil
2025-06-10, 13:39:18
Das ist zumindest die ursprüngliche Idee. Da Entwickler aber offenbar überhaupt kein Bock haben ihre Spiele zu portieren, wird das GPTK u.a. von Crossover 25 bzw. Mythic als Open Source Alternative genutzt, um eben Windows Spiele ( mit bewussten und bekannten Hickups ) zum laufen zu bekommen.
Mythic z.B. lässt sich direkt mit dem Epic Games Launcher verbinden, man kann dort Spiele direkt laden und wenn man auf Launch drückt, schaut man halt ob es läuft, oder eben nicht. Und jedes Prozent mehr Leistung, jedes Feature mehr und jedes Spiel was jetzt auf einmal läuft, ist natürlich Gold Wert für den ausgetrockneten Gaming Markt.
Durch die Windows Emulation sind Windows Games so oder so "langsamer als sie sein sollten", deswegen immerhin schön, das Apple dort am Ball bleibt, auch wenn es natürlich stiefmütterlich behandelt wird. Indie Games bekommt man aber schon ordentlich zum laufen und für dickere Titel muss man halt unnötig viel Compute drauf werden, damit man annehmbare Ergebnisse bekommt. ARM Nativ sieht das natürlich alles anders aus. Da hat man ein effizientes und brauchbares Ergebnis.
https://i.imgflip.com/sw3j2.jpg?a485856
robbitop
2025-06-10, 15:19:42
und hat ihr ( altbackenes ) MetalFX
Da sollte man nicht pauschalisieren. Unter dem Label MetalFX Upscaling gibt es ein Spektrum von Spatial Upscaling, Temporal Upscaling (mit Algoritmus) und NN Upsampling (mit temporal super sampling - nutzt die NPU). Letzteres sollte schon recht brauchbar sein. Auf der WWDC25 wurde sogar Frame Generation und Ray Reconstruction Äquivalente von Apple unter dem MetalFX Label vorgestellt: https://www.computerbase.de/news/betriebssysteme/metalfx-frame-interpolation-und-denoising-frame-generation-und-ray-reconstruction-von-apple.93069/
---------------
Warum AMD das nicht macht? Weil das wenn es nur generisch übergestülpt wird, oft nicht sauber funktionieren würde oder das Spiel crashen lassen würde oder aber gar nicht erst starten würde. Sieht man ja an Optiscaler. Manchmal gehts und manchmal muss man frickeln und manchmal geht es überhaupt nicht (wohingegen spielespezifische Mods dann eben doch funktionieren). Und jeder Patch, jeder andere Launcher oder Kopierschutz (oder patch von denen) kann Funktionierendes wieder kaputt machen. Das muss komplett gebabysittet werden.
Das wäre eine fürchterliche user experience. Da hätte man IMO nur eine Chance wenn man das per whitelist erstellt und ein Team dahinter hat, was spielespezifische Profile anlegt und diese auch pflegt.
Sicherlich nicht unmöglich aber braucht eben ordentlich Ressourcen. (= full time Leute)
Daredevil
2025-06-10, 16:04:31
Das wäre eine fürchterliche user experience. Da hätte man IMO nur eine Chance wenn man das per whitelist erstellt und ein Team dahinter hat, was spielespezifische Profile anlegt und diese auch pflegt.
Sicherlich nicht unmöglich aber braucht eben ordentlich Ressourcen. (= full time Leute)
Genau das macht das Team von Crossover, obwohl das eigentlich Apples Job sein sollte. :D
Zu dem altbacken:
Das es dies theoretisch gibt ist mir klar, ich habe die guten Beispiele allerdings in freier Wildbahn noch nicht gesehen. Resident Evil Village ist nicht unbedingt ein Augenschmaus. Das sieht aus wie AMD Technik von vor 4 Jahren, deswegen mein Urteil darüber.
Es ist schön, das es da ist, es bringt sicherlich mehr Frames, es ist aber LastLastGen, wo alles einfach ein wenig matschig wurde mit AI Upscaling.
Man achte auf die Details im Schal und im Gesicht. Ho Lee Fuck.
https://www.youtube.com/watch?v=2vrk15XH634
https://s1.directupload.eu/images/250610/c6kp6hna.png
https://s1.directupload.eu/images/250610/u5gn3wnm.png
Ich erhoffe mir von Cyberpunk2077, dass dies ein Leuchtturmprojekt wird, schließlich verzögert sich der Release schon zwei Quartale. Entweder hat CDPR alles umgeschichtet zum Switch Release, oder sie polishen es so gut, dass es uns die Hosen auszieht. Hoffe auf zweites, befürchte ersteres. :D
Mit dem M1 Max 2021 dachte ich mir "geil, damit zockste halt mal ein paar Games nebenbei" und habe deswegen u.a. auch den Max genommen. Heute habe ich nen M3 Ultra und denke mir genau das gleiche. Die GPU berechnet aber selten Spiele, sondern nur irgendwelchen AI Shit und ab und an mal WoW. Ne 5000€ Maschine für WoW... und das hat nicht mal MetalFX Features. :D
Vielleicht wurde es ja mit der Zeit auch besser. Habe da keine Infos zu, müsste ich mir mal selber anschauen bei aktuellen Titeln.
Man achte auf die Details im Schal und im Gesicht. Ho Lee Fuck.
https://www.youtube.com/watch?v=2vrk15XH634
https://s1.directupload.eu/images/250610/c6kp6hna.png
https://s1.directupload.eu/images/250610/u5gn3wnm.png
Naja, die müssen ja auch mit der Leistung ihrer NPU haushalten, und die ist halt deutlich geringer als von großen GPUs. Da ist man natürlich mit dem Modell auch eingeschränkt, das ist vermutlich noch mal geringer als der DP4a-Modus von XeSS.
Für die Hardware mit der es zurechtkommen muss sieht es schon verdammt gut aus, da schauen alle Handhelds dagegen alt aus.
Genau das macht das Team von Crossover, obwohl das eigentlich Apples Job sein sollte. :D
Dass ist nicht Apples ziel, die wollen Entwickler für ihre Plattform begeistern und nicht denen die Arbeit abnehmen indem sie die Windows-Version in unvermeidlich inferiorer Fassung für sie lauffähig bekommen.
basix
2025-06-13, 08:42:03
MetalFX kommt neu auch mit Frame Generation und Ray Reconstruction:
https://www.computerbase.de/news/betriebssysteme/metalfx-frame-interpolation-und-denoising-frame-generation-und-ray-reconstruction-von-apple.93069/
vBulletin®, Copyright ©2000-2025, Jelsoft Enterprises Ltd.