Depixelizing Pixel Art

[Baalzamon]

Von golem.de (http://www.golem.de/1105/83740.html): Offensichtlich wurde von Johannes Kopf von Microsoft Research und Dani Lischinski von der Hebräischen Universität von Jerusalem ein neuer Algorithmus entwickelt um Pixelgrafiken in skalierbare Vektorgrafiken umzuwandeln. Die Qualität der gezeigten Bilder sieht mMn schon zeimlich gut aus.

Leider ist der Algorithmus noch nicht in der Lage die Berechnung in Echtzeit durchzuführen, aber das ist sicherlich nur eine Frage der Zeit.

Für alte Retrogamer wie mich ist das natürlich eine gute Nachricht. Wenn Spiele wie zum Beispiel Might&Magic III auch hochauflösend laufen dann freut mich das. Natürlich kommen keienn euen Details dazu, aber wenn man das was da ist ohne elendige 'Blur' Filter weichgezeichnet bekommt, dann ist das schon ein ziemlicher Fortschritt.

Bild von golem.de:
http://666kb.com/i/bttg9vxu6pd3d8d8h.jpg
Depixelizing Pixel Art: Toad in 16 x 27 Pixeln (links), Vektordarstellung mit dem Algorithmus von Kopf und Lischinski (Mitte) und hq4x (rechts)

[san.salvador]

Gabs das nicht schon vor Jahren in SNES-Emulatoren? :|

[=Floi=]

finde die vektordarstellung erheblich schöner. die schaut echt heftig aus, aber ein wirkliches ergernis ist das nicht. ms sollte ihre energie eher in wichtige sachen stecken...

[redfalcon]

Gabs das nicht schon vor Jahren in SNES-Emulatoren? :|

Da wurden die Pixel nur hochskaliert, hier werden sie vektorisiert. In dem Paper sind noch viel mehr Beispiele, das sieht echt nicht übel aus.

http://research.microsoft.com/en-us/um/people/kopf/pixelart/paper/pixel.pdf

[Shink]

Gabs das nicht schon vor Jahren in SNES-Emulatoren? :|
Das ist diese HQ4x-Sache die man daneben sieht.
Alle brauchbaren Emulatoren bieten da diverse Algorithmen - der von MS hat auf den ersten Blick die besondere Eigenschaft gleichmäßige Rundungen und spitze Winkel zu erzeugen. Laut dem verlinkten Paper funktioniert das besonders gut bei Comic-Grafik und besonders schlecht bei "pseudo-fotorealistischer Grafik" (siehe Doom-Avatar).
Might&Magic III sieht damit also ziemlich sicher ziemlich bescheuert aus.
Übrigens kann man dieses Spiel natürlich unter DosBox mit den bisher üblichen Algorithmen hochskalieren. Was da gut aussieht und was nicht muss man ausprobieren.

Immer geht das halt nicht gut.

[san.salvador]

Stimmt, da liegt ein kleiner, aber wichtiger Unterschied.
Jetzt hätte ich aber die Vermutung, dass diese Echtzeitvektoren dann bei Bewegung arg "wabern", was man bei groben Pixeln ja nicht sieht.

[Shink]

Jetzt hätte ich aber die Vermutung, dass diese Echtzeitvektoren dann bei Bewegung arg "wabern", was man bei groben Pixeln ja nicht sieht.
Vielleicht ist ja das der Grund dafür:
Leider ist der Algorithmus noch nicht in der Lage die Berechnung in Echtzeit durchzuführen

[Baalzamon]

Vielleicht ist ja das der Grund dafür:
Ich würde eher denken das er einfach noch nicht schnell genug ist, bzw. man da noch tüchtig optimieren und ggf. sogar parallelisieren muss (habe das Paper noch nicht gelesen, keine Ahnung ob der Algorithmus überhaupt parallelisiert werden kann).


Auf einem Single-Core-Rechner mit 2,4 GHz benötigte der noch nicht auf Geschwindigkeit optimierte Algorithmus von Kopf und Lischinski im Median 0,62 Sekunden, um eine Pixelgrafik in eine Vektordarstellung umzuwandeln. Dabei hängt die Geschwindigkeit maßgeblich von der Zahl der extrahierten Kurven ab und variiert zwischen 0,01 und 3,06 Sekunden.


Im Median 0.62 Sekunden reicht halt bei weitem nicht für Echtzeit (25fps = 0.04 Sekunden)

[looking glass]

Wäre aber schon nett so etwas in Echtzeit für Emus bereit zu haben (SNES & Co.) und auch normal für PC ala Dosbox - gerade die Klassiker bei den Adventures wären vielleicht damit richtig hübsch.

[Baalzamon]

Wäre aber schon nett so etwas in Echtzeit für Emus bereit zu haben, gerade die Klassiker bei den Adventures wären vielleicht damit richtig hübsch.
Mein reden. Wenn ScummVM mit so einem 'Bildverbesserer' daherkommt, könnten die sich Monkey Island HD in die Haare schmieren. ;)

[Nighthawk13]

Der Waber-Effekt scheint zumindest beim Golem-Video nicht grossartig aufzutreten.

[Tesseract]

Da wurden die Pixel nur hochskaliert, hier werden sie vektorisiert.
die älteren algorithmen haben auch teilweise vektorisiert, allerdings nicht mit so einem guten ergebnis.

[xiao didi *]

Damit kommt man vielleicht auch einem vollvektorisiertem Userinterface näher und es geht mal voran in Sachen dpi. :)

[gixe]

Im verlinkten paper ist doch auch ein nicht so schönes Beispiel, der "DOOM-Kopft"
Und daran sieht man doch auch die Grenzen. Es funktioniert bei Mario und Joshi so gut weil sie recht wenige Informationen enthalten, und vom Prinzip her schon Vektorisiert sind, unser Hirn ergänzt selbstständig.
Wenn aber eine höhere Auflösung vorliegt, und damit auch mehr Bildinformationen geht es eben nicht, weil unser Gehirn auch automatisch mehr Bildinhalt bei Vergrößerung erwartet, aber das kann man eben nicht herbei zaubern.

[Baalzamon]

Im verlinkten paper ist doch auch ein nicht so schönes Beispiel, der "DOOM-Kopft"
Und daran sieht man doch auch die Grenzen. Es funktioniert bei Mario und Joshi so gut weil sie recht wenige Informationen enthalten, und vom Prinzip her schon Vektorisiert sind, unser Hirn ergänzt selbstständig.
Wenn aber eine höhere Auflösung vorliegt, und damit auch mehr Bildinformationen geht es eben nicht, weil unser Gehirn auch automatisch mehr Bildinhalt bei Vergrößerung erwartet, aber das kann man eben nicht herbei zaubern.
Das hat nichts mit der Anzahl der Pixel zu tun, sondern mit der Art der Bildinformation. Der Doom-Kopf hat 24x29 Pixel, 'Toad' 16x27 (und im Paper sind auch Beispiele die mehr Pixel haben als der Doom-Kopf).

Der Algorithmus funktioniert gut mit 'harten' Farbübergängen und schlecht mit weichen (im Paper Anti-Aliased genannt) Übergängen.

Das hat nichts mit vorvektorisiert zu tun, das unser Gehirn das selbständig ergänzen würde oder das mehr Informationen erwartet werden würden (was man zum Beispiel am Axe Battler sehr gut sehen kann).

Wenn dem so wäre wie du sagst, würde Cel-Shading grundsätzlich nicht funktionieren.

[Lightning]

Auch wenn das Ergebnis im Vergleich zu anderen Algorithmen durchaus interessant ist, ist es für meinen Geschmack dennoch oft zu glatt und rund. Extrembeispiel ist natürlich die Tastatur, die einen völlig anderen Stil abbekommt. Aber selbst bei Comic-Grafik kann einiges stören, mir geht es bei dem Shot von Super Mario World zumindest so.

Bisher konnte mich aber auch noch kein anderer Filter soweit überzeugen, dass ich ihn im Emulator genutzt hätte. Ich geh da lieber mit einem Blurfilter drüber. Unscharf, aber verfälscht das Original-Artwork nicht so sehr.

[hell_bird]

Mein reden. Wenn ScummVM mit so einem 'Bildverbesserer' daherkommt, könnten die sich Monkey Island HD in die Haare schmieren. ;)
Ich fand die mitgelieferten eigentlich gut genug. Ist für jeden Geschmack ein Pixeligkeitsgrad dabei: http://wiki.scummvm.org/index.php/User_Manual/Appendix:_Graphic_filters

[Shink]

Ich geh da lieber mit einem Blurfilter drüber. Unscharf, aber verfälscht das Original-Artwork nicht so sehr.
Dafür wurde das auch gemacht (Röhren-Fernseher)