Kamera-Benchmark (horizontale Auflösung)

[Geldmann3]

Zuerst ein Disclaimer:
Die hier beschriebene, von mir erstellte Testmethode liefert bei weitem keine exakten Ergebnisse, es gibt viele Faktoren, welche für nicht insignifikante Messabweichungen sorgen können und werden. Jedoch erhoffe ich mir mit einer größeren Anzahl von durchgeführten Benchmarks der Community, dass wir die Spreu vom Weizen trennen können. Zum Beispiel würde ich gerne erfahren, ob aktuelle Kompaktkameras Smartphones deutlich in ihrer effektiven Auflösung schlagen können. Auch bin ich gespannt, ob Vollformat-Kameras selbst die kleinsten Linienpaare noch sauber abbilden können.

Ihr benötigt:

Eine Kamera, egal ob Smartphone, Kompaktkamera oder ein anderer Kameratyp.
Einen Monitor oder TV mit einer Auflösung von mindestens 3840x2160 Pixeln. (4k)


Durchführung:

1. Öffnet dieses Testbild im Vollbildmodus:
https://i.ibb.co/5TTPbpC/Camera-Benchmark.png (https://i.ibb.co/kBVLSdW/Improved.png)
Im Chrome ruft ihr diesen mit F11 auf.

2. Stellt euren Monitor/TV auf die maximal verfügbare Helligkeitsstufe.

3. Prüft, falls möglich, ob das Bild wirklich unskaliert und mit voller Farbabtastung auf eurem Monitor wiedergegeben wird. Im letzten Schwarz-Weiß-Muster sollte sich eine weiße Pixelreihe mit einer Schwarzen abwechseln und im letzten Farbmuster sollten sich (in der Regel) die Farben Rot, Grün, Blau, Schwarz in den Pixelreihen abwechseln.

So sieht das Ganze korrekt dargestellt auf meinem OLED-Panel aus:
https://i.ibb.co/p3X5x18/20210629-235145.jpg (https://i.ibb.co/fC0L2X5/20210629-235145.jpg)

So sieht das Ganze mit Farbunterabtastung aus, was TVs gerne mal per Default tun. (Falsch!):

https://i.ibb.co/Kwx23FY/20210629-235330.jpg (https://i.ibb.co/16Grw83/20210629-235330.jpg)
Wie man sieht, werden im Bild nicht alle Farben korrekt dargestellt.


4. Richtet eure Kamera so auf den Monitor/TV aus, dass alle 4 Seiten des roten Randes noch sichtbar im Bild sind.
Geht dabei so nah wie möglich an den Monitor bzw. den TV heran.

5. Postet die Aufnahme hier.

Natürlich dürft ihr unterschiedliche Aufnahmen mit unterschiedlichen Kameras und unterschiedlichen ISO-Einstellungen (falls vorhanden) posten.

##############################################

Hier das Ergebnis der Hauptkamera meines Galaxy S21 Ultra 5G mit ISO-100:

https://i.ibb.co/J3yjDJh/20210630-001853.jpg (https://i.ibb.co/MBGkF0X/20210630-001853.jpg)

Wie man sieht, beginnt das Phone bei den letzten 2 Mustern stark zu versagen. Finde es ja lustig wie mein Phone die Option bietet 8k Videos aufzuzeichnen, jedoch nicht mal in der Lage ist 4k sauber abzubilden. ^^ Wobei ich mir vorstellen kann, dass man durch die Pixelstruktur eben eine wesentlich höhere Samplingrate der Kamera benötigt, um das 4k Muster abzubilden. Dann haben wir noch sowas wie Bayer-Filter, was meist die Farbauflösung heutiger Kameras verringert... Doch wir werden sehen wie viel besser bzw. schlechter das mit anderen Geräten geht und ob waschechte Kameras dem 4k Muster deutlich besser gewachsen sind. Vermutlich werden wenigstens die meisten aktuellen Smartphones ähnliche Ergebnisse liefern und ,,gute Kameras" sollten wenigstens das 4k Schwarz-Weiß-Muster sauber schaffen. Wir werden sehen. :)

[HisN]

War früh am Morgen schätze ich. Kein Testbild und leere Spoiler, oder Dein Bilderhoster wird von mir geblockt :-(

Edit: Ist mein Pi.Hole. Mag Deinen Bilderhoster nicht. Sorry für die Bemerkung.

[seaFs]

Dass der Sensor 4k aufzeichnen kann bedeutet noch lange nicht, dass die Optik das auch weitgehend verzerrungsfrei und vor allem scharf auf die Sensorebene bringt. Nicht umsonst kosten Objektive so viel wie eine ganze Kamera. Im Telefon mit beengten Platzverhältnissen lassen sich Abbildungsfehler noch schlechter vermeiden. Software darf das dann wieder ein wenig geradeziehen. Das schreit dann schon nach einem Vergleich mit RAW-Material, schon allein um Kompressionsartefakte auszuschließen.
Dann müsste noch festgehalten werden, wie weit die Bildebene der Kamera vom Gegenstand (Monitor) entfernt ist, welches Sichtfeld genutzt wird usw. Ich vermute, dass es in diversen Kamerareviews schon gute Standardverfahren gibt, um Qualitätsvergleiche zu erstellen.

[Geldmann3]

Dass der Sensor 4k aufzeichnen kann bedeutet noch lange nicht, dass die Optik das auch weitgehend verzerrungsfrei und vor allem scharf auf die Sensorebene bringt. Nicht umsonst kosten Objektive so viel wie eine ganze Kamera. Im Telefon mit beengten Platzverhältnissen lassen sich Abbildungsfehler noch schlechter vermeiden. Software darf das dann wieder ein wenig geradeziehen. Das schreit dann schon nach einem Vergleich mit RAW-Material, schon allein um Kompressionsartefakte auszuschließen.
Dann müsste noch festgehalten werden, wie weit die Bildebene der Kamera vom Gegenstand (Monitor) entfernt ist, welches Sichtfeld genutzt wird usw. Ich vermute, dass es in diversen Kamerareviews schon gute Standardverfahren gibt, um Qualitätsvergleiche zu erstellen.

Klar, Du hast Recht. Chip.de hat zum Beispiel Standards dafür. Was für die Community daheim allerdings praktisch nicht umzusetzen ist. Am besten sollte der Testende auch noch das Modell des Monitors sowie die Brennweite, ISO und Belichtungszeit dazuschreiben. Auch ist es ein Unterschied, ob man die Kamera per Hand hält oder auf einem Stativ platziert. An dieser Stelle möchte ich es den Leuten so einfach wie möglich zum daheim Testen machen, oft sollten die Daten auch noch in den Metainformationen der Fotos enthalten sein. Daher auch der Disclaimer am Anfang. Ein ,,Testlabor" erzielt wesentlich präzisere Ergebnisse. Hier spielen viele Variablen mit. Je mehr Informationen, desto besser. Wobei das Verfahren in meinen kurzen Tests ,,konsistent genug" war, um wenigstens unterschiedliche Klassen von Bildqualität verlässlich separieren zu können.

Habe vor am Ende sozusagen eine Galerie mit Vergleichsbildern zu erstellen, falls genügend zusammenkommen.
Viele Modelle fehlen mir einfach bei den großen, offiziellen Reviews.
Auch bekommt man selten die Möglichkeit, wie hier, völlig unterschiedliche Geräteklassen zu vergleichen.

[Rooter]

Nette Idee aber alles außer RAW macht hierbei keinen Sinn. Vor allem JPEG nicht.

MfG
Rooter

[Geldmann3]

Nette Idee aber alles außer RAW macht hierbei keinen Sinn. Vor allem JPEG nicht.

MfG
Rooter

Warum bist Du dieser Auffassung? Wegen der Farbunterabtastung oder der Kompression? Ist mir schon klar, dass die enthalten ist. JPEGs sind das, was die meisten heute herausbekommen, wenn sie Bilder machen.


Raws kann man leider nicht einfach im Browser öffnen.
Nicht alle Geräte beherrschen überhaupt Raws.
Bring mal die Leute dazu sich hier die Mühe zu machen ein Raw von ihrer Kamera zu exportieren, es in .png zu konvertieren und hier zu posten. Sicher tun das einige, doch den meisten wird es schon genug Arbeit am Abend sein, solch ein Testbild anzufertigen.


Gerne dürfen natürlich aus Raw konvertierte PNGs gepostet werden, wäre sogar wünschenswert. Die darf man dann natürlich nicht mit der JPEG-Qualität desselben Gerätes vergleichen, wegen z.b. Farbunterabtastung. Vielleicht wäre das eine ganz gute Gelegenheit den Leuten mal zu zeigen, was sie mit JPEGs an Qualität liegen lassen. Viele denken nämlich immer nur an den niedrigeren Dynamikumfang. ;) Wobei der Bayerfilter bei vielen Kameras für sich alleine ja bereits für eine Farbunterabtastung sorgt.

[Rooter]

Die Farbunterabtastung lässt sich ja abschalten, die Kompression aber nicht. Auch Qualität auf 100 ist nicht verlustfrei.

MfG
Rooter

[Geldmann3]

Naja, hier mal das Originalbild als JPEG komprimiert.
Was nicht als Referenzbild genommen werden sollte, bitte das unkomprimierte .png aus dem Eingangspost verwenden!

https://i.ibb.co/L066zHN/Camera-Benchmark.jpg (https://i.ibb.co/zmbbhD6/Camera-Benchmark.jpg)

Den farbigen Linien in der letzten Spalte kann man dennoch knapp folgen. Wenn man dies noch mit der viel höheren Bildauflösung, welche man aus Kameras bekommt, kombiniert, sollte JPEG hier kein tödlicher Faktor sein. Wobei Raw -> PNG, natürlich das Optimum ist. ;) Doch es stellt eben auch einen Mehraufwand für die meisten dar.

[Nuon]

Hier ein Bild von meinem Asus Zenfone 7.
Ich habe das JPG als gecropptes PNG hochgeladen, weil ich auf die schnelle die EXIF- und GEOlocationdaten nicht entfernen konnte, ohne das Bild nochmals zu komprimieren.
https://i.ibb.co/KDWcLX4/P-20210630-221641-1-crop.png (https://ibb.co/KDWcLX4)
Ich habe das Bild aus der Hand geschossen, ohne Verstellen der Monitorhelligkeit. (1/50stel Sek.)

Einen Vorschlag hätte ich noch, wäre es nicht besser die Auflösungsstufen nicht spaltenweise sondern wie bei einem Siemensstern anzuordnen, damit jede Auflösung in der Bildmitte sowie am Rand vorkommt?

[Geldmann3]

Dein Bild lässt sich nicht öffnen, weil das Forum den Link leider durch einen Werbelink ersetzt. Musste ihn aus dem Quelltext rausfummeln.

Tipp, hier kannst Du die persönlichen Informationen unter Windows schnell aus einem Bild entfernen:

https://i.ibb.co/3mGwhPW/Remove-Personal-Information.png

Wobei es zu bevorzugen wäre, wenn Du nur die Geolocation-Daten entfernst, denn Details wie ISO, Blende etc. könnten bei späteren Auswertungen eventuell noch ganz nützlich sein.

Den Siemensstern halte ich für die Darstellung auf einem Monitor für so einen Test für nicht optimal, da er nicht sauber in einem Pixelgrid abgebildet werden kann. Würde man es ausdrucken, wäre es etwas anderes. Das kann ich hier jedoch kaum verlangen.^^

Habe gerade über eine Stunde lang versucht in Photoshop ein Muster zu erstellen, welches die kleinen Linien auch noch einmal in der Mitte des Bildes abbildet, doch das Ergebnis gefiel mir nicht. Heute und gestern ist mir beim Erstellen dieser Grafiken zum ersten Mal im Leben aufgefallen, dass man mit Photoshop nicht wirklich Pixelgenau arbeiten kann. Das entscheidet sich gerne mal dazu eine Linie einen Pixel dicker oder dünner zu zeichnen, selbst, wenn ich das Scaling auf ,,nearest neighbor" eingestellt habe. Daher habe ich es nun gelassen. :D Jede weitere Spielerei hat auch irgendwie wieder von der Einfachheit des Testbildes abgelenkt. Wobei der Verbesserungsvorschlag prinzipiell gut ist, denn die meisten Optiken verlieren nach außen hin Schärfe.

Edit: Puh, ich habe gerade mal versucht das mit Raw-Aufnahmen zu machen. Wollte eine Reihe mit ISO 50, 100, 200, 400, 800, 1600 und 3200 hochladen, doch ich lasse es jetzt ganz und wiederhole das morgen einfach mit JPEGs. Es ist ein Pain in the Ass mit den Raws zu hantieren, ich sehe die Metainformationen erst, nachdem ich die .dng Files mit Photoshop erneut gespeichert habe und weiß daher nicht, was ich im Fileexplorer vor mir habe, nicht jedenfalls über die Metainformationen in Windows. Erst via Photoshop bekomme ich diese Infos. Das will ich leider weder mir noch anderen hier zumuten. Doch wer möchte, kann es natürlich gerne tun. Es hat ja auch nicht jeder die Tools dafür auf dem Rechner. Weiterhin ergibt sich anhand dieser Bilder kein Mehrwert für mich aus den Raws. Linien die im Raw nicht zu verfolgen sind, sind es auch nicht in JPEG und umgekehrt. Raw ist das beste Format an dieser Stelle doch Zeitkosten/Nutzen-Faktor halte ich hier für Maßlos übertrieben. Der Vorteil von JPEG-Files ist eben auch, man kann sie einfach hochladen und zack hier posten.

Edit2: Hier mal ein Vergleich (https://imgsli.com/NTk0ODg) zwischen dem S21 Plus Ultra 5G und dem Asus Zenfone 7. Dieses Foto vom S21 habe ich noch aus Raw konvertiert, doch wie gesagt, das tut im Endeffekt nicht viel zur Sache.

[sebastian1]

Ein paar Testbilder kann ich auch beisteuern. Wie einige schon erwähnt haben, ist die Auflösung sehr stark von der verwendeten Linse abhängig. Die beiden Pro-Objektive von Olympus können z.B. deutlich mehr als 20MP auflösen. Mit dem 80MP Pixel-Shift-Modus der M1 Mark II sind die 4K Linien sehr sauber unterscheidbar. Bei der älteren Olympus M10 (16MP) ist dies hingegen nicht möglich.

Dennoch muss ich sagen, dass selbst bei den heutigen Bildschirmen die Schärfe etwas überbewertet wird. Aber die Entwicklung bleibt nicht stehen und wenn ich in 10 Jahren vor einem 38" Monitor mit 8K Auflösung sitze, freue ich mich über die hoch aufgelösten Bilder die auf heutigen 4K oder sogar FullHD Bildschirmen noch keine nennenswerten Vorteile bringen.

https://i.ibb.co/ggH2WqD/Bilder.jpg (https://ibb.co/ZTtjg4h)


P3a:
https://i.ibb.co/k2zfhCk/P3a.jpg (https://ibb.co/k2zfhCk)

O10_12-40_4:
https://i.ibb.co/dKjgwLN/OLYMPUS-DIGITAL-CAMERA.jpg (https://ibb.co/dKjgwLN)

O1_12-40_2,8/O1_12-40_4
https://i.ibb.co/3dwWw8N/OLYMPUS-DIGITAL-CAMERA.jpg (https://ibb.co/3dwWw8N) https://i.ibb.co/dK0DHpF/OLYMPUS-DIGITAL-CAMERA.jpg (https://ibb.co/dK0DHpF)

O1PS_12-40_4_OOC/ O1PS_12-40_4_LR
https://i.ibb.co/R6KBdtr/OLYMPUS-DIGITAL-CAMERA.jpg (https://ibb.co/R6KBdtr) https://i.ibb.co/pfkzpfR/OLYMPUS-DIGITAL-CAMERA.jpg (https://ibb.co/pfkzpfR)

O1_25_4 / O1PS_25_4_LR
https://i.ibb.co/HTFL4pR/OLYMPUS-DIGITAL-CAMERA.jpg (https://ibb.co/HTFL4pR) https://i.ibb.co/XShPyqg/OLYMPUS-DIGITAL-CAMERA.jpg (https://ibb.co/XShPyqg)

Info:
OOC = out of cam, LR = Raw in Lightroom entwickelt

[Geldmann3]

Danke für die Bilder, beeindruckende Qualität!
Habe bisher kaum etwas gesehen, was so nah dran ist, sogar die letzten farbigen Linienpaare korrekt abzubilden.

Im Folgenden ein Vergleich der Maincam des Samsung Galaxy S21 Ultra 5G sowie des Samsung Galaxy S10 Plus.
Schon seit längerem habe ich mich gefragt, wie groß der praktische Auflösungssprung zwischen 2 Smartphone-Generationen ist.
Die angezeigten Werte entsprechen grob dem Prozentsatz der auf dem Testbild noch korrekt abgebildeten Linienpaare.
Man sieht sehr gut, dass sich der größere Sensor mit seiner höheren Auflösung im S21 Ultra 5G lohnt. Meine Befürchtung war es um ehrlich zu sein gar keine Verbesserung beim S21 zu sehen. Auch spannend, dass beide selbst bei ISO 3200 noch 70%+ aller Linien abbilden können, obwohl der Dynamikumfang bei solch einer hohen Lichtempfindlichkeit natürlich stark nachlässt.
Trotz zweier Generationen Abstand sind die Resultate beider Smartphones sehr nah beieinander, es scheint jedoch eine messbare, iterative Verbesserung stattgefunden zu haben.

https://i.ibb.co/GMWRJ6t/Samsung-Galaxy-S21-Ultra-5-G-vs-Samsung-Galaxy-S10.png


Auch ganz interessant, der Vergleich zwischen den 2 im Pro-Mode auswählbaren Kameras des Samsung Galaxy S21 Plus Ultra 5G. Man sieht sehr gut, dass die Ultra Wide Kamera am besten nur dann eingesetzt werden sollte, wenn man das gewünschte Resultat wirklich nicht mit der Hauptkamera erzielen kann. Insbesondere bei ISO 3200 bleiben nur noch 40% aller Linienpaare erhalten, was für die meisten Zwecke einer schlicht unbrauchbaren Qualität entspricht. Bis einschließlich ISO 400 befinden wir uns mit der Ultrawide Kamera offensichtlich am Auflösungslimit des 12 Megapixel Sensors, weshalb dieser selbst bei sehr guten Lichtverhältnissen zu keinem Zeitpunkt an die Auflösung des 108 Megapixel-Hauptsensors herankommt. Für die neunfache Sensorauflösung ist die erreichte 12%ige Verbesserung bei ISO 100 allerdings nicht gerade eine Glanzleistung.
Anzumerken ist hierbei, dass das Samsung Galaxy S21 Ultra 5G zwar über 5 Kameras verfügt, davon allerdings nur diese Zwei im ,,Pro Mode" ausgewählt werden können.

https://i.ibb.co/M91BQVz/Samsung-Galaxy-S21-Ultra-5-G-2-Cams.png


Hier in Relation dazu nochmal die Werte des Samsung Galaxy A50, welches nun knapp über 2 Jahre alt ist, jedoch nie ein High-End Flagschiff war.
Es kämpft immerhin mit der Ultra-Wide-Kamera des aktuellen Flagschiffs.
Falls ihr euch wegen der Unvollständigkeit der Messwerte des A50 wundert, dieses unterstützt nur eine ISO-Range von 100 - 800.

https://i.ibb.co/MDXHBWt/S215-Gvs-A50.png


Quellfotos:
(Sortiert nach Bildqualität bei ISO 100)

Samsung Galaxy S21 Ultra 5G - Wide: (100% BQ)
ISO 50 (https://i.ibb.co/mq4nJWj/ISO50-94p.jpg), ISO 100 (https://i.ibb.co/svm8Rz6/ISO100-97p.jpg), ISO 200 (https://i.ibb.co/xJQCjJZ/ISO200-91p.jpg), ISO 400 (https://i.ibb.co/23t7xwL/ISO400-89p.jpg), ISO 800 (https://i.ibb.co/PDMzM4F/ISO800-85p.jpg), ISO 1600 (https://i.ibb.co/gvtvsRc/ISO1600-80p.jpg), ISO 3200 (https://i.ibb.co/sqKtc7b/ISO3200-74p.jpg)
ISO Graphen anzeigen (https://i.ibb.co/bvc125c/IsoGraph.png)

Samsung Galaxy S10 Plus: (93% BQ)
ISO 50 (https://i.ibb.co/vzQkr75/ISO50-92p.jpg), ISO 100 (https://i.ibb.co/TP45KPh/ISO100-90p.jpg), ISO 200 (https://i.ibb.co/hCVZQwK/ISO200-90p.jpg), ISO 400 (https://i.ibb.co/crDK2b1/ISO400-83p.jpg), ISO 800 (https://i.ibb.co/HtfHXSv/ISO800-83p.jpg), ISO 1600 (https://i.ibb.co/cL0ZMZ4/ISO1600-79p.jpg), ISO 3200 (https://i.ibb.co/9hd7g3W/ISO3200-70p.jpg)
ISO Graphen anzeigen (https://i.ibb.co/g62bZBk/Unbenannt.png)

Samsung Galaxy A50: (89% BQ)
ISO 100 (https://i.ibb.co/zb7ggmf/ISO100-86p.jpg), ISO 200 (https://i.ibb.co/yXMsg3v/ISO200-82p.jpg), ISO 400 (https://i.ibb.co/S3wyb8R/ISO400-79p.jpg), ISO 800 (https://i.ibb.co/ZVgTNrH/ISO800-79p.jpg)
ISO Graphen anzeigen (https://i.ibb.co/pdqXbsF/IsoGraph.png)

Samsung Galaxy S21 Ultra 5G - Ultra Wide: (88% BQ)
ISO 50 (https://i.ibb.co/KsvYsrP/ISO50-85p.jpg), ISO 100 (https://i.ibb.co/wzB92jr/ISO100-85p.jpg), ISO 200 (https://i.ibb.co/SxV2Ysw/ISO200-85p.jpg), ISO 400 (https://i.ibb.co/JcyD8V6/ISO400-85p.jpg), ISO 800 (https://i.ibb.co/JH0YzSM/ISO800-76p.jpg), ISO 1600 (https://i.ibb.co/MsXRVXW/ISO1600-64p.jpg), ISO 3200 (https://i.ibb.co/pW2WtRB/ISO3200-40p.jpg)
ISO Graphen anzeigen (https://i.ibb.co/KXzbnMj/IsoGraph.png)

Natürlich würde ich mich über weitere Posts mit Bildmustern freuen und diese bei Gelegenheit gerne in diese stetig wachsende Datenbank hier mit einreihen bzw. gerne weitere Vergleiche erstellen. Dieser Benchmark ist sicher weit weg von der Perfektion, doch ein interessantes, kleines Community Projekt. :D