Signifikanztest AF-Vergleich

[pest]

So, ein kleiner Test meinerseits (kann ich gleich wieder fit in Statistik werden)

Es geht darum, anhand einer Beispielszene festzustellen, ob die BQ von NV in diesem Beispiel signifikant besser als die von ATI ist.
ATI=HD5850 (8xTMSAA, 16xAF), NV=8800GT (8xTMSAA, 16xHQAF).

Vorgehensweise:
Ihr schaut euch die beiden Samples an, und wertet auf einer Nominalskala (1-5), wie gut ihr das Video findet.

Also nicht zwischen Beiden vergleichen, sondern beide unabhängig betrachten und eine Wertung bezogen auf den Eindruck der anisotropen Filterung am Besten im Spoiler abgeben
dabei gilt: 1=super... 3=akzeptabel...5=augenkrebs

nochmal: nicht vergleichen sondern die Videos unabhängig voneinander bewerten


einmal mit nv und einmal mit ati,
http://www.megaupload.com/?d=IAD0LAM2
http://www.megaupload.com/?d=AVDV2M68



Die Nullhypothese lautet:
-mu0=mu1 (d.h. ATI filtert genauso gut wie NV)

Alternativhypothese:
-mu0!=mu1

Ich setzte das Signifikanzniveau auf alpha=0.05 fest

------------------------------
Auswertung erfolgt mittels 2-seitigem t-Test (http://de.wikipedia.org/wiki/T-Test)

Calc-Tabelle

http://www.abload.de/img/t-test1616.png


Die Prüfgröße beträgt: 7,04
Zum Niveau 0.05 und 30 Freiheitsgraden ergibt die T-Verteilung: 2,045

d.h. die Nullhypothese (NV filtert genauso gut wie ATI) ist abzulehnen!
dies heißt: sie filtern nicht genauso gut

die Frage ob NV in diesem Beispiel besser filtert ist unter einer anderen Hypothese zum gegebenen Niveau genauso signifikant.
oder am Ablesen der Mittelwerte ;)

[LovesuckZ]

Soll sich die Bewertung auf das Gesamtbild beziehen?

[pest]

was denkst du? ich ändere das Topic auch gerne auf "BQ-Vergleich"? Ich bin für BQ-Vergleich :)

[LovesuckZ]

was denkst du? ich ändere das Topic auch gerne auf "BQ-Vergleich"? Ich bin für BQ-Vergleich :)

Bei einem AF-Vergleich:
nVidia 2; AMD 4

Bei einem BQ-Vergleich

nvidia 3-; AMD 5

[pest]

hm...da wir uns jetzt aufs AF eingeschossen haben, belassen wir es dabei
es ist einfach zu warm hier :( - ich ändere den Titel+Startpost

und nochmal, bitte nicht vergleichen sondern die Videos unabhängig voneinander bewerten


ATI: 3, NV: 2


Problem was wir noch haben, ist nun, das man Dinge als störend empfinden könnte die nix mit dem AF zu tun haben

[Jake Dunn]

Volliger Mumpitz!

Die Videos hätten mit 1, 2 oder A, B benannt werden müssen, ein Blindtest praktisch ;) (und später sagen welche Vid. von NV oder ATI ist)

Das LZ so abstimmt wundert keinem :rolleyes:

[derguru]

pest schreib ruhig noch bei das es bei der 8800gt HQAF war.
mist hätte ich doch auch gleich ein vid mit default af gemacht,vielleicht lege ich morgen noch das default af der nv bei,nur mal aus neugier.

ATI 3, NV: 2+

[pest]

der Test ist in Ordnung so

ein völliger Blindtest ist bei diesem Sample eh nicht möglich, da das eine Video ruckelt ;)

wer den Test ernst nimmt, macht ihn halt, wer Fanboy-Attitüden hat, lässt sie halt in die Wertung einfließen, das würde so oder so passieren

[Byteschlumpf]

ATI 3 - im oberen Bildbereich mehr Griseln
NV 2+ - ausgewogeneres Gesamtbild


Ich habe allerdings lange gebraucht, um die relevanten Bildbereiche zu finden.

[pest]

ist doch in Ordnung, deswegen machen wir das ja, bewerte einfach die AF-Qualität, wenn du der Meinung bist: jeweils perfekt, dann gib beiden eine 1

@Byteschlumpf (bitte nicht vergleichen, sondern individuell bewerten, sonst sind die Stichproben nicht unabhängig)

edit: nach 10 Mann machen wir eine Auswertung, interessanter ist ja eigentlich Default vs. Default imo

[Frank1974]

ATI: 3, NV: 2

mfg
Frank

[boxleitnerb]

Ich finde die Szene nach wie vor nicht so geeignet, weil der dunkle Waggon für fast die Hälfte der Zeit die nach links Sicht verdeckt. Bevor hier jemand mit Rosinenpickerei kommt: Ja, Grieseln/Flimmern fällt in verschiedenen Situationen unterschiedlich stark aus. Wenn es schon um AF geht, dann fände ich solche Szenen besser, in denen man einen potentiellen Unterschied in so vielen Bildbereichen wie möglich sehen kann.

NV:2, AMD=4

[Schrotti]

nv 2+
ati 3-

[Gast]

ATI = 5
NV = 1
Dazu kann man nichts mehr sagen, ich bekomme davon schon beim Gedanken daran Augenkrebs.
Und Nvidia zeigt wie man ein Spiel darstellen muss, da gibt es nichts zu verbessern!

[pest]

los noch zwei :)...

[boxleitnerb]

Gibts später noch einen "richtigen" Blindtest mit anderen Szenen/Spielen? :)
Könnte mich auch daran beteiligen (8800GTX).

[OgrEGT]

ATI: 2.5
NV: 2

[LuXon]

NV 2
ATI 3-

[Maorga]

Hallo,

finde hier das ati Video ein wenig besser vorallem beim Wasserturm links mit den filigranen Objekten. AF sehe ich hier mal keinen Unterschied.

ATI: 2, NV: 3


Biba

Maorga

[Bucklew]

ATI: 3-, NV: 2+

Man braucht nichtmal in den Hintergrund zu gucken auch die Kanten an den Bodenplatten links vor dem Haus sind bei NV deutlich ruhiger als bei ATI. Nicht perfekt, aber sehr viel besser.

[Schrotti]

Hallo,

finde hier das ati Video ein wenig besser vorallem beim Wasserturm links mit den filigranen Objekten. AF sehe ich hier mal keinen Unterschied.


:ugly: :eek:

[Maorga]

Ja das ist meine Subjektive Meinung tut mir leid ist aber so.

Ich selbst bin ja ein nVidia Fan - aber so seh' ich das Video eben oder mein Bildschirm ist schon so schwamming ;)

Biba

Maorga

[pest]

np, ist doch ok

der ausgang von diesem test ist jetzt nicht besonders spannend, da praktisch klar
(das sieht sogar einer der nicht weiß was man hier rechnen muss)

aber ich geh jetzt mal joggen, vielleicht finden sich noch ein paar
und dann rechne ich ein bissl

der Test soll ja zeigen, ob sowas für die Zukunft interessant ist :) - und evtl. Fehler oder Verbesserungen aufzeigen (das mit den Dateinamen ist klar)

[AwesomeSauce]

Ich würde auch zwischen AF- und BQ-Qualität unterscheiden:

AF-Qualität:
NV: 1-
AMD: 4+ (offensichtliches Flimmern auf der Bodentextur, nervt)

BQ-Qualität (inkl. AF):
NV: 3+ (TRAA gleitet ins Dithering ab, kann aber am Spiel liegen)
AMD: 4+

[Captain Future]

AF-Qualität:
NV: 2
AMD: 4

[Undertaker]

Hab beide Videos jetzt 5-10x gesehen und muss sagen: Für mich sieht das gleich gut/schlecht aus. :freak: Evntl. flimmert das ATI-Video etwas mehr, womöglich aber auch nur deshalb, weil ich weiß welches mehr flimmern müsste - ist nunmal kein Blindtest. Aber OK, ich hab auch von einem R580 auf einen G71 gewechselt und nichts negatives gemerkt... ;)

[Sonyfreak]

NV:2 AMD:3

Beide Varianten flimmern, die von AMD aber wesentlich deutlicher. Ich persönlich habe Fallout 3 immer mit appliziertem Hybrid-AA gespielt. :)

mfg.

Sonyfreak

[boxleitnerb]

Man weiß immer noch nicht, was das an den Hügeln da hinten ist! Anomalie oder AF-Flimmern?

[pest]

@Undertaker

kannst du trotzdem eine Wertung angeben? einfach so wie du denkst

[Spasstiger]

Die Gesamt-BQ finde ich auf der Radeon besser wegen der höheren Framerate. Die niedrige Framerate auf der NV verschleiert ja auch ein wenig das Flimmern.

[pest]

bewerten!!! :wave:

[boxleitnerb]

Die Gesamt-BQ finde ich auf der Radeon besser wegen der höheren Framerate. Die niedrige Framerate auf der NV verschleiert ja auch ein wenig das Flimmern.

Lesen, es geht nur um das AF.

[Spasstiger]

Oberflächenflimmern: ATI 3, NV 2 (wenn nur ganze Noten erlaubt sind)
Ich kann hier leider nicht beurteilen, welchen Einfluss die AF-Implementierung alleine hat und was Shaderflimmern ist.
Bei höherer Framerate könnte es evtl. auch auf eine 3 für NV rauslaufen, weil dann das Flimmern stärker sichtbar wird.

[derguru]

Man weiß immer noch nicht, was das an den Hügeln da hinten ist! Anomalie oder AF-Flimmern?
anomalie wie in stalker:biggrin: ich guck mir das später mal ohne af an.
apropo ich lade gerade serious sam hd ,da hat man wenigstens lange bahnen an bodentexturen.
Die Gesamt-BQ finde ich auf der Radeon besser wegen der höheren Framerate. Die niedrige Framerate auf der NV verschleiert ja auch ein wenig das Flimmern.
mit einer stärkeren nv karte kann ich nicht dienen.:tongue:

[Blaire]

Bei höherer Framerate könnte es evtl. auch auf eine 3 für NV rauslaufen, weil dann das Flimmern stärker sichtbar wird.

So langsam ist es ja nun nicht, als daß man nicht Ansätze von Grieseln erkennen könnte. ;) Im Vordergrund ist Ati schon um einiges unruhiger, wo Nvidia fast sauber bleibt.
http://www.abload.de/thumb/flimov6i.jpg (http://www.abload.de/image.php?img=flimov6i.jpg)

[pest]

Ich kann hier leider nicht beurteilen, welchen Einfluss die AF-Implementierung alleine hat und was Shaderflimmern ist.

das ist ein Problem, die Zäune flimmern z.B. bei beiden.
vielleicht doch lieber (später) die Gesamt-BQ im Vergleich bewerten.

Ich habe auch nich so die Ahnung von Blindtests. Brauchen wir eine Referenz?
Welche Statistik-Keule müssen wir auspacken?

[Botcruscher]

Geschätzten 98,5% der Nutzer vollkommen egal. Da sich nichts ändert wird das Thema langsam langweilig.
Wertung: NV besser ATi schlechter. Für mich persönlich ist die Grafik ziemlich sekundär. Das "zugänglich machen" von Spielen hat an Gameplay, Story, Universum... ganz andere Spuren hinterlassen. Design und Logikfehler machen mir das Spiel sofort kaputt. Und nur um das klar zu stellen: Ich hätte aus Prinzip schon gerne totale Kontrolle, bis dahin genieße ich aber das Spiel und frag mich nicht ob da die Textur oder der Shader flimmert- zur Not eben flimmerfrei per C64 Emu...

[pest]

@Botcrusher


http://www.abload.de/img/lol-cat-i-are-serious-5o9x.jpg


ich mache dann mal die Auswertung,
ich werte x+ als (x-1).7, und x- als x.3

[Botcruscher]

Und das war eine ernsthafte Antwort. So lange sich nichts ändert braucht man auch nicht weiter drüber diskutieren. Der Konsument hat die Wahl und fertig. PS: Und deine Signifikanz kannst du dir ohne Blindtest eh wohin stecken.

[Iruwen]

Schön dass es dich und die anderen 98,5% der Nutzer nicht interessiert, dürfen die restlichen 1,5% hier dann trotzdem weiterdiskutieren, eventuell gar in der Hoffnung dass sich mal was ändert?

[pest]

Und deine Signifikanz kannst du dir ohne Blindtest eh wohin stecken.

nein das stimmt nicht (klar wäre es Blind besser, ist hier aber nicht notwendig).
Wenn du keine Ahnung hast was ein Hypothesentest (http://de.wikipedia.org/wiki/Statistischer_Test) ist, beleidige mich bitte nicht

[AwesomeSauce]

Sorry. Scheiss deutsches Notensystem:crazy:

@Botcruscher
Blindtest ist unnötig. Gerade bei Fallout 3 ist das Dithering beim TMSAA von Nvidia unverkennbar;)

[pest]

wo ist jetzt der Unterschied zu dem was ich geschrieben habe?

@Awesome
vielleicht liegts ja doch am Rechnen? :p

[Gast]

mit einer stärkeren nv karte kann ich nicht dienen.:tongue:
Du kannst sie übertakten.
Du kannst ein paar Details etwas senken.

Es ist nicht unmöglich einer 8800 GT ein hübsches 25FPS Video niedriger Auflösung zu entlocken.

[Botcruscher]

Und in der Statistikvorlesung hat man auch etwas über Datenqualität gelernt. Berechnen kann man alles und vor allem jeden Scheiß. Jeder Mensch ist voreingenommen und wenn man dann auch noch nach persönlich Kriterien bewerten soll.
Was dann raus kommt sind so Sachen wie bei Stiftung Warentest. Testsieger und Letzter sind das gleiche Produkt nur eben ohne Brending.

[Gast]

Und das war eine ernsthafte Antwort. So lange sich nichts ändert braucht man auch nicht weiter drüber diskutieren. Der Konsument hat die Wahl und fertig. PS: Und deine Signifikanz kannst du dir ohne Blindtest eh wohin stecken.
Der Konsument wird dumm gehalten, bzw aktiv beschissen. Siehe Gamestar. :mad:
Von sich aus ist der Konsument nicht so dumm, er informiert sich, die Presse gibt im die Information was besser ist, anhand von Benchmarks mit ungleichen Bedingungen.

[AwesomeSauce]

vielleicht liegts ja doch am Rechnen? :p
Sollte eigentlich nicht;) Unser Notensystem ist eben einfach umgekehrt.

[Botcruscher]

Der Konsument wird dumm gehalten, bzw aktiv beschissen. Siehe Gamestar. :mad:
Von sich aus ist der Konsument nicht so dumm, er informiert sich, die Presse gibt im die Information was besser ist, anhand von Benchmarks mit ungleichen Bedingungen.

Ja, und? Das ist halt so. Namensgebung... und so weiter. Politik in Bananien und Europa läuft auch so. NV filtert besser und Punkt. Was anderes versteht der Konsument eh nicht. Bei einer Umfrage bekommst du auch nicht die Tests zu sehen. Das hat auch guten Grund.

[pest]

@Botcrusher

ich berechne hier nicht irgendwelchen Scheiss, ich denke schon, dass ich weiß was ich tue.

Wenn wir einen Test machen mit der Hypothese: "Apfel schmeckt genauso gut wie Birne" würde der genauso ablaufen.
Das Leute voreingenommen sind ist nicht mein Problem (manchen finden Birne bestimmt eklig), und bei solchen Videos gibt es einfach "Artefakte" die unverkennbar sind.

Das Ergebniss dieses Tests ist auch klar, von vorherein. Mir geht es darum Unstimmigkeiten zu finden, und konstruktive! Kritik entgegenzunehmen. Vielleicht sieht das Ergebniss bei "ATI@Default vs. NV@Default" anders aus. Wäre doch interessant :)

[derguru]

Man weiß immer noch nicht, was das an den Hügeln da hinten ist! Anomalie oder AF-Flimmern?

gibts ja gar nicht,es ist wirklich eine anomalie denn es flimmert dort auch bei 1AF bei einer ati karte. :|

gute idee boxleitnerb :up:

[tombman]

Kann nicht verläßlich funken, da Menschen ein Gedächtnis haben. Sobald ein Video gesehen wurde, beeinflußt es die Wahrnehmung des zweiten, und sobald das zweite gesehen wurde wird die Erinnerung ans erste verändert.

Beispiel: du fickst das erste Mal ne Frau -> Info wird gespeichrt, bewertet etc
Dann kommt die zweite dran, und schon wird alles neu bewertet.

[pest]

habs trotzdem ausgewertet, es ist allerdings so signifikant das man sich zumindest die ganze Rechnerei hätte sparen können
wir können ja noch einen Blind-Test, Default vs. Default versuchen

[Schrotti]

Kann nicht verläßlich funken, da Menschen ein Gedächtnis haben. Sobald ein Video gesehen wurde, beeinflußt es die Wahrnehmung des zweiten, und sobald das zweite gesehen wurde wird die Erinnerung ans erste verändert.

Beispiel: du fickst das erste Mal ne Frau -> Info wird gespeichrt, bewertet etc
Dann kommt die zweite dran, und schon wird alles neu bewertet.

Alter bist du kaputt.

Hammer Beispiel.

[tombman]

habs trotzdem ausgewertet
Was war die Motivation? Du weißt doch, daß du eine GTX480 (:eek:) willst, externe Absegnung unnötig :cool:

[pest]

Das Ergebniss dieses Tests ist auch klar, von vorherein. Mir geht es darum Unstimmigkeiten zu finden, und konstruktive! Kritik entgegenzunehmen. Vielleicht sieht das Ergebniss bei "ATI@Default vs. NV@Default" anders aus. Wäre doch interessant :)


...

[tombman]

Du willst sie, also kauf sie: Widerstand ist zwecklos ;D

ONT: NV 2, ATI 4

[pest]

ich habe schon ausgewertet, und ich denke du solltest ins Bett ;)

[tombman]

ich habe schon ausgewertet, und ich denke du solltest ins Bett ;)
Ich bin bereits im Bett- und seit 2 Stunden wach :ulol:

Btw, wenn ich Kommazahlen hätte vergeben dürfen, wäre es ziemlich nah am jetzigen Durchschnitt gelegen :eek:

[Bucklew]

Wo sind eigentlich die ganzen AF-Experten, die sonst immer erzählen, dass das ja alles kein so großer Unterschied wäre?

[Coda]

Sorry. Scheiss deutsches Notensystem:crazy:

@Botcruscher
Blindtest ist unnötig. Gerade bei Fallout 3 ist das Dithering beim TMSAA von Nvidia unverkennbar;)
Es geht um die anisotrope Filterung. Könntest du es bitte lassen vom Thema abzulenken?

[Gast]

Wo sind eigentlich die ganzen AF-Experten, die sonst immer erzählen, dass das ja alles kein so großer Unterschied wäre?

Ich bin eher der "nach all den Threads hier kaufe ich keine AMD-Karte ohne HQ-AF mehr"-Typ, aber nach den Videos: WTF, ich sehe nach 20 Wiederholungen und genauem Betrachten nahezu nichts.

[dllfreak2001]

Hinten am Hügel kommt es bei der Grafikkarte zum Flimmern.
Allerdings beim Rest sehe ich eigentlich keinen Unterschied.
Das kann auch am VLC-Player liegen, der spielt alles mit der gleichen Framerate (glaube ich).

NV: 2
ATI: 2-

[Bucklew]

Ich bin eher der "nach all den Threads hier kaufe ich keine AMD-Karte ohne HQ-AF mehr"-Typ, aber nach den Videos: WTF, ich sehe nach 20 Wiederholungen und genauem Betrachten nahezu nichts.
Schau dir mal links die Bodenplatten an, da sieht man es mehr als nur deutlich. Und natürlich hinten im Hintergrund, das sieht nun wirklich jeder.

[pest]

ich würde vorschlagen wir machen noch einen Test (den ersten habe ich ja schon ausgewertet)

-nach Schulnoten (also auch +/-)
-AF-Vergleich

nochmal serious sam hd

edit:gleich kommen die vids ohne namen.

http://www.megaupload.com/?d=V9LBW5FN

http://www.megaupload.com/?d=KA3JHD00

http://www.megaupload.com/?d=VFIBCGEZ

[boxleitnerb]

Der Hintergrund ist eine Anomalie, das hat nichts mit dem AF zu tun - flimmert auch bei 1xAF (siehe gurus Post).

[pest]

doof, denn ich denke die Meisten haben danach bewertet

[boxleitnerb]

Ja, dann lieber ein anderes Spiel/Szene.
Mit dem grellen Bild hatte Blaire aber schon recht: Wenn man etwas untersuchen will und zwei gegensätzliche Meinungen erwartet und bewerten will (flimmert/flimmert nicht), sollte man auch ein Szenario wählen, in dem man dieses etwas überhaupt wahrnehmen kann.

[dllfreak2001]

Schau dir mal links die Bodenplatten an, da sieht man es mehr als nur deutlich. Und natürlich hinten im Hintergrund, das sieht nun wirklich jeder.

Die flimmern auch bei der NV-Karte deutlich, oder meinst du die direkt vor meinen Füssen?
Mit dem VLC kann ich da keinen Unterschied ausmachen, ist auch bißchen schnell die Aufnahme.

[boxleitnerb]

Meinst du das Flimmern AUF den Platten oder ZWISCHEN den Platten - letzteres könnte Shaderflimmern sein. Das Problem ist, das kann man bei so einem flachen Winkel nicht gut unterscheiden, vor allem weil es so weit links ist im Blickfeld.

[dllfreak2001]

Ja, das meine ich.
Das wird auch Shaderflimmern sein, imho ist das auch sehr störend.

[boxleitnerb]

So gesehen müsste man fast ältere Spiele nehmen, die nicht auch noch auf Bodentexturen die Shaderkeule draufhauen. Hoffentlich kommt dann niemand und sagt "Das AF-Flimmern geht ja eh im Shaderflimmern unter...scheiß doch auf gescheites AF" :freak:

[dllfreak2001]

So habe nochmal an den Einstellungen des VLC gespielt (der hat vorhin herumskaliert).
Man sieht auf dem Asphalt vor den Füssen ein leichtes Grieseln bei der AMD-Karte, alles andere (bis auf den Hügel) sehen bei AMD und NV gleich aus.

Bei den neuen 3 Videos sehe ich keine erkennbaren Unterschiede.

@boxleitnerb Ich denke auch, dass viele Leute das AF-Flimmern mit dem Shaderflimmern verwechseln.

[AndyMutz]

IMO ist der unterschied in der AF qualität in den fallout3 videos nicht so deutlich sichtbar, wie er eigentlich ist.
ich habe hier eine GTX275 (driver setting high quality) und eine HD5870 und bei quake3 in 16xAF ist der unterschied so groß, dass ihn sogar blinde erkennen können. ati's AF qualität ist einfach um _welten_ schlechter - zumindest bei quake3.

-andy-

[LuXon]

Kannst du mal Vidoes machen. Interessiert mich sehr^^

[N0Thing]

ich würde vorschlagen wir machen noch einen Test (den ersten habe ich ja schon ausgewertet)

-nach Schulnoten (also auch +/-)
-AF-Vergleich


Avi 1: Note 5
Avi 2: Note 3
Avi 3: Note 2

[Bucklew]

Die flimmern auch bei der NV-Karte deutlich, oder meinst du die direkt vor meinen Füssen?
Mit dem VLC kann ich da keinen Unterschied ausmachen, ist auch bißchen schnell die Aufnahme.
Ja die meine ich. Und es flimmert bei ATI deutlich ausgeprägter als bei Nvidia. Beide flimmern ja, aber deutlich auffälliger bei ATI.

[dllfreak2001]

Ja die meine ich. Und es flimmert bei ATI deutlich ausgeprägter als bei Nvidia. Beide flimmern ja, aber deutlich auffälliger bei ATI.

Stimmt, dies betrifft leider nur diese Textur, wenn ich die Anomalie bei den Hügeln außer acht lasse. Im Dreck neben der Straße flimmert bei beiden etwas, was wahrscheinlich auch wieder irgendein Shader ist und die Bodenplatten links sind imho bei beiden gleich flimmerig.
Irgendwo flackert oder flimmert immer irgendwas.

Auch interessant ist wie die Strassen-Textur etwas weiter vor dem Spieler langsam mit einem dunklen Band belegt wird...

[Gast]

Ein guter Vergleich sollte immer als Blindtest gemacht werden. Des weiteren sollten evt. ein Paar Kriterien fest gelegt werden, sonst ist es reine Willkür.
Der eine Benotet mit 2 und 3 der andere mit 1 und 5. Der Unterschied 1 und 5 suggeriert als wären es 32bit Farbe gegen S/W...

Außerdem sind für solche Betrachtungen der Durchschnitt wenige geeignet, der arithmetisches Mittelwert ist da besser. Da Ausreißer bin beide Richtungen nicht ignoriert/berücksichtigt werden.


Schön wäre NV mit Q und HQ und ATI mit AI und ohne. Somit wäre es für Leute die kaum unterscheide sehen schwerer Partei zu ergreifen.

Ich persönlich sehe "nur" Minimale Unterscheide und andere Kriterien sind mir da viel wichtiger.

[pest]

Außerdem sind für solche Betrachtungen der Durchschnitt wenige geeignet, der arithmetisches Mittelwert ist da besser. Da Ausreißer bin beide Richtungen nicht ignoriert/berücksichtigt werden.


wat? ich habe einen zweiseitigen t-Test durchgeführt

und was ist der Unterschied zwischen Mittelwert und arithmetischem Mittel?

[Gast]

wat? ich habe einen zweiseitigen t-Test durchgeführt

und was ist der Unterschied zwischen Mittelwert und arithmetischem Mittel?

arithmetischem Mittel - alle Werte der Größe nach Sortieren (kleinste Links - größte Rechts), dann durch Anzahl teilen bei ungerade aufrunden, dann den Wert nehmen der an dieser Stelle (von links Zählen) steht. Alle Werte ganz Links und Rechts sind Extrema und beeinflussen das Ergebnis nicht. Außer sie treten (sehr) häufig auf.

Er wert ist relativ nahe dem Durchschnitt, aber wie bereits gesagt "Ausrutscher" (Fanboys ;-) ) werden "heraus gefiltert".

In diesem Fall sollte man die Differenz der Note nehmen, weil du ja zwei Werte hast (vereinfacht Sortieren) ;-)


Zum Thema jeder Beeinflusst einen Test, selbst wenn er es versucht zu vermeiden im Unterbewusst sein tut er es doch. Jeder Blindtest bestätigt das immer wieder. Es wird übertrieben bis hin zu gelogen.

Wer möchte schon sein gekaufte und auserwähltes Produkt, auf als "Verlierer" sehen.

[turboschlumpf]

arithmetischem Mittel - alle Werte der Größe nach Sortieren (kleinste Links - größte Rechts), dann durch Anzahl teilen bei ungerade aufrunden, dann den Wert nehmen der an dieser Stelle (von links Zählen) steht. Alle Werte ganz Links und Rechts sind Extrema und beeinflussen das Ergebnis nicht. Außer sie treten (sehr) häufig auf.

Er wert ist relativ nahe dem Durchschnitt, aber wie bereits gesagt "Ausrutscher" (Fanboys ;-) ) werden "heraus gefiltert".

In diesem Fall sollte man die Differenz der Note nehmen, weil du ja zwei Werte hast (vereinfacht Sortieren) ;-)


Zum Thema jeder Beeinflusst einen Test, selbst wenn er es versucht zu vermeiden im Unterbewusst sein tut er es doch. Jeder Blindtest bestätigt das immer wieder. Es wird übertrieben bis hin zu gelogen.

Wer möchte schon sein gekaufte und auserwähltes Produkt, auf als "Verlierer" sehen.
http://de.wikipedia.org/wiki/Median

http://de.wikipedia.org/wiki/Arithmetisches_Mittel

*seufz*

[Captain Future]

Pest - mach doch mit den Erfahrungen aus diesem Thread nochmal einen auf: Videos vielleicht etwas niedriger aufgelöst (1280x720?), damit das Ruckeln als Faktor wegfällt, wenn Fraps beide auf 30 Fps capped; Videos ohne Einblendungen oben; Videos nur mit Nummern benannt. hm?

[pest]

ich habe die Videos nicht gemacht...wenn du allerdings eine Seite vorher blätterst, sind 3 Videos von Guru aus Serious Sam...die allerdings im allgemeinen Gegacker untergegangen zu sein scheinen?

[Maorga]

Manchen wir mal einen neuen Thread dafür auf, sonst geht der Überblick verloren.

Biba

Maorga

[pest]

sind denn die Videos in Ordnung?,
ich habe Schwierigkeiten da überhaupt einen Unterschied festzumachen :|

[dllfreak2001]

Wie gesagt ich konnte bei den "Serious Sam"-Videos auch keinen Unterschied ausmachen.

[boxleitnerb]

Naja, beim Banding sieht man schon einen deutlichen Unterschied (zumindest zwischen 1 und 3). Aber was Flimmern angeht überhaupt nicht, weil es zu hell ist.

[pest]

dann muss sich wohl oder übel Guru nochmal entschließen 2 Videos ATI@default vs. NV@default 16xAF zu machen.

Fallout scheidet imo aus, wegen Engine-Inkompatibilitäten.

[boxleitnerb]

Wieso nicht HQ dazu? Zumindest optional.
Was für Engineinkompatibilitäten meinst du?

Ich würde ja vorschlagen, mehrere Spiele zu nehmen, also drei Videos pro Spiel, damit man auch eine Basis hat. Die meisten erwarten ja, dass es bei AMD mehr flimmert/bandet. Eine größere Auswahl, wo man sich auch mal irren kann (so wie ich übrigens beim SS HD Video :D ), wäre praktisch. Damit Guru3D nicht alles alleine machen muss, könnten ja noch andere mitmachen.
Ich kann leider nur 1280x1024 anbieten. Könnte höchstens mit Downsampling höher gehen, aber das würde das Bild wohl zu sehr verfälschen - es sei denn, Fraps greift das Bild vor dem Runtersamplen ab. Weiß jemand, wie das läuft?

[Gast]

Zu geringe Auflösung ist nicht das Problem, stattdessen ruhig etwas länger als 3sec.
Hauptsache flüssig und der Vergleich hat die selben Bedingungen.

[pest]

@boxleitnerb
es ist alles eine Frage des Aufwandes, ich schreibe nur was ich interessant fände :) - jetzt müssen wir nur warten

und wenn wir das mixen, und unterschiedliche Leute verschiedene Videos bereitstellen, gibt es wieder Probleme bzgl. Vergleichbarkeit

[boxleitnerb]

Wenn jeder mit Fraps mit einer festgelegten Auflösung und festgelegten Settings aufnimmt, sollte es eigentlich kein Problem sein.
Das mit FO3 war wohl ne Ausnahme (die flimmrigen Hügel).

[Gast]

Naja, beim Banding sieht man schon einen deutlichen Unterschied (zumindest zwischen 1 und 3). Aber was Flimmern angeht überhaupt nicht, weil es zu hell ist.

Wo hast du da banding gesehen?

[boxleitnerb]

Vielleicht nicht der ganz korrekte Begriff, ich meinte halt die flimmrige "Linie" vor dem Spieler. Aber hast Recht, klassisches Banding ist das eigentlich nicht. Es scheint überall trilinear gefiltert zu werden. Ich kannte das Flimmern bislang nicht so "regelmäßig" auf einer Front verteilt. Eher flächig auf der ganzen Bodentextur (wie auch Codas Filtertester zeigt).

[Gast]

Für mich sieht das eher nach Kompressionsartefakte des Videos selber aus.
Ich habe das garnicht der Grafikkarte angerechnet.

[boxleitnerb]

Warum unterscheidet es sich dann deutlich zwischen 1 und 3 bzw. 2 und 3?
guru3D, du hast die Videos ja gemacht: War das im Spiel exakt so zu sehen?

[hmx]

wat? ich habe einen zweiseitigen t-Test durchgeführt

und was ist der Unterschied zwischen Mittelwert und arithmetischem Mittel?

Vor allem ist das ja auch wurscht, da es diese Ausreisser auf beiden Seiten gibt. Du könntest den Rangsummentest nehmen, der ist weit verwandt mit einem Median-Test und nicht parametrisch, was das Problem der Annahme der Normalverteilung der Daten umgeht. Die beiden Messreihen sind aber so klein bzw sind die Unterschiede so deutlich, dass man eigentlich keinen Test braucht um zu wissen dass sie unterschiedlich sind. :D

[dllfreak2001]

Warum unterscheidet es sich dann deutlich zwischen 1 und 3 bzw. 2 und 3?
guru3D, du hast die Videos ja gemacht: War das im Spiel exakt so zu sehen?

Bei mir ist der Balken auf allen 3 Videos gut zu sehen deshalb dachte ich das wäre sowas wie Tearing.

[boxleitnerb]

@dllfreak: Genau gleichgut? Siehst du gar keinen Unterschied?
Warum flimmert Tearing? Tearing ist doch eigentlich ein "glatter" Schnitt, nicht so ein flimmriges Gewusel.

[N0Thing]

Wenn es Tearing wäre, sollte es nicht nur in der Mitte zu sehen sein, sondern über die ganze Breite in gleicher Stärke.

[pest]

bzw sind die Unterschiede so deutlich, dass man eigentlich keinen Test braucht um zu wissen dass sie untertschiedlich sind. :D

schon klar, mich hat eher default vs. default interessiert.
Problem was ich mit den Rang und t-Tests habe ist, das sie von unabhängigen Verteilungen ausgehen. Da wir die Videos aber vergleichen, stimmt diese Annahme nicht mehr.

Ich glaube ich habe da was übersehen, und man kann den t-Test auch für gepaarte Stichproben ausführen, aber du hast schon Recht, für diesen bisher verwendete Beispiel überflüssig.

[dllfreak2001]

@dllfreak: Genau gleichgut? Siehst du gar keinen Unterschied?
Warum flimmert Tearing? Tearing ist doch eigentlich ein "glatter" Schnitt, nicht so ein flimmriges Gewusel.

Wie gesagt "sowas wie Tearing" bezogen auf das Video, ich könnte mir vorstellen, dass der Video-En/Decoder bei der Masse an Mustern mit diesem Codec schlapp macht.
Ich habe ansonsten sowas noch nie gesehen und bei mir habe ich die Flackerlinie in allen 3 Videos.

[Byteschlumpf]

Anhand von Crysis (Level "OnSlaught") habe ich meine HD5850 sowie GTX285 die BQ bei 1680x1050, 2xAA + 16xAF verglichen und bei der Ati keinen wirklichen Rückstand feststellen können. Spielspaß hat man in jeder Hinsicht mit beiden Modellen! :)

[Gast]

Anhand von Crysis (Level "OnSlaught") habe ich meine HD5850 sowie GTX285 die BQ bei 1680x1050, 2xAA + 16xAF verglichen und bei der Ati keinen wirklichen Rückstand feststellen können. Spielspaß hat man in jeder Hinsicht mit beiden Modellen! :)

Du blindes ATI-Huhn , wie üblich sehen die Fanboys hier wiedermal nix.

Das ist Augenkrebs pur, mir haben beinahe die Augen geblutet als ich Crysis auf ner ATI gespielt habe.

Zwei wochen lang musste ich in der Augenklinik behandelt werden. Nie wieder
, Nur NVIDIA erhält einem den klaren Duchblick und das Augenlicht

[Byteschlumpf]

Was hat denn deine Augen so schwer geschädigt bei Crysis? Welche ATI-Karte hast du verwendet?
Mir ist bei der HD5850 lediglich etwas Grieseln aufgefallen - das war aber schon alles. Blut ist mir dennoch nicht aus den Augen gequollen.

[Advanced]

Was hat denn deine Augen so schwer geschädigt bei Crysis? Welche ATI-Karte hast du verwendet?
Mir ist bei der HD5850 lediglich etwas Grieseln aufgefallen - das war aber schon alles. Blut ist mir dennoch nicht aus den Augen gequollen.
Respekt dass du bei so nem Post sachlich antwortest... Ich schreib da schon lieber gar nix sonst geht mir wieder der Blutdruck so hoch^^

[Iruwen]

Wem da der Sarkasmus nicht ins Auge springt... trotzdem ein dummer Troll, der gleiche wie hier (http://www.forum-3dcenter.org/vbulletin/showthread.php?p=8126702#post8126702).

[Malabolge]

Wem da der Sarkasmus nicht ins Auge springt... trotzdem ein dummer Troll, der gleiche wie hier (http://www.forum-3dcenter.org/vbulletin/showthread.php?p=8126702#post8126702).

Tja richtig, aber sowas lassen die Mods ja stehen.
Schande, wer böses dabei denkt ....

[Gast]

Die Unterschiede zwischen AMD- und NVIDIA-AF sind meist minimal. Wie es teilweise hochgespielt wird, ist lächerlich.

[dllfreak2001]

Ich habe mal die SeriousSamHD-Videos mit der Demo verglichen, ich konnte die Szene zwar nicht genau nachstellen, allerdings konnte ich nirgends dieses Banding feststellen.

[Gast]

Mit welcher Karte?

[Gast]

Die Unterschiede zwischen AMD- und NVIDIA-AF sind meist minimal. Wie es teilweise hochgespielt wird, ist lächerlich.
Ich hoffe doch das endlich AMDs 16xAF gegen nVidias 8xAF getestet wird.
Die Unterschiede sind doch lächerlich.
Oder AMDs 8xMSAA gegen nVidias 4xMSAA. :rolleyes:

[Gast]

Ich hoffe doch das endlich AMDs 16xAF gegen nVidias 8xAF getestet wird.
Die Unterschiede sind doch lächerlich.
Oder AMDs 8xMSAA gegen nVidias 4xMSAA.

Nö, aber 8x MSAA gegen 8x CSAA - minimale Unterschied, letzteres spart sich Samples. Das wäre eine analoge Situation zum AF. ;)


-carsten

[LovesuckZ]

Man könnte auch folgend vergleichen:
nVidia: 4xMSAA + 4xTSSAA + 16xHQAF
AMD: 4xSGSSAA + 8xAF.

Das sollte ein fairer Vergleich sein. Leichte Vorteile für AMD bezüglich Shaderflimmern, aber das lässt sich ja nicht ändern.