Diskussion zum Artikel "Unreal Tournament 2003 Demo Grafikchip-Shootout" [Archiv]

Redakteur anderer grosser Seite

2002-09-15, 17:32:29

Äh Leonidas, schöner Artikel, aber euch ist schon klar, dass ihr damit nur die CPU-Leistung getestet habt?

Der Botmatch-Lauf ist extrem CPU-limitiert. Solange die Grafikkarte halbwegs in der gewählten Auflösung und Qualitätsstufe (AA) mit der CPU mithalten kann, läuft die ermittelte Framerate immer gegen den Maximalwert, den Botmatch bei 640x480 schon erreicht.

Und die erhöhte Vergleichbarkeit für den Fall, dass gespielt wird, ist auch nicht gegeben, da auf den Servern im Internet nicht mit Bots gespielt wird. Und wenn, dann laufen die Bots auf dem Server, und nicht auf dem Client.

Ihr habt also den Fall gemessen, dass ein Spieler alleine mit Bots trainiert. Dafür haben die Benchmarks Aussagekraft. Für die Grafikkartenleistung ist der Flyby-Mittelwert wesentlich aussagekräftiger.

Kleines Beispiel:
Mein eigener P4 2,26 läuft bei 640x480 mit einer GF2Ti gegen 58fps. Bei 1024x768 bleiben davon noch etwa 43fps übrig. Bei schnelleren Grafikkarten (R300, NV25) bleibt der Botmatch Wert durch die gesamte Auflösungsbank hindurch wie festgenagelt bei 58fps, weil die CPU immer nur mit den Bots beschäftigt ist, und kaum Zeit für die Grafikausgabe hat.

Nur so als kleine Anmerkung. Das ist mir jedenfalls sofort eingefallen, als ich den Artikel überflogen habe.

nggalai

2002-09-15, 17:37:37

Hola Leo,Denn insofern der Anwender nicht an den Setting-Dateien für die Benchmarks herumspielt, sind alle mittels der "Benchmark.exe" erzeugten Ergebnisse 100%ig direkt vergleichbar. Es gibt nur eine Einschränkung: Grafikchips aus vor-GeForce1-Zeiten bzw. Chips ohne T&L-Einheit werden nicht alle Effekte darstellen können und sind damit im Prinzip leicht im Vorteil. Da diese Grafikchips jedoch zumeist sowieso eine viel zu niedrige Leistung für Unreal Tournament 2003 haben, fällt diese Einchränkung nicht weiter ins Gewicht. Für alle Grafikkarten mit T&L Einheit garantiert dieses Verfahren eine höchstmögliche Vergleichbarkeit auf hohem Anforderungs-Niveau.Steht das tatsächlich so im Readme drin? ??? Was hat denn TnL für einen Einfluss auf die Details? Wird ein anderer LOD verwendet? Oder hast Du das mitm Cube Mapping-Support verwechselt?Und bevor es nun endlich zu den Benchmarks geht, soll noch erwähnt werden, daß wir im nachfolgenden ausschließlich die Werte der beiden Botmatches (welche per default zu einer Zahl zusammengefaßt werden) auswerten werden. Die Werte der beiden Flyby-Durchgänge mögen bessere Skalierungen zwischen den unterschiedlichen Grafikkarten zeigen, sind jedoch komplett realitätsfremd, da die Frameraten bei weitem nicht denjenigen entsprechen, welche man beim Spielen in der Demo von Unreal Tournament 2003 antrifft.Na toll. Ein Grafikkarten-Vergleich, und dann nimmt man nur die Zahlen, welche von Epic selbst als "stark CPU-limitiert" bezeichnet werden . . . und als realitätsfremd, da im Internet-Spiel Werte zwischen Flyby und Botmatch auftreten sollten.

Noch eine Frage zum Anisotropen Filter: im UT2003-Thread gab's die Meldung, dass UT offenbar default-mässig AF forciert, und das man das in der .ini deaktivieren muss, um ohne AF zu spielen (da Tweaker auf "Application setting" setzen). Ist das beim Benchmark anders?

ta,
-Sascha.rb

Leonidas

2002-09-15, 17:38:53

Originally posted by Redakteur anderer grosser Seite
Äh Leonidas, schöner Artikel, aber euch ist schon klar, dass ihr damit nur die CPU-Leistung getestet habt?

Mmh. Hattest Du Deine Lesebrille nicht auf? Im ersten Benchmark unter normal-Settings sind 4 Grafikchips CPU-limitiert. Alle anderen Chips nicht und in den anderen 4 Settings sowieso nicht. Ergo rund 93% aller von uns getätigten Benchmarks waren also Grafikkarten-limitiert.

Leonidas

2002-09-15, 17:43:00

Originally posted by Redakteur anderer grosser Seite
Ihr habt also den Fall gemessen, dass ein Spieler alleine mit Bots trainiert. Dafür haben die Benchmarks Aussagekraft. Für die Grafikkartenleistung ist der Flyby-Mittelwert wesentlich aussagekräftiger.

1. Aussage: Definitiv nein. Bei einem Benchmark-Durchlauf wird keine KI von Bots berechnet !!!!!!!!!!!

2. Aussage: Extrem definitiv nein. Wie sollen die FlyBy-Sequenzen mit ca. 100 fps irgendeine gute Aussage zur wirklichen Performance geben, wenn diese bei ca. 30-50 fps liegt ????????

Leonidas

2002-09-15, 17:45:54

Originally posted by nggalai
Hola Leo,Steht das tatsächlich so im Readme drin? ??? Was hat denn TnL für einen Einfluss auf die Details? Wird ein anderer LOD verwendet? Oder hast Du das mitm Cube Mapping-Support verwechselt?

Nein. Ich wollte es aber griffig gestalten und habe deshalb "DirectX7 T&L Beschleuniger Klasse" als Oberbegriff gesetzt. Wenn ich CubeMapping ins Spiel bringe, wie dies im ReadMe steht, hätte ich es erst umständlich erklären müßen, was das ist und welche gfx das unterstützen.

Im übrigen steht in der ReadMe nicht nur was von CubeMapping, sondern es gibt auch Anmerkungen zu allen Grafikchips. Alle ohne DX7 kommen dort schlecht weg, insofern war meine Klassifizierung naheliegend.

Leonidas

2002-09-15, 17:47:40

Originally posted by nggalai
Ein Grafikkarten-Vergleich, und dann nimmt man nur die Zahlen, welche von Epic selbst als "stark CPU-limitiert" bezeichnet werden . . . und als realitätsfremd, da im Internet-Spiel Werte zwischen Flyby und Botmatch auftreten sollten.

Ich wusste nicht, daß Epic das gesagt hat, dies hätte aber meine Entscheidung eh nicht beeinflußt. Ich komme real selber auf diese Frameraten der Botmatches und mehrheitlich sogar noch darunter. Die FlyBy-Sequenzen sind vollkommen unrealistisch. Ähm sorry, aber das sollte doch aber schon beim Betrachten der Sequenzen klar sein, oder?

Leonidas

2002-09-15, 17:48:39

Originally posted by nggalai
Noch eine Frage zum Anisotropen Filter: im UT2003-Thread gab's die Meldung, dass UT offenbar default-mässig AF forciert, und das man das in der .ini deaktivieren muss, um ohne AF zu spielen (da Tweaker auf "Application setting" setzen). Ist das beim Benchmark anders?

Es steht LevelOfAnisotropy=1 in der ini, also bilinear/trilinear und nicht anisotrop.

Lokutus01

2002-09-15, 17:50:01

Ich stimme vor allem dem Fakt zu, dass man graphisch doch etwas enttäuscht sein kann!

Ich habe einen P4 mit Geforce-IV und habe alle Details und Auflösung nach oben geschraubt und das Spiel sieht für meine ungeübten Augen einfach nur billig aus - ich habe jetzt einen derartig hochwertigen PC und bin echt traurig, dass dies das Beste ist, was es zur Zeit gibt.

Ich habe keinen Benchmark gefahren, da mir die Zahlen egal sind, sondern nur der subjektive Spieleindruck wichtig ist. Wenn das Spiel ruckelfrei spielbar ist, brauche ich keine 20% mehr Frames.. was soll das bei maximaler Qualität bringen? Doch nur den Grafikkartenproduzenten und (SORRY!) 3dcenter.de, welche von den Details leben.

Kantenglättung etc. sind zwar interessante Details, aber ich persönlich spiele lieber Quake3 mit 640x480 als Quake2 mit 1024x768 und Kantenglättung.. Quake3 hat einfach die besser-aussehende Engine - Antialiasing etc. sind für mich Filter, welche das vorhandene Bild verbessern, aber zu allererst muss man sich um das vorhandene Bild kümmern.

cheers
Lok

2002-09-15, 17:50:19

"1. Aussage: Definitiv nein. Bei einem Benchmark-Durchlauf wird keine KI von Bots berechnet !!!!!!!!!!!"

Wie erklärt sich dann die extreme CPU-Abhängigkeit? So detailliert sind die Player Models und die Effekte durch die spielenden Bots auch nicht, dass dadurch die Leistung derart in die Knie geht.

Sicher ist der Flyby-Wert eher unrealistisch für die erreichte Geschwindigkeit beim spielen. Aber was will man mit dem Vergleich testen? Doch die Grafikkartenleistung, oder?

Dafür ist der Flyby prädestiniert. Beim Flyby-Lauf treten grosse Unterschiede zwischen den Karten auf. Mit den verschiedenen Qualitätseinstellungen kann man dann leicht sehen, wie weit eine Grafikkarte im Vergleich zur anderen an Leistung verliert.

Die CPU-Abhängigkeit beim Botmatch-Lauf verfälscht das Ergebnis ja nur. Es geht ja um die Grafikausgabe, nicht darum, ob eine Grafikkarte noch auf die CPU warten muss, oder ob durch 4x FSAA schon die Graka der begrenzende Faktor ist.

Leonidas

2002-09-15, 17:53:07

Originally posted by AR
"1. Aussage: Definitiv nein. Bei einem Benchmark-Durchlauf wird keine KI von Bots berechnet !!!!!!!!!!!"

Wie erklärt sich dann die extreme CPU-Abhängigkeit? So detailliert sind die Player Models und die Effekte durch die spielenden Bots auch nicht, dass dadurch die Leistung derart in die Knie geht.

Ähm sorry, aber wenn Du hier ernsthaft behaupten willst, daß bei einem Benchmark-Durchlauf irgendeine KI berechnet wirst, dann zieh Dich nochmal zurück und denk intensiv drüber nach. Sorry, daß sich das jetzt hart anhört, aber ich hab keinen Nerv, um solch prinzipiellen Grundlagen zu diskutieren. Schau doch zum Spaß mal in eine beliebige Demo-Datei von Q3A etc. rein, was dort genau alles gespeichert wird.

Leonidas

2002-09-15, 17:54:39

Originally posted by AR

Sicher ist der Flyby-Wert eher unrealistisch für die erreichte Geschwindigkeit beim spielen. Aber was will man mit dem Vergleich testen? Doch die Grafikkartenleistung, oder?

Nein. Ich teste nicht auf Krampf irgendwelche Grafikleistungen. Ich teste, wieviel fps in UT2003 rauskommen. Was interessiert den UT2003-Spieler: Wieviel fps real rauskommen oder was eine gfx theoretisch leisten könnte? Für letztere Frage gibt es im übrigen 3DMark2001.

Leonidas

2002-09-15, 17:55:28

Originally posted by AR

Die CPU-Abhängigkeit beim Botmatch-Lauf verfälscht das Ergebnis ja nur. Es geht ja um die Grafikausgabe, nicht darum, ob eine Grafikkarte noch auf die CPU warten muss, oder ob durch 4x FSAA schon die Graka der begrenzende Faktor ist.

Entschieden nein. Es geht darum, was für fps rauskommen, nicht was für fps rauskommen könnten.

Da kommen auch im Fazit wesentlich unterschiedlich Aussagen heraus. Wer Flyby testet, empfiehlt eventuell Grafikkarte A, weil sie 30 fps mehr hat. Nur - in der Realität hat sie dann villeicht nur 5 fps mehr, wie man am Botmatch sehen kann. D.h. durch den Krampf, nur die reine Grafikleistung testen zu wollen, kommen mit einer höheren Wahrscheinlichkeit komplett falsche Aussagen heraus. Kann das der Sinn eines Tests sein?

Der Sinn eines Tests ist es, herauszufinden, was dem User etwas bringt. Und wenn dann am Ende herauskommt, daß er sich eine größere CPU kaufen soll, dann muß *genau* daß dem User auch gesagt werden. Und nicht, daß die Grafikkarte A um 30 fps schneller ist.

2002-09-15, 18:04:38

Gut OK, belassen wirs dabei. Mich hätte nur viel mehr ein Flyby-Vergleich interessiert, da Botmatch so extrem CPU-limitiert ist.

Warum das so ist, weiss wohl nur Epic. Der zusätzliche Aufwand für das rendern der Bots und Boteffekte kann es ja wohl kaum sein (Vermutung).

Soll auch nicht wie Schelte klingen. Der Artikel hat die gewohnt hohe 3dCenter-Qualität. Ich hätte mir nur einen anderen Schwerpunkt bei den Benchmarks gewünscht, wegen der besagten CPU-Abhängigkeit des "Botmatch".

Kampf Ameise

2002-09-15, 18:06:55

Originally posted by Lokutus01
Ich stimme vor allem dem Fakt zu, dass man graphisch doch etwas enttäuscht sein kann!

Ich habe einen P4 mit Geforce-IV und habe alle Details und Auflösung nach oben geschraubt und das Spiel sieht für meine ungeübten Augen einfach nur billig aus - ich habe jetzt einen derartig hochwertigen PC und bin echt traurig, dass dies das Beste ist, was es zur Zeit gibt.

Ich habe keinen Benchmark gefahren, da mir die Zahlen egal sind, sondern nur der subjektive Spieleindruck wichtig ist. Wenn das Spiel ruckelfrei spielbar ist, brauche ich keine 20% mehr Frames.. was soll das bei maximaler Qualität bringen? Doch nur den Grafikkartenproduzenten und (SORRY!) 3dcenter.de, welche von den Details leben.

Kantenglättung etc. sind zwar interessante Details, aber ich persönlich spiele lieber Quake3 mit 640x480 als Quake2 mit 1024x768 und Kantenglättung.. Quake3 hat einfach die besser-aussehende Engine - Antialiasing etc. sind für mich Filter, welche das vorhandene Bild verbessern, aber zu allererst muss man sich um das vorhandene Bild kümmern.

cheers
Lok

also das is ne DEMO !!!

die nur für bugs ausrotten gedacht ist nicht um die grafik der zukunft zu zeigen .. wenn du mal in die einstellungen geschaut hast, dort steht fas alles auf "normal" es fehlen aber noch HIGH und MAX !!!! also die texturen hier sind doch eher so 256x256 bzw. 512x512 und das wars schon in der vollversion wirds bis zu 2048x2048 geben,, in der demo ist aus platzgründen nur für die billigsten texturen platz.. wer hat auch lust sich schon eine 1 gbyte demo runterzuladen?? (ok alle die dsl haben können die frage ignorieren :) )

also sei nicht so voreilig die grafik selber wird noch doppelt so gut werden (nicht von den polygonen her aber von den texturen her)

und die levels die sie hineingepackt haben sind auch nicht grad die tollsten da gibt s noch viel viel bessere... aber wenn ich jetzt mehr erzähle dann wird wieder der thread geschlossen und ich bin schuld .. also denkt euch den rest selber. cu -> macht mal in den einstellung die waffe auf invisible .. dann bekommt ihr mehr frames :D

Unregistered

2002-09-15, 18:10:10

hey leonidas,

laß dich hier nicht unterkriegen. laut den meßdaten bin ich deiner meinung. kannst du mal einen frameratenverlauf ohne af und aa mit einer ti4600 (spec) in den artikel hineinstellen. sollte der min wert unter 25 sein holle ich mir ut2003 nämlich nicht (warum kommt bei der demo nvidia werbung???????????).

tschauling

Leonidas

2002-09-15, 18:14:49

Originally posted by AR
Gut OK, belassen wirs dabei. Mich hätte nur viel mehr ein Flyby-Vergleich interessiert, da Botmatch so extrem CPU-limitiert ist.

Warum das so ist, weiss wohl nur Epic. Der zusätzliche Aufwand für das rendern der Bots und Boteffekte kann es ja wohl kaum sein (Vermutung).

Soll auch nicht wie Schelte klingen. Der Artikel hat die gewohnt hohe 3dCenter-Qualität. Ich hätte mir nur einen anderen Schwerpunkt bei den Benchmarks gewünscht, wegen der besagten CPU-Abhängigkeit des "Botmatch".

Ich benche wie gesagt reale Spiele. Was da rauskommt, ist Sache der Spieleprogrammierer. Wenn irgendwann einmal 100% aller Spiele am Markt CPU-limitiert sind, werde ich nicht per Krampf irgendwelche Grafikkarten-Tests erfinden.

Und nochmal: Alle Benchmarks unter anisotrop und AA sind mitnichten CPU-limitiert, sondern stärkstens gfx-limitiert. Insbesondere der letzte Test 2xAF + 2xAA ergibt eine Spitzenaussage.

Leonidas

2002-09-15, 18:21:18

Originally posted by Unregistered
hey leonidas,

laß dich hier nicht unterkriegen. laut den meßdaten bin ich deiner meinung. kannst du mal einen frameratenverlauf ohne af und aa mit einer ti4600 (spec) in den artikel hineinstellen. sollte der min wert unter 25 sein holle ich mir ut2003 nämlich nicht (warum kommt bei der demo nvidia werbung???????????).

tschauling

Kann ich auch so sagen: Minimum bei GF4Ti4600 ohne AF ohne AA ist 15,4. Allerdings ist dies natürlich nur der Wert eines einzelnen Frames.

Wichtig ist eher, daß nur 35 von 2311 Werten unter 25 fps (1,51%) liegen, davon nur 2 unter 20 fps (0,08%). Ich würde dies also als bedenkenlos ansehen. An dieen Min-Werten kann die GF4 sowieso nix - diese werden zu 99% von der CPU verantwortet.

Limbus

2002-09-15, 18:21:56

Moin,
mit welchem GoreLevel habt Ihr getestet?
Das Blut ist ja bei der duetschen Version standardmässig ausgeschaltet. Wenn man es aktiviert, wird es auch beim Benchmark verwendet und ich könnte mir vorstellen, dass dadurch die Framrate noch ein wenig nach unten gehen könnte.

Gruss Florian

Leonidas

2002-09-15, 18:22:59

Originally posted by Limbus
Moin,
mit welchem GoreLevel habt Ihr getestet?
Das Blut ist ja bei der duetschen Version standardmässig ausgeschaltet. Wenn man es aktiviert, wird es auch beim Benchmark verwendet und ich könnte mir vorstellen, dass dadurch die Framrate noch ein wenig nach unten gehen könnte.

Gruss Florian

Der Benchmark läuft prinzipiell mit "0", also vollem Gore, da er eigene ini-Dateien benutzt.

Lokutus01

2002-09-15, 18:23:31

Originally posted by Kampf Ameise

also das is ne DEMO !!!

...

also sei nicht so voreilig die grafik selber wird noch doppelt so gut werden (nicht von den polygonen her aber von den texturen her)

schau mer mal... bessere Texturen fehlen dem Spiel zur Zeit definitiv noch... da hat du 100%ig recht.

Ich war trotzdem aber schwer überrascht - hoffen wir zumindest, dass noch ein paar Direct-X-8-Funktionen eingebaut werden.

Ich habe eine andere Sichtweise auf die Entwicklung der Spiele, da ich mir immer nur alle paar Monate mal etwas anschaue und aus meiner Sicht hat sich bis jetzt erst dreimal bei mir ein AHA-Effekt eingestellt:

(1.) Doom1
(2.) Quake1 mit einer Voodoo1
(3.) Nature-Demo von 3dmark
... und etwas in meiner Firma, wobei das kein Spiel ist.

cu
Loku01

Leonidas

2002-09-15, 18:25:29

Originally posted by Lokutus01
Ich war trotzdem aber schwer überrascht - hoffen wir zumindest, dass noch ein paar Direct-X-8-Funktionen eingebaut werden.

Schwer unwahrscheinlich. Das Spiel ist bewußt auf DX7 ausgelegt, um so viele wie mögliche PC-Systeme abdecken zu können.

zeckensack

2002-09-15, 18:30:36

Leo,

Im Benchmark wird tatsächlich die Bot-KI berechnet.
Eine hundertprozentige Aussage dazu fehlt mir jetzt leider, aber folgendes Statement ist ja wohl kaum anders zu erklären:
Daniel Vogel
With UT2k3 you can benchmark botmatches as they are deterministic (was quite a PITA to get that sorted out) as long as they run on the same CPU. Haven't tried comparing AMD vs Intel but I wouldn't be surprised if minor precision differences manifested themself within a couple of frames causing the botmatches to differ.
http://www.beyond3d.com/forum/viewtopic.php?t=2334

Ich muß den großen UT-Thread nochmal abgrasen und hoffe dann, ein passendes Zitat zu finden.

Lokutus01

2002-09-15, 18:31:07

Originally posted by Leonidas

Schwer unwahrscheinlich. Das Spiel ist bewußt auf DX7 ausgelegt, um so viele wie mögliche PC-Systeme abdecken zu können.

dann kann ich nur ATI und NVIDIA nur raten mehr Werbung für ihre Produkte zu machen und machen zu lassen. Wenn die ganzen innovativen Funktionen der GraKas nicht genutzt werden, ist das ein Problem.... das kann man auch mit großen Texturen nicht wiedergutmachen.

cya
L01

Leonidas

2002-09-15, 19:03:58

Originally posted by zeckensack
Leo,

Im Benchmark wird tatsächlich die Bot-KI berechnet.
Eine hundertprozentige Aussage dazu fehlt mir jetzt leider, aber folgendes Statement ist ja wohl kaum anders zu erklären:

http://www.beyond3d.com/forum/viewtopic.php?t=2334

Ich muß den großen UT-Thread nochmal abgrasen und hoffe dann, ein passendes Zitat zu finden.

Das warte ich ab. Was will die CPU berechnen? Der Ablauf des Demos steht fest.

Leonidas

2002-09-15, 19:04:25

Originally posted by Lokutus01

dann kann ich nur ATI und NVIDIA nur raten mehr Werbung für ihre Produkte zu machen und machen zu lassen. Wenn die ganzen innovativen Funktionen der GraKas nicht genutzt werden, ist das ein Problem.... das kann man auch mit großen Texturen nicht wiedergutmachen.

cya
L01

... das kommt mit Unreal II, welches auf DirectX8 setzt.

Lokutus01

2002-09-15, 19:24:16

Originally posted by Leonidas
... das kommt mit Unreal II, welches auf DirectX8 setzt.

dann hoffe ich mal, dass möglichst bald rauskommt.
Wann kommt eigentlich ein Test von Doom3 raus? Ich will meine Grafikkarte wieder mal ruckeln sehen.

cheers
Lokut01

zeckensack

2002-09-15, 19:25:37

Wieder nur ein Indizien-'Beweis':
http://www.forum-3dcenter.net/vbulletin/showthread.php?postid=265943#post265943

edit:
What are the "numbers in bracket"? Number of frames rendered?
_________________________
It is the last random number generated. If it is the same as the other run (of the same botmatch) the botmatch has been identical - otherwise NOT.

http://www.beyond3d.com/forum/viewtopic.php?t=2491

Interpretation: Der Verlauf des Matches wird vom Zufallsgenerator gesteuert. Der normalerweise identische Ablauf ergibt sich aus der nur pseudozufälligen Natur rechnergenerierter Zufallszahlen. Dh ein mit einer bestimmten 'Seed' initialisierter Zufallsgenerator wird immer die gleiche Zahlenreihe ausspucken - sofern er auf dem gleichen Rechner läuft.
Aber wenn nicht für die Bot-KI, wofür braucht das Ding Zufallszahlen?

Ich find's nicht mehr, wäre schön wenn sich Daniel hier direkt einschalten könnte.

Leonidas

2002-09-15, 19:42:44

Originally posted by zeckensack
Ich find's nicht mehr, wäre schön wenn sich Daniel hier direkt einschalten könnte.

Jap. Da es allem bisher dagewesenen widerpricht, würde ich das schon gern exakt wissen.

Und gleich vorab: Selbst wenn, es disqualifiziert die Werte des Botmatches mitnichtens. Siehe Q3A, welches eine Zahl von unter 10 Bots wirklich problemlos wegstecken kann und wo die Ergebnisse mit KI-Berechnung sich kaum von denen ohne KI-Berechnung unterscheiden (bei geringer Bot-Anzahl).

So lange ich auf der CTF-Map bei nur 7 Bots durchgehend nur 20 fps sehe, obwohl der Botmatch-Wert meines Arbeitsrechners bei 27 fps liegt, ist der Botmatch-Wert absolut in Ordnung. Flyby wäre über 100 fps - monströs unrealistisch.

Kampf Ameise

2002-09-15, 19:58:07

Originally posted by Lokutus01

schau mer mal... bessere Texturen fehlen dem Spiel zur Zeit definitiv noch... da hat du 100%ig recht.

Ich war trotzdem aber schwer überrascht - hoffen wir zumindest, dass noch ein paar Direct-X-8-Funktionen eingebaut werden.

Ich habe eine andere Sichtweise auf die Entwicklung der Spiele, da ich mir immer nur alle paar Monate mal etwas anschaue und aus meiner Sicht hat sich bis jetzt erst dreimal bei mir ein AHA-Effekt eingestellt:

(1.) Doom1
(2.) Quake1 mit einer Voodoo1
(3.) Nature-Demo von 3dmark
... und etwas in meiner Firma, wobei das kein Spiel ist.

cu
Loku01

soweit ich weiß werden ein paar vertex-shader funktionen fürs wasser verwendet (pixel-shader ist doch fürs aussehen , wie bei morrowind) bei dem video das ich gesehen habe hat das wasser aber nicht so augesehen hat sich aber verändert (wellenartig) wenn man hineingeschossen hat oder reingelaufen ist .. und ausserdem ist ut2003 eigentlich ein direct x 7 game und nichtDX 8 (es werden nur ein paar sachen aus DX 8 genommen werden die aber nur verwendet werden wenn die graka es unterstützt wenn nciht dann wird dieser effekt nicht fehlen nur anders berechnet aber das ergebnis ist das selbe- vielleicht weniger fps ??? ). somit haben DX 7 karten keinen großen nachteil bis auf die FPS zahl vielleicht :)

ach ja mein erster wirklicher mega AHA effekt war Final Fantasy 8 wenn man die Guardiens gerufen hat (schreibt man die so ?)
besonders die weiblichen Guardiens habns mir angetan .. da ruft man zum spass immer die guardiens auf (die weiblichen natürlich, da gibts eine die macht nen eiszauber und hat nichts an :D ) obwohl man den gegner auch mit nem einfachen feuerzauber fertig machen kann

mir ist der gedanke sofort wieder gekommen , als ich sah wenn man bei Bombing run durch das tor springt (den ring da ) und dann 7 punkte bekommt, aber so das dann dein team gewonnen hat , dann freezed nämlich alles und du kannst dich selber betrachten , diese farbenpracht kommt FF8 etwas entgegen ... das finde ich toll an ut2003 aber ansonsten gabs auch keine großen AHA effekte , ich glaub der nächste aha effekt wird bei doom 3 kommen und bei final fantasy 11 oder so was (auf jeden fall das wo die pc spieler mit den ps2 spieler spielen können übers net)

Liszca

2002-09-15, 20:03:10

Originally posted by Leonidas
Hier isser:
http://www.3dcenter.org/artikel/2002/09-15_a.php

Wer eigene Benchmark-Ergebnisse zu UT2003 posten will, bitte nicht in diesem Thread. Dafür gibt es einen extra Thread, hier:
http://www.forum-3dcenter.net/vbulletin/showthread.php?s=&threadid=32489

hmm dann bin ich ja doch recht gut mit meinen ergebnissen, aber was wuedet ihr aufruesten CPU xp 1600+ @ 1700+ oder Graka ti 4400 @ 4600 ???

Demirug

2002-09-15, 20:38:39

@Leonidas, zeckensack:

1. zeckensack hat mit seiner aussage das ein gleicher start "Seed" zu der gleichen Sequenz von Zufallszahlen führt absolute recht. Wobei die "sofern er auf dem gleichen Rechner läuft" Einschränkung nicht gegeben ist. Gleiches Verfahren + gleicher Seed + gleicher Wertbereich = gleiche Sequenz

2. Programmiere sind faul. Es wird immer sowenig Mehrarbeit wie nur möglich gemacht. AFAIK gibt es bei ut2k3 keine Recorder und Playback Funktion (zumindestens hab ich keine gefunden). Wenn der Benchmark aber nun nur den Verlauf eines gelaufenen Matches darstellt müsste eine solche Programmfunktionalität vorhanden sein. Zusätzlich müsste auch noch eine Datei mit dem Verlauf vorhanden sein. Nimmt man dagegen einfach die vorhandenen Bot-Funktionen mit einem festen start Seed braucht man nur ganz wenig zusätzlichen code.

IMO spricht also sehr viel dafür das die KI in dem Benchmark auch läuft

nggalai

2002-09-15, 20:51:06

Hi Leo,

beim Bot-Benchmark wird mit KI gerechnet--deshalb können sich die einzelnen Benchmarks auch minim unterscheiden, je nach System. Ausm Readme:For the botmatches the Benchmark.exe is running a game with just bots, with the player in spectator mode. In case the engine can't run at the highest detail settings the outcome of the botmatch might differ leading to a different botmatch and therefore numbers not comparable to other results. This could also happen when comparing different kinds of CPUs. So either watch the botmatches carefully when benchmarking to ensure that they are the same every time or compare the number in brackets in benchmark.log. If the number is the same, the exact same sequence was rendered.
Botmatches können sich u.U. unterscheiden. Das macht nur Sinn, wenn KI ins Spiel kommt. Siehe auch unten.Originally posted by Leonidas
Ich wusste nicht, daß Epic das gesagt hat, dies hätte aber meine Entscheidung eh nicht beeinflußt. Ich komme real selber auf diese Frameraten der Botmatches und mehrheitlich sogar noch darunter. Die FlyBy-Sequenzen sind vollkommen unrealistisch. Ähm sorry, aber das sollte doch aber schon beim Betrachten der Sequenzen klar sein, oder? Daniel meinte dazu das:With UT2k3 you can benchmark botmatches as they are deterministic (was quite a PITA to get that sorted out) as long as they run on the same CPU. Haven't tried comparing AMD vs Intel but I wouldn't be surprised if minor precision differences manifested themself within a couple of frames causing the botmatches to differ. With botmatches you are much more CPU bound than with flybys. Usually more CPU bound than network games so both tests are extreme cases. Flybys for GPU performance and botmatches for CPU load. Real multiplayer performance is usually somewhere in between. (http://www.beyond3d.com/forum/viewtopic.php?t=2334)

Hier nochmals Z-Bags quote:> What are the "numbers in bracket"? Number of frames rendered?

It is the last random number generated. If it is the same as the other run (of the same botmatch) the botmatch has been identical - otherwise NOT. It is not important for flybys as they are controlled and e.g. enabling a feature might alter the random number but won't have an effect on anything that is rendered.i.e. Flybys vorgefertigte Sequenz, Botmatches fixe Spectator Positionen / Bewegungen, Bots laufen "echt" ab. Z-Bag hat ja schon erwähnt, wie das abgehen könnte.

Aber ja, wäre schön, wenn Daniel was zu sagen könnte. :) Auch zum Anisolevel=1; vielleicht ist das nur ein Toggle, 1 = an, 0 = aus . . .

ta,
-Sascha.rb

P.S. Edit: Demiurg war noch schneller. ;) -.rb

Korak

2002-09-15, 20:52:54

Also könnte man momentan auch keine Demo von einem echten Multiplayermatch machen und diese dann benchen/abspielen?

zeckensack

2002-09-15, 20:53:23

Originally posted by Demirug
@Leonidas, zeckensack:

1. zeckensack hat mit seiner aussage das ein gleicher start "Seed" zu der gleichen Sequenz von Zufallszahlen führt absolute recht. Wobei die "sofern er auf dem gleichen Rechner läuft" Einschränkung nicht gegeben ist. Gleiches Verfahren + gleicher Seed + gleicher Wertbereich = gleiche SequenzDiese Einschränkung habe ich nicht selbst gemacht, sondern Daniel Vogel, mit der Begründung daß kleine Unterschiede in der Präzision zu unterschiedlichen Reihen führen können (AMD/Intel). Ich denke mal, daß der UT-Zufallsgenerator FPU-basiert ist.

Außerdem beeinflussen Grafik-Settings die Zufallsreihe (steht auch im Readme, oder in einem der beiden Beyond3D-Threads oder so :) ). Spekulative Begründung meinerseits: Die Wasseranimationen (und andere Prozedurale Effekte wie Flammen oä) holen sich auch Zufallszahlen. Die gesamte Zufallsreihe wird dadurch natürlich nicht geändert, trotzdem kommen andere Zufallszahlen bei der KI an, wenn sich die anderen Programmteile Zahlen aus der Reihe 'klauen', die mit anderen Settings auch an die KI gegangen wären.

nggalai

2002-09-15, 21:00:26

Nachtrag:Originally posted by Leonidas

Ich wusste nicht, daß Epic das gesagt hat, dies hätte aber meine Entscheidung eh nicht beeinflußt. Ich komme real selber auf diese Frameraten der Botmatches und mehrheitlich sogar noch darunter. Die FlyBy-Sequenzen sind vollkommen unrealistisch. Ähm sorry, aber das sollte doch aber schon beim Betrachten der Sequenzen klar sein, oder? Jaaa, für einen Spielbarkeitsvergleich vielleicht. Aber doch nicht in einem Artikel, der sich "Grafikchip-Shootout" nennt. Da sollte man Grafikkartenlastiges vergleichen, also zumindest Botmatch UND Flyby bringen. Ich hätte auf Botmatches verzichtet und im Fazit erwähnt, dass man die Ergebnisse aber in Zusammenhang mit Bots relativieren muss, und dann ein paar wenige Zahlen gebracht. ;) So hat der Artikel ganz einfach den falschen Namen, IMO.

ta,
-Sascha.rb

Demirug

2002-09-15, 21:02:43

ja, bei FPU Werten wäre es theoretisch denkbar das sich da kleine Fehler aufschsummieren könnten.

wenn es Epic richtig gemacht hat kommen die Zeit und FPS abhängigen Zufallswerte aus unterschiedlichen Randomizer. ansonsten könnte der Benchmark wirklich für die Katz sein.

nggalai

2002-09-15, 21:04:54

Hola,
Originally posted by zeckensack
Außerdem beeinflussen Grafik-Settings die Zufallsreihe (steht auch im Readme, oder in einem der beiden Beyond3D-Threads oder so :) ). Ja. Laut dem Thread kann bereits die Bildschirmauflösung den Botmatch beeinflussen . . . ;)

ta,
-Sascha.rb

2002-09-16, 00:13:41

Komisch, aber jetzt bringt ihr genau die gleichen Argumente, wie ich schon ganz am Anfang im Thread gebracht habe, dass - Botmatch alleine - für einen Grafikkarten-Vergleich untauglich ist.

Nunja, bin mal gespannt, was Leonidas dazu meint. Interessanterweise hat es sich ja jetzt doch herausgestellt, wie ich vermutet hatte, dass bei Botmatch die KI berechnet wird und deshalb dieser Part so CPU-lastig ist.

aths

2002-09-16, 00:15:13

Originally posted by Leonidas
hätte ich es erst umständlich erklären müßen, was das ist und welche gfx das unterstützen.Dann erkläre es doch einfach, und nicht umständlich :)

Mit CubeMapping können Rundum-Spiegelungen erzeugt werden, indem um das Objekt ein Würfel gedacht wird, dessen Seitenflächen als Textur die zu spiegelnde Umgebung darstellen.

aths

2002-09-16, 00:21:13

Originally posted by AR
Nunja, bin mal gespannt, was Leonidas dazu meint. Interessanterweise hat es sich ja jetzt doch herausgestellt, wie ich vermutet hatte, dass bei Botmatch die KI berechnet wird und deshalb dieser Part so CPU-lastig ist. Leo hat imo Recht wenn er sagt, dass der Flyby Unsinn ist, da die Ergebnisse viel zu hoch sind. Wenn das Botmatch auch etwas CPU-limitiert ist - na und? Man sollte imo möglichst realistisch benchen, und die Botmatch-Werte sind den tatsächlichen Frameraten im Spiel näher.

zeckensack

2002-09-16, 01:21:18

Originally posted by aths
Leo hat imo Recht wenn er sagt, dass der Flyby Unsinn ist, da die Ergebnisse viel zu hoch sind. Wenn das Botmatch auch etwas CPU-limitiert ist - na und? Man sollte imo möglichst realistisch benchen, und die Botmatch-Werte sind den tatsächlichen Frameraten im Spiel näher. Ich habe auch überhaupt nichts gegen die Botmatches als Benchmark einzuwenden. Nicht das hier dieser Eindruck entsteht :)

Bisher habe ich sogar ausschließlich Botmatches gespielt, für den Fall, daß ich in der KI-Frage eine Bestätigung aus dem Hause Epic erhalte, trifft das also am allerbesten meine reale Spielperformance :D

Leonidas

2002-09-16, 06:06:32

Originally posted by Demirug
2. Programmiere sind faul. Es wird immer sowenig Mehrarbeit wie nur möglich gemacht. AFAIK gibt es bei ut2k3 keine Recorder und Playback Funktion (zumindestens hab ich keine gefunden). Wenn der Benchmark aber nun nur den Verlauf eines gelaufenen Matches darstellt müsste eine solche Programmfunktionalität vorhanden sein. Zusätzlich müsste auch noch eine Datei mit dem Verlauf vorhanden sein. Nimmt man dagegen einfach die vorhandenen Bot-Funktionen mit einem festen start Seed braucht man nur ganz wenig zusätzlichen code.

IMO spricht also sehr viel dafür das die KI in dem Benchmark auch läuft

Gut, ich ziehe es in Betracht.

Leonidas

2002-09-16, 06:09:27

Originally posted by nggalai
Nachtrag:Jaaa, für einen Spielbarkeitsvergleich vielleicht. Aber doch nicht in einem Artikel, der sich "Grafikchip-Shootout" nennt. Da sollte man Grafikkartenlastiges vergleichen, also zumindest Botmatch UND Flyby bringen. Ich hätte auf Botmatches verzichtet und im Fazit erwähnt, dass man die Ergebnisse aber in Zusammenhang mit Bots relativieren muss, und dann ein paar wenige Zahlen gebracht. ;) So hat der Artikel ganz einfach den falschen Namen, IMO.

ta,
-Sascha.rb

Mmh. Meintwegen. Ich würde aber auch bei einem CPU-Shootout die Botmatches benutzen. Maßgebend für die Wahl des Demos ist allein, wie weit sie dem realen Spiel ähneln, nicht was ich darstellen will. Der Benchmarker darf nicht vor dem Benchmark den Benchmark so zurechtbiegen, das er das zeigt, was er will - dafür gibt es Theorie-Tests. Bei realen Spielen gibt es die heilige Pflicht des Benchmarkers, ein Ergebnis zu zeigen, was der Realität entspricht. Völlig egal, ob es dann eventuell Festplatten-Limitiert ist :-).

Ich gebe mal ein Beispiel: Wenn wir FlyBy verwenden, wird mit der Hardware des 1H 2003 alles über 200 fps in UT2003 sein. Dann wird der Leser abwinken und sagen: Schneller als schnell? ... wenn jemand mit noch neuerer Hardware kommt. Doch real gesehen haben wir dann gerade einmal 70-100 fps - ein Dimensions-Unterschied.

Schon jetzt suggerieren FlyBy-Frameraten von über 100 fps, die auch mein Arbeitsrechner aufweist, daß alles im Sorgenlos-Land ist. Jedoch habe ich im realen Spiel nur 20 fps in der CTF-Map.

Also: Ich zeige in meinen Benchmarks (wenn ich nicht gerade ausnahmsweise mal Theorie-Tests mache) immer und prinzipiell das, was im realen Spiel herauskommt. Ob dies dann CPU-, Grafikkarten-, RAM-, Festplatten-, Chipsatz- oder Maus-Limitiert ist, ist mir vollkommen egal. Im realen Spiel kann sich keiner diese Limitierung aussuchen.

Leonidas

2002-09-16, 06:11:55

Originally posted by AR
Komisch, aber jetzt bringt ihr genau die gleichen Argumente, wie ich schon ganz am Anfang im Thread gebracht habe, dass - Botmatch alleine - für einen Grafikkarten-Vergleich untauglich ist.

Nunja, bin mal gespannt, was Leonidas dazu meint. Interessanterweise hat es sich ja jetzt doch herausgestellt, wie ich vermutet hatte, dass bei Botmatch die KI berechnet wird und deshalb dieser Part so CPU-lastig ist.

Wie ich schon anführte: Ich ziehe es in meine Überlegungen mit ein. Und ich bitte um Entschuldigung, daß ich Dich so hart angegangen habe. Falls es UT2003 so macht, wäre es aber wohl eines der ersten Beispiele dafür.

PS: Unrealistisch wird das Botmatch dadurch auf keinen Fall. Für ein Botgefecht stimmt es 100%. Für ein Internet-Match stimmt es zu 80-90%. Das Problem: Die FlyBys stimmen prinzipiell nur zu 30-50%, da die Frameraten unrealistisch hoch sind.

Leonidas

2002-09-16, 06:57:34

UT2003 hat definitiv eine Demo-Funktion:

Kann ich schon eine Demo aufnehmen ?

Ja mit folgendem Befehl in der Konsole:
"demorec x" x= name der Demo
"stopdemo" = Stopt das Aufzeichnen/Abspoielen der demo.
"demoplay x" x= filename: Spielt eine aufgezeichente demo ab

Achtung: Zur Zeit wird das abspielen der Demo bei den meisten einen Crash verursachen.

2002-09-16, 07:56:20

Kannst jemand von euch bestätigen, dass die Bot-Benchmarks manchmal total anders ablaufen? Ich hab das Gefühl, die können unterschiedliche Perspektiven darstellen, was die Ergebnisse natürlich nicht vergleichbar macht.

Könnte das vielleicht auch evtl. mit den ominösen Zufallszahlen in Klammern bei den Logdateien zusammenhängen?

What are the "numbers in bracket"? Number of frames rendered?
_________________________
It is the last random number generated. If it is the same as the other run (of the same botmatch) the botmatch has been identical - otherwise NOT.

Das verstehe ich nicht ganz. Eine "random number" ist zwar nie wirklich random, wenn sie nicht in Hardware generiert wird, aber was hat eine generierte Zufallszahl über die Vergleichbarkeit des Botmatch-Laufes auszusagen?

@Leonidas:
Meine Kritik ist ja angekommen. Mehr wollte ich gar nicht :)

mirp

2002-09-16, 08:11:55

Originally posted by AR
Kannst jemand von euch bestätigen, dass die Bot-Benchmarks manchmal total anders ablaufen? Ich hab das Gefühl, die können unterschiedliche Perspektiven darstellen, was die Ergebnisse natürlich nicht vergleichbar macht.http://www.forum-3dcenter.net/vbulletin/showthread.php?s=&postid=413034#post413034

vogel

2002-09-16, 08:29:27

Originally posted by nggalai
Noch eine Frage zum Anisotropen Filter: im UT2003-Thread gab's die Meldung, dass UT offenbar default-mässig AF forciert, und das man das in der .ini deaktivieren muss, um ohne AF zu spielen (da Tweaker auf "Application setting" setzen). Ist das beim Benchmark anders?
-Sascha.rb
AF ist per default ausgeschaltet sowohl fuer Spiel als auch Benchmark.

LevelOfAnisotropy=1 == AF ausgeschaltet

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:36:41

Originally posted by Leonidas
1. Aussage: Definitiv nein. Bei einem Benchmark-Durchlauf wird keine KI von Bots berechnet !!!!!!!!!!!

Flyby: keine Bot KI

Botmatch: Bot KI und alles drum und drann... praktisch als wuerde man sich ein Spiel als Zuschauer anschauen. Es war ein heiden Aufwand die Bots deterministisch zu bekommen im Benchmarking Modus :)

2. Aussage: Extrem definitiv nein. Wie sollen die FlyBy-Sequenzen mit ca. 100 fps irgendeine gute Aussage zur wirklichen Performance geben, wenn diese bei ca. 30-50 fps liegt ????????
Botmatches sind in etwa aussagekraeftig fuer single player/ instant action. Das Problem ist, dass es nicht wirklich moeglich ist das verhalten des Spielers in LAN/ Netzwerk- Spielen nachzubilden. Alle Varianten sind Muell und haben verschiedene Trade- offs.

Und natuerlich bencht Benchmark.exe immer mit Max Details also ist es nur aussagekraeftig wie gut sich ein System schlaegt und nicht wie spielbar das Spiel ist. Die HW spezifischen Defaultwerte erlauben es mir mit 'nem Athlon 1GHz auf 'ner Voodoo 3 zu spielen.

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:39:32

Originally posted by Lokutus01
Ich stimme vor allem dem Fakt zu, dass man graphisch doch etwas enttäuscht sein kann!
Ich sags mal so: Wir haben mit Sicherheit nicht all unser Pulver mit der Demo verschossen... da sind noch ein Paar Asse im Aermel was Grafikpracht angeht :)

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:41:31

Originally posted by Leonidas
Ähm sorry, aber wenn Du hier ernsthaft behaupten willst, daß bei einem Benchmark-Durchlauf irgendeine KI berechnet wirst, dann zieh Dich nochmal zurück und denk intensiv drüber nach. Sorry, daß sich das jetzt hart anhört, aber ich hab keinen Nerv, um solch prinzipiellen Grundlagen zu diskutieren. Schau doch zum Spaß mal in eine beliebige Demo-Datei von Q3A etc. rein, was dort genau alles gespeichert wird.

In UT und Q3 wird keine KI berechnet, aber in UT2k3 schon :) Das macht das benchen ja so schoen -> man kann benchen wie sich das Spiel verhaelt. Sehr nett zum profilen geeignet :)

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:45:19

Originally posted by Leonidas
Das warte ich ab. Was will die CPU berechnen? Der Ablauf des Demos steht fest.

Er steht "fest" da botmatches deterministisch sind und sie jedesmal den gleichen random seed verwenden :)

Davon abgesehen finde ich persoenlich es sehr wohl vertretbar botmatches zu testen da diese den wahren Frameraten naeher kommen als die Flybys. Kommt immer drauf an was man testen will :)

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:47:15

Originally posted by Kampf Ameise
soweit ich weiß werden ein paar vertex-shader funktionen fürs wasser verwendet (pixel-shader ist doch fürs aussehen , wie bei morrowind)
Keine vertex shader und keine "pixel shader Effekte".

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:50:13

Originally posted by Demirug
1. zeckensack hat mit seiner aussage das ein gleicher start "Seed" zu der gleichen Sequenz von Zufallszahlen führt absolute recht. Wobei die "sofern er auf dem gleichen Rechner läuft" Einschränkung nicht gegeben ist. Gleiches Verfahren + gleicher Seed + gleicher Wertbereich = gleiche Sequenz

Ich glaube die IEEE Spezifikation erlaubt gewisse Ungenauigkeiten bei z.B. trigonometrischen Funktionen. Deshalb koennte es moeglich sein, dass die botmatches auf AMD und Intel CPUs unterschiedlich sind.

-- Daniel, Epic Games Inc.

nggalai

2002-09-16, 08:50:39

Hi Daniel,Originally posted by vogel

AF ist per default ausgeschaltet sowohl fuer Spiel als auch Benchmark.

LevelOfAnisotropy=1 == AF ausgeschaltet
Danke für die Klarstellung. Ich hab' gestern noch ein wenig gebencht, und hab' dann gemerkt (i.e. vermutet), dass ihr euch da an die "richtige" Nomenklatur haltet. Stimmt das so?

Gültige Werte für GF-Karten:

0/1 : AF off
2 : 2°AF
4 : 4°AF
8 : 8°AF
>8 : same as 8

?
Originally posted by vogel
Ich sags mal so: Wir haben mit Sicherheit nicht all unser Pulver mit der Demo verschossen... da sind noch ein Paar Asse im Aermel was Grafikpracht angeht :)

Na, das hört man doch gern. :D

Have fun,
-Sascha.rb

vogel

2002-09-16, 08:53:51

Originally posted by nggalai
Anisolevel=1; vielleicht ist das nur ein Toggle, 1 = an, 0 = aus . . .

LevelOfAnisotropy == level of anisotropy :)

1 == kein AF
8 == 8- fach AF

Ich gebs ja zu, nicht sehr intuitiv :)

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:54:15

Originally posted by Korak
Also könnte man momentan auch keine Demo von einem echten Multiplayermatch machen und diese dann benchen/abspielen?
Nein.

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:56:15

Originally posted by Demirug
ja, bei FPU Werten wäre es theoretisch denkbar das sich da kleine Fehler aufschsummieren könnten.

wenn es Epic richtig gemacht hat kommen die Zeit und FPS abhängigen Zufallswerte aus unterschiedlichen Randomizer. ansonsten könnte der Benchmark wirklich für die Katz sein.
Im Benchmarkmodus "tickt" die Engine intern mit 30 FPS. Absolut garnix ist abhaengig von der Echtzeit und jedes Frame ist absolut identisch in mehreren durchlaeufen... Ja, es war viel Arbeit :)

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:57:57

Originally posted by nggalai
Hola,
Ja. Laut dem Thread kann bereits die Bildschirmauflösung den Botmatch beeinflussen . . . ;)

Aspect- ratio um es genau zu nehmen. Mit einem nicht 4:3 Bildverhaeltnis ist das "view frustum" anderst also koennte es sein, dass ein Bot frueher oder spaeter ins Bild kommt was dazu fuehrt, dass der Rest fuer die Katz ist da die Zufallszahlen dann nicht mehr identisch sind.

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 08:59:13

Originally posted by Leonidas
UT2003 hat definitiv eine Demo-Funktion:

Kann ich schon eine Demo aufnehmen ?

Ja mit folgendem Befehl in der Konsole:
"demorec x" x= name der Demo
"stopdemo" = Stopt das Aufzeichnen/Abspoielen der demo.
"demoplay x" x= filename: Spielt eine aufgezeichente demo ab

Achtung: Zur Zeit wird das abspielen der Demo bei den meisten einen Crash verursachen.

"That's not supposed to work" ;)

-- Daniel, Epic Games Inc.

raibera

2002-09-16, 09:00:16

@leonidas

kompliment zu diesem sehr guten artikel. dass nicht der flyby benchmark benutzt wurde halte ich für goldrichtig.

die meisten endkunden wollen ja im vorfeld wissen, wie´s unter einigermassen realen bedingungen aussieht und nicht wie toll ein flyby durchgang abgeht.

ich z.b. werde mir das spiel zum spielen kaufen.

weiter so!

nggalai

2002-09-16, 09:08:33

Hola,
Originally posted by vogel
LevelOfAnisotropy == level of anisotropy :)

1 == kein AF
8 == 8- fach AF

Ich gebs ja zu, nicht sehr intuitiv :)
Hehe. Hab' ich mitlerweilen auch bemerkt. ;)

Frage: filtert ihr da alle Textur-Schichten, oder nur die Base map? Ich würde aufs erste Tippen, da bei LevelOfAnisotropy = 8 meine Flyby-Performance sehr, sehr krass in den Keller geht (noch etwa 50-30%).

ta,
-Sascha.rb

mirp

2002-09-16, 09:18:33

Originally posted by vogel

"That's not supposed to work" ;)

-- Daniel, Epic Games Inc. Das ist Absicht? ???

Wieso darf man Demos aufnehmen, aber nicht abspielen? Wird sich daran was ändern?

vogel

2002-09-16, 09:24:04

Originally posted by nggalai
Hola,
Hehe. Hab' ich mitlerweilen auch bemerkt. ;)

Frage: filtert ihr da alle Textur-Schichten, oder nur die Base map? Ich würde aufs erste Tippen, da bei LevelOfAnisotropy = 8 meine Flyby-Performance sehr, sehr krass in den Keller geht (noch etwa 50-30%).

Alle.

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 09:27:01

Originally posted by mirp
Wieso darf man Demos aufnehmen, aber nicht abspielen?

Wie schon gesagt, Demos aufnehmen "is not supposed to work" da das abspielen nicht funktioniert.

-- Daniel, Epic Games Inc.

nggalai

2002-09-16, 09:31:43

Hi there,
Originally posted by vogel
Alle.
Hmm. Hat das einen bestimmten Grund? Ich meine nur, die Lightmaps und Detailmaps muss man doch wirklich nicht anisotrop Filtern . . .

Oder denke ich da jetzt zu einfach? ???

ta,
-Sascha.rb

vogel

2002-09-16, 09:51:57

Originally posted by nggalai
Hi there,
Hmm. Hat das einen bestimmten Grund? Ich meine nur, die Lightmaps und Detailmaps muss man doch wirklich nicht anisotrop Filtern . . .

Lightmaps wahrscheinlich nicht, Detail Texturen schon.

-- Daniel, Epic Games Inc.

2002-09-16, 10:07:59

@ Vogel

Verrat mir mal, wie man es schafft, beim Benchdurchlauf immer dieselben Szenen zu benchen.

IMO geht das nicht.
Auf allen meinen Karten haengt es von der gewaehlten Aufloesung in der Benchmark.exe ab, welche Szene abgepielt wird.

Vergleichbarkeit ist also nicht gegeben.

2002-09-16, 10:12:38

Originally posted by Kampfsau
Warum hats keine Kyro2 in den Test geschafft?
Habt ihr keine da gehabt oder hattet ihr Angst, dass das GeForce/Radeon-Weltbild ins Wanken gerät?
Gegen die popelige GF1 und 2 MX sowie die Radeon1 hätte sie locker antreten können.

IMO nein.

ICH habe hier eine GF2MX und Radeon1 und eine Kyro1 und die Kyro hat nicht die geringste Chance gegen GF2MX und Radeon (botmatch asbestos: 21 zu 13 zu 28fps (MX, Kyro, Radeon)).

Selbst wenn ich die Leistung auf eine Kyro2 hochrechne reicht's nicht, um auch nur eine GF2MX ernsthaft zu gefaehrden.

2002-09-16, 10:20:09

Originally posted by vogel

Er steht "fest" da botmatches deterministisch sind und sie jedesmal den gleichen random seed verwenden :)

-- Daniel, Epic Games Inc.

Dem widerspreche ich hier noch einmal, weil eben nicht jedesmal der gleiche random seed verwendet wird.

Ergebnisse, welche seeds wann verwendet werden kann ich erst heute abend liefern.

vogel

2002-09-16, 10:26:35

Originally posted by ow
Dem widerspreche ich hier noch einmal, weil eben nicht jedesmal der gleiche random seed verwendet wird.

Ergebnisse, welche seeds wann verwendet werden kann ich erst heute abend liefern.
Sind die Benchmark/Stuff/MaxDetail.ini und Benchmark/Stuff/MaxDetailUser.ini Files "read- only"? Fuer die Demo ganz wichtig. In der Vollversion aendere ich den Code so dass die Engine im Benchmarkmodus nicht die .ini speichert.

Karten die das Spiel nicht auf hoechster Detailstufe wiedergeben koennen, koennen nicht mit Botmatches verglichen werden. Damit scheidet Kyro II schon mal aus.

-- Daniel, Epic Games Inc.

vogel

2002-09-16, 10:29:09

Originally posted by ow
@ Vogel

Verrat mir mal, wie man es schafft, beim Benchdurchlauf immer dieselben Szenen zu benchen.

IMO geht das nicht.
Auf allen meinen Karten haengt es von der gewaehlten Aufloesung in der Benchmark.exe ab, welche Szene abgepielt wird.

Vergleichbarkeit ist also nicht gegeben.
Heh, wie schaffst Du es verschiedene Ergebnisse zu bekommen :) Email mir bitte alle Logs (CSV/Logs/Results/...) von zwei Laeufen die Unterschiedliche Ergebnisse bringen auf der gleichen Karte.

-- vogel at epicgames dot com.

2002-09-16, 10:49:04

Originally posted by vogel

Sind die Benchmark/Stuff/MaxDetail.ini und Benchmark/Stuff/MaxDetailUser.ini Files "read- only"? Fuer die Demo ganz wichtig. In der Vollversion aendere ich den Code so dass die Engine im Benchmarkmodus nicht die .ini speichert.

Karten die das Spiel nicht auf hoechster Detailstufe wiedergeben koennen, koennen nicht mit Botmatches verglichen werden. Damit scheidet Kyro II schon mal aus.

-- Daniel, Epic Games Inc.

Ja sind sie. Alles auf read-only.
Sind auch die originalen unveraenderten Files aus dem 100MB Demo-Package.
Hab sie extra nochmal daraus extrahiert, nachdem hier auf den B3D Thread hingewiesen wurde und meine ersten Benches mit MX, Radeon, Kyro und TNT damit hinfaellig waren.

Die Szenen 1,2 & 4 sind in vielen Durchlaeufen identisch (nicht in allen).
Der rand-Wert fuer 3 variiert aufloesungabhaengig auf Gf2MX, Radeon und Kyro (TNT nur 640x480 getestet, zu lahm:D).

Frage: wieso kann man Karten nicht im Botmatch vergleichen, wenn sie die hoechste Detailstufe nicht nutzen koennen? Wo ist denn da der Zusammenhang zu einem speziellen Botmatch-Durchlauf?

nggalai

2002-09-16, 10:49:35

Hi Daniel,

kurze Frage--im grossen UT2003-Thread hab' ich hier (http://www.forum-3dcenter.net/vbulletin/showthread.php?s=&threadid=21967&perpage=20&pagenumber=47) das gefragt:Hmm. Heisst das also, dass die CPU-Last hauptsächlich von der Physik-Engine (Karma) herkommt? Oder von der Grafik-Engine (Schatten)?
Deine Antwort war:Weder Schatten noch Karma schlucken viel CPU Zeit :) Die genauen Details sind komplizierter. In der Demo kannst Du dir genau anschauen was wieviel Zeit verbraet.Heisst das also, dass die KI den Grossteil des CPU-Hungers bei den Demo-Botmatches ausmacht?

???

ta,
-Sascha.rb

2002-09-16, 10:51:14

Originally posted by vogel

Heh, wie schaffst Du es verschiedene Ergebnisse zu bekommen :) Email mir bitte alle Logs (CSV/Logs/Results/...) von zwei Laeufen die Unterschiedliche Ergebnisse bringen auf der gleichen Karte.

-- vogel at epicgames dot com.

Das wuesste ich auch gerne, wie ich das geschafft habe.

Heute abend kann ich dir mit den CSV/Logs/.. dienen, bin jetzt auf der Arbeit.

vogel

2002-09-16, 11:04:28

Originally posted by ow
Frage: wieso kann man Karten nicht im Botmatch vergleichen, wenn sie die hoechste Detailstufe nicht nutzen koennen? Wo ist denn da der Zusammenhang zu einem speziellen Botmatch-Durchlauf?
Wenn eine Karte ein Feature nicht rendern kann wird es abgeschaltet. Wenn dieses Feature in irgendeiner Art und Weise eine Zufallszahl benutzt -> boom :)

-- Daniel, Epic Games Inc.

2002-09-16, 12:20:05

Achso:)
Nur ist mir nicht klar, wozu die Features Zufallszahlen benutzen.

Wieviele verschieden Arten von Karten muss man denn jetzt unterscheiden? Kann man das angegeben?
Sind zB. Ati Radeon1 und NV GF2 gleichwertig bzgl. der Features?
Oder TNT und Kyro?

edit:

Bench auf Radeon1, 800x600x32

800x600x32:

4.899825 / 49.205055 / 267.698944 fps -- Score = 49.235302 rand[21984]
21.211885 / 79.785072 / 236.208542 fps -- Score = 79.840782 rand[13704]
7.249171 / 30.881958 / 61.315388 fps -- Score = 30.895737 rand[28881]
6.698573 / 38.060097 / 103.936470 fps -- Score = 38.073921 rand[3880]

Das sind IMO die 'korrekten' rand-Nummern fuer Radeon1 und GF2MX.

Guest

2002-09-16, 12:57:32

Es wäre schon gewessén,wenn der Testrechner mehr als 256 MB Ram gehabt hätte.Ich Spiele seit einiger Zeit UT 2003(0.917) und sehe eine Speicherbelastung von mehr als 400 MB,also habe ich es mal mit 256 MB getestet und die Framerate ist doch sehr eingebrochen.

Koennte dies nicht die Benchmarkwerte beeinflussen?

ollix

2002-09-16, 15:11:15

Moin,

ich habe UT bei mir mal ein bissl gebencht - auf einer Kyro 2 und eine schwachen CPU. Also die Zahlen sind nicht besonders prall, aber mit runtergeschalteten Details kann man eigentlich sehr gut spielen. UT paßt da wohl die Grafikeinstellungen an, um die Framerate zu halten.

Aber hier die Benchmarkergebnisse:

dm-antalus
4.289597 / 8.878036 / 16.390165 fps
Score = 8.880855

br-anubis
0.403231 / 11.622050 / 32.642963 fps
Score = 11.624094

dm-asbestos
0.394979 / 9.986648 / 17.777489 fps
Score = 9.990139

ctf-citadel
4.226987 / 9.250927 / 34.925938 fps
Score = 9.263869

Hier dann noch mal ein Bild (falls es jemanden interessiert). Wie gesagt: Schache CPU (Celeron 600@900 + Kyro 2 @183MHz) - aber spielbar; mit grafischen Abstrichen, aber durchaus auch flüssig:
http://www.tzi.de/~mbiess/ut.png

Bei Anubis gibt es dann immer wieder Ausreißer nach oben - werde mir das nochmal etwas anschauen...

Ciao

Savay

2002-09-16, 19:37:25

jaja alles schön und gut.
ich persönlich finde das bei einem grafikkarten vergleich eine CPU limitierung ausgeschlossen werden sollte, dennoch kann ich den einwand praxisnaher benchmarks auch durchaus nachvollziehen.

Aber warum nicht allen seiten gerrecht werden und beide werte anführen?

allerdings muss ich noch einen gedankengang in die runde werfen auch auf die gefahr hin etwas OT zu werden: ;)

UT2003 nutzt zwar keinerlei für DX8 charakteristischen Effekte, benutzt aber sehr wohl Vertex- und PixelShader um die sogenannten "DX7 effekte" darzustellen, wenn die graka entsprechende fähigkeiten aufweist!!!!

ergo das spiel basiert nicht auf DX8, die engine ist aber dennoch voll DX8 kompatibel... :)

vogel

2002-09-16, 21:31:30

Originally posted by nggalai
Deine Antwort war:Heisst das also, dass die KI den Grossteil des CPU-Hungers bei den Demo-Botmatches ausmacht?

KI (und dementsprechend Kollision, ...)

"STAT ALL"

-- Daniel, Epic Games Inc.

Quasar

2002-09-16, 22:00:18

Braucht das Botmatch wirklich hauptsächlich CPU-Power oder vielmehr Speicherleistung?
Ich frage, weil sich herauskristallisiert, dass RAMBUS-Systeme selbst mit deutlich schwächeren Grakas einem DDR-P4 mit R300 davonziehen....

nggalai

2002-09-16, 22:09:16

Originally posted by vogel

KI (und dementsprechend Kollision, ...)

"STAT ALL"
Aaaah. Danke. Jetzt ist der Groschen gefallen.

ta,
-Sascha.rb

Unregistered

2002-09-17, 21:02:14

from what you're saying the Unreal Tournament 2003
Botmatch MaxQuality 1024x768x32 ohne AA/AF benchmark,a Radeon DDR (R/64) gets 30 fps. my radeon 7500 (basically the same card)clocked at 366/275 gets around 60 fps with my athlon xp 1800. theres quite a big difference there. just a thought.

(del676)

2002-09-17, 22:11:31

Originally posted by vogel

Ich glaube die IEEE Spezifikation erlaubt gewisse Ungenauigkeiten bei z.B. trigonometrischen Funktionen. Deshalb koennte es moeglich sein, dass die botmatches auf AMD und Intel CPUs unterschiedlich sind.

-- Daniel, Epic Games Inc.

deswegen läuft der Bench auf AMDs generell langsamer ... :D

*wunschdenken einschalt*

(del676)

2002-09-17, 22:16:57

Originally posted by vogel

KI (und dementsprechend Kollision, ...)

"STAT ALL"

-- Daniel, Epic Games Inc.

gut, wenn ein Großteil der CPU Leistung für die KI draufgehen (die in Godlike recht ärgerlich ist :D ), dann wäre der ganze Botmatch Benchmark für einen der nur im Inet spielt absolut umsonst, da es ja keine KI gibt, sondern nur die Physik Engine?

ergo müsste man ein Demo von einem Multiplayer Match aufnehmen in dem keine Bots sind, was aber noch ned möglich ist weils ned supportet ist ... ein Teufelskreis

Leonidas

2002-09-17, 22:50:24

Ähm, ich denke ja, ein Großteil der CPU-Leistung geht für Explosions-Effekte etc. drauf. Siehe Q3A, NV-15Map:

normales Spiel, 7 Bots ca. 50 fps
Exzessive-Mod, 7 Bots ca. 10 fps

Der einzige Unterschied sind die 5x größere Anzahl von abgefeuerten Waffen + ihre jeweilige Wirkung. Und dies wird dann 98%ig CPU-limitiert - selbst bei 7 Bots.

(del676)

2002-09-17, 23:10:45

Originally posted by Leonidas
Ähm, ich denke ja, ein Großteil der CPU-Leistung geht für Explosions-Effekte etc. drauf. Siehe Q3A, NV-15Map:

normales Spiel, 7 Bots ca. 50 fps
Exzessive-Mod, 7 Bots ca. 10 fps

Der einzige Unterschied sind die 5x größere Anzahl von abgefeuerten Waffen + ihre jeweilige Wirkung. Und dies wird dann 98%ig CPU-limitiert - selbst bei 7 Bots.

warum gehst du noch immer von Quake3 aus? (wie bei der KI in den Demos)

UT2K3 is eine Evolutionsstufe weiter :D *schleimwegwisch*

btw. ich hoffe STAT ALL wird in der Vollversion beibehalten ...

vielleicht kann ja jemand was mit den Stats anfangen? (cpu zeiten aufschlüsseln) http://wudu.warriors.at/files/ulu/ut2k3statall.jpg

is mit 7 Bots

Leonidas

2002-09-18, 09:12:15

Originally posted by Ulukay

warum gehst du noch immer von Quake3 aus? (wie bei der KI in den Demos)

UT2K3 is eine Evolutionsstufe weiter :D *schleimwegwisch*

Wider besseren/neueren Wissens gehe ich vom derzeitigen Wissen aus.

(del676)

2002-09-18, 11:40:09

Originally posted by Leonidas

Wider besseren/neueren Wissens gehe ich vom derzeitigen Wissen aus.

und warum verbrauchen gerade Explosionen hohe CPU Last? ich dachte immer bei Explosionen/Blending ist immer die Grafikkarte gefordert?

Leonidas

2002-09-18, 12:56:34

Originally posted by Ulukay

und warum verbrauchen gerade Explosionen hohe CPU Last? ich dachte immer bei Explosionen/Blending ist immer die Grafikkarte gefordert?

Bei allen bisherigen Engines war dies regelmäßig nicht der Fall, diese waren an jenen Punkten immer CPU-limitiert. Frag nicht, warum.

(del676)

2002-09-18, 15:22:44

Originally posted by Leonidas
Frag nicht, warum.

mich würds aber interessieren :D

TheRealTentacle

2002-09-18, 16:55:50

Ich vermute mal die berechnung der Koordinaten ist das Problem! Da das nicht von T&L gemacht werden kann, muss der Prozy die Koordinaten berechnen!

Quasar

2002-09-19, 01:20:26

Daniel (et all others):

Kann es sein, dass bei der Xabre (ausser ziemlich lahmer Performance) durch die VS-Emulation (nicht TnL, sondern wirklich Vertexshader-Emulation) durch die CPU, JEDESMAL ein anderer BotMatch-Ausgang hervorgerufen wird?

Ich bin jetzt nicht ganz sicher, da ich etwas wild durcheinandergebencht habe, werde das aber morgen nochmal wiederholen, jedoch meine ich, dass bei mir KEINE ZWEI der [rand]-Zahlen übereingestimmt haben.

Any Comments?

2002-09-19, 09:56:31

Quasar:
Benchst du mit den originalen und schreibgeschuetzen MaxDetail.ini und MaxDetailUser.ini??

UT2003 duerfte IMO nicht in der Lage sein, zwischen echtem und emuliertem VS zu unterscheiden. Das sollte fuer eine D3D App. transparent sein.

2002-09-19, 10:15:50

Haben wir irgendwo einen UT2003-moegliche-Bugs Thread?

Mir ist da auf der Gf2MX was aufgefallen (nicht ueberprueft auf anderen Karten):

Die Bots, die sich in antalus unter dem grossen Baum bekaempfen werfen nicht nur Schatten auf den Boden, sondern auch oben in der Baumkrone.
Das sieht etwas seltsam aus, denn welche (im Boden befindliche?) Lichtquelle soll dafuer denn verantwortlich sein?

Quasar

2002-09-19, 13:50:01

Originally posted by ow
Quasar:
Benchst du mit den originalen und schreibgeschuetzen MaxDetail.ini und MaxDetailUser.ini??

UT2003 duerfte IMO nicht in der Lage sein, zwischen echtem und emuliertem VS zu unterscheiden. Das sollte fuer eine D3D App. transparent sein.

Ich wüsste nicht, dass ich sie verändert hätte, aber möglicherweise liegt es an 3Dnow...AFAIK hat diese Erweiterung nur 64Bit tiefe Register (mit denen sich aber 128Bit abbilden lassen sollen), im Gegensatz zu 128Bit bei FPU und SSE(2), die nativ 128bittig sind.

Vielleicht genügt das schon, um die KI-Berechnung aus dem Gleichgewicht zu bringen, ich schaus mir heute Abend aber nochmal mitm frischen UT2003-Demo an.

2002-09-19, 14:47:17

Brauchst nur diese beiden .ini dateien aus dem 100MB Ut2003Demo.exe Package zu extrahieren (nach benchmark/stuff) und (wichtig!) schreibschuetzen.

Neuinstallation der Demo braucht es nicht.

Und kannst du irgendwas zu meinem obigen Schattenproblem sagen?
Tritt das auf anderen Karten auch auf?

mirp

2002-09-19, 14:54:21

Im Moment kann ich es nur mit einer Kyro2 prüfen. Hier habe ich die Schatten nur auf dem Boden gesehen. Im Baum war zu Beginn der Demo nichts auffälliges.

2002-09-19, 15:13:06

Ich werd spaeter mal schauen, ob ich einen Screenshot davon hinkriege.

Quasar

2002-09-19, 17:46:35

Ich nehme alles zurück und behaupte das Gegenteil. Ich war gestern Nacht wohl nicht mehr in der Verfassung noch Zahlen mit mehr als zwei Ziffern ordentlich zu lesen.

Natürlich sind die [rand]'s auch mit einer Xabre dieselben.

Null

2002-09-20, 22:15:50

Mit meinem nicht mehr ganz aktuelles System bestehend aus A1000, KT133, 512 MB SDRAM (100 MHz), Win XP Home, Kyro II läßt sich das Spiel nach Runterstellen aller Details gerade noch vernünftig spielen; im Botmatch hingegen komme ich mir eher wie in einer Diashow vor :(

Unter Direct3D lief alles einwandfrei; nach Aktivierung des OpenGL-Modus war das Spiel unbrauchbar; die Menüs waren unsichtbar und im Spiel selber sind erhebliche Clipping- und Hall-of-Mirror-Effekte aufgetreten... merkwürdig.

Leonidas

2002-09-20, 22:36:41

Originally posted by ow
Brauchst nur diese beiden .ini dateien aus dem 100MB Ut2003Demo.exe Package zu extrahieren (nach benchmark/stuff) und (wichtig!) schreibschuetzen.

So lange eine DX7-Karte im Rechner ist, werden diese Dateien von UT2003 nicht beschrieben. Ich habe jedenfalls keine Veränderungen dieser Dateien feststellen können bei meinen Tests von GF1 - GF4 und R1/8500.

vogel

2002-09-24, 06:50:07

Originally posted by ow
Haben wir irgendwo einen UT2003-moegliche-Bugs Thread?

Mir ist da auf der Gf2MX was aufgefallen (nicht ueberprueft auf anderen Karten):

Die Bots, die sich in antalus unter dem grossen Baum bekaempfen werfen nicht nur Schatten auf den Boden, sondern auch oben in der Baumkrone.
Das sieht etwas seltsam aus, denn welche (im Boden befindliche?) Lichtquelle soll dafuer denn verantwortlich sein?
Auf GeForce 1/2 Karten koennen wir aufgrund einer (daemlichen) HW Limitierung nicht verhindern das die Schatten auf "backfacing triangles" projeziert werden also hab ich die Option auf GF1/2 Karten ausgeschaltet.

-- Daniel, Epic Games Inc.