Geekbench ML für Windows

[Nuon]

Es gibt den Machine Learning Bench jetzt auch für Windows (CPU und GPU):

https://www.geekbench.com/ml/download/windows/

Happy Benching!


Mein Setup:
Ryzen9 5900X @PL87W, 32GB DDR4 3200 @3600, RTX4080 @70%PL

Ergebnis:
3467 ONNX CPU Inference Score
https://browser.geekbench.com/ml/v0/inference/353291
24908 ONNX DirectML Inference Score
https://browser.geekbench.com/ml/v0/inference/353292

[SpielerZwei]

Ryzen 9 5900X @ stock, 32GB DDR4 3600 -> 3456
https://browser.geekbench.com/ml/v0/inference/353318
ASUS RTX 3090 @ stock -> 17577
https://browser.geekbench.com/ml/v0/inference/353319

[Radeonfreak]

7950x3D + 6200 MHZ Cl30 DDR5

4972
https://browser.geekbench.com/ml/v0/inference/353326

4090 @ 2925 MHZ + 11500 MHZ Memory

30504
https://browser.geekbench.com/ml/v0/inference/353328

[ChaosTM]

Für den Benchmark hat mein grindiger 7800X3D (6000er RAM) zu wenige Kerne. ;)

ok.:

3700 und ein paar zerquetschte
https://browser.geekbench.com/ml/v0/inference/353337


~27000

https://browser.geekbench.com/ml/v0/inference/353338

ok, die GPU lief nur mit 88%..nochmal

auch nicht viel besser - schlappe 500 mehr..
https://browser.geekbench.com/ml/v0/inference/353339

[Achill]

6900XT / Treiber 24.2.1 / Win10

UV mit 2425/1150MHz und PT@-15 (24/7 Eco)
19204 - https://browser.geekbench.com/ml/v0/inference/353335 (https://browser.geekbench.com/ml/v0/inference/353335)

Defaults mit max 2650/1150 MHz und PT@0
21334 - https://browser.geekbench.com/ml/v0/inference/353336 (https://browser.geekbench.com/ml/v0/inference/353336)

---
Edit: 5800X3D mit CO@-20 und DDR4-3600

Profil: Ausbalanciert
3774 - https://browser.geekbench.com/ml/v0/inference/353340 (https://browser.geekbench.com/ml/v0/inference/353340)

Profil: Höchstleistung
3872 - https://browser.geekbench.com/ml/v0/inference/353341 (https://browser.geekbench.com/ml/v0/inference/353341)

[Achill]

6900XT mit ~10% mehr ... für die gleichen Settings, ich habe nur für minimal Last im Hintergrund gesorgt. Sag leider viel über den Benchmark aus ... :(

23560 - https://browser.geekbench.com/ml/v0/inference/compare/353344 (https://browser.geekbench.com/ml/v0/inference/compare/353344)

[Darkearth27]

CPU = 5197

7800X3D mit 6600 / 3300 / 2200 CL30

https://browser.geekbench.com/ml/v0/inference/353348
87264

GPU = 31341

4090 leicht übertaktet
https://browser.geekbench.com/ml/v0/inference/353352

87265

[ChaosTM]

Immerhin schon 4200 .. das Bios ist völlig im A....
Lief vorher nur mit 4800 und unglaublich schlechten werten. Muss upgraden..
https://browser.geekbench.com/ml/v0/inference/353353

warum hab ich mich da hineinziehen lassen.. das kostet wieder Stunden bis das alles geregelt ist. Bei Spielen ist der Benchmark völlig wurscht ;)

[The_Invisible]

Hä 7800x3d schneller als 7950x3d, was'n das für ein komischer Bench ;-)

[Darkearth27]

Da wird wohl nicht alles an Kernen genutzt.

Habe auch während des Benchmarks mal auf mein "Lutsch -O- Meter" geschaut das zeigte mir doch tatsächlich nur 128W an (Komplettes System) im vergleich zum "Idle" stieg die Leistungsaufnahme um 20W.

Also da wird bei weitem nicht wirklich Last auf alle Kerne gelegt.

Hab mal die Werte verglichen.
https://browser.geekbench.com/ml/v0/inference/compare/353326?baseline=353348

Man sieht gut, wo Kerne zum Einsatz kommen und wo nicht.

[ChaosTM]

fast 30k.. (stock) ok - ich lasse die CPU -optimierungen für heute
https://browser.geekbench.com/ml/v0/inference/353357

Der Benchmark reagiert offensichtlich sehr aggressiv auf Speicher Timings.
Denen nehme ich mir morgen an.

heute wird gezockt und tv-zeugs geschaut

[Radeonfreak]

Da wird wohl nicht alles an Kernen genutzt.

Jo, der Lüfter springt kaum an.

[Mayk-Freak]

14700KF Core Takt Mixed

CPU=5806
https://browser.geekbench.com/ml/v0/inference/353375

[ChaosTM]

Das könnte wieder ein BM werden, bei dem Intel gewinnt.
Wäre ihne zu vergönnen.

[Radeonfreak]

Falls die CPUS nicht wieder instabil werden weil sie mit der Brechstange getaktet sind *Duckundweg* :freak:

[ChaosTM]

Wir wissen, dass Intel bei Spielen und speziell bezüglich Effizienz lächerlich abgehängt wurden.
Wenn sie hier gewinnen, wäre das gut für uns alle..

[Achill]

Es scheint ja so, dass der Geekbench ML sich folgendermaßen verhält:
- Sehr kurzer Testlauf pro Testfall
- Es werden nur wenige CPU Kerne genutzt (und ggf. nur einer?)

Welche Art von CPU wird dies begünstigen?
- CPUs die insb. bei einen/wenigen Kernen stark hoch Takten
- CPUs die ein abstuftest TDP haben und für ein kurzen Zeitraum sehr hohe TDPs zulassen

Die eigentliche Frage ist nur, in wie fern ist dieser Benchmark mögliche zukünftige Anwendungen abbildet ... sprich, werden diese Anwendungen/Apps sich genauso verhalten?

[Mayk-Freak]

Das könnte wieder ein BM werden, bei dem Intel gewinnt.
Wäre ihne zu vergönnen.

Solar Bay ist auch ein schöner neuer BM mit RT, was erreicht man da mit einem 5800X3D, 7950x3D und einer RTX4090

Mit einem 14700KF und RTX 4090 hab ich 217 645 Punkte rausbekommen.

https://www.3dmark.com/sb/86145

[Darkman.X]

i9-14900K @ PL1=PL2=253 W
DDR5-6400 ; 32-40-40-84-2T
MSI GeForce RTX 4090 Gaming X Trio @ Werks-OC

CPU = 5744
https://browser.geekbench.com/ml/v0/inference/353392

GPU = 30139
https://browser.geekbench.com/ml/v0/inference/353396

[Tobi120789]

Intel N95 (Alder Lake)
16GB DDR4 2666 MHz
Intel UHD (Gracemont)

CPU = 564
https://browser.geekbench.com/ml/v0/inference/353451

GPU = 591
https://browser.geekbench.com/ml/v0/inference/353455

[NaseWeiss]

Ryzen 5800X3D CO -30 110W TTP, 32GB DDR4 3800 CL 16

4014
https://browser.geekbench.com/ml/v0/inference/353565

Gigabyte Radeon 7800XT @stock

14237
https://browser.geekbench.com/ml/v0/inference/353570

[Radeonfreak]

7950x3D + 6200 MHZ Cl30 DDR5

4972
https://browser.geekbench.com/ml/v0/inference/353326


Windows mal neu gestartet...5067

https://browser.geekbench.com/ml/v0/inference/353586

Besser wirds jetzt nicht mehr.

[Achill]

Ryzen 5800X3D CO -30 110W TTP, 32GB DDR4 3800 CL 16

4014
https://browser.geekbench.com/ml/v0/inference/353565

[..]


Auch mal versucht, mein 5800X3D mit CO@-30 CO@-25:

3986 - https://browser.geekbench.com/ml/v0/inference/353593 (https://browser.geekbench.com/ml/v0/inference/353593)

(Edit: Profil: Höchstleistung war nicht ausgewählt)
4042 - https://browser.geekbench.com/ml/v0/inference/353599 (https://browser.geekbench.com/ml/v0/inference/353599)

Man sieht auf jeden Fall, dass zumindest beim 3D, der IF und RAM nicht so wichtig zu seinen scheint.

---
Mein 5800X3D ist mit CO@-30 nur semi stabil, es kommt in Chrome (und ggf. auch andere Apps) zu sporadischen abstürzen von Tabs/Plugins alle paar Tage. Hatte kein Bock den/die Kerne zu identifizieren und einzelne Werte zu setzten.

Bei einen zweiten Lauf mit -30 ist der Wert auf 35xx eingebrochen, mit -25 ist es jetzt nach 5x laufen lassen nicht passiert und stabil knapp über den 4000.

---
Edit2:

Der Bench scheint AMD's "CPPC Enabled" zu benötigen, mit diesen Setting aktiviert gibt es nochmal ein kleinen Sprung (und Balanced ist jetzt besser als Höchsleistung):
4233 - https://browser.geekbench.com/ml/v0/inference/353611 (https://browser.geekbench.com/ml/v0/inference/353611)

=> Evtl. spielt hier mit rein, wie oft ein/die Threads auf den CPU-Kernen verschoben werden, je öfter desto schlechter das Ergebnis wegen den Context-Switches (reine Speku).

=> Passt aber dazu, dass der Bench sehr Latenz anfällig ist. Bei der 6900XT war für den hohen Score nötig, dass der min Takt auf 2400 MHz gesetzt war und ein kleines Video im Hintergrund ablief, damit die GPU nicht in den Low-Power-Mode geht.

[Lyka]

10808
ONNX DirectML Inference Score


2003
ONNX CPU Inference Score

AMD Ryzen 5 3600
16 GB DDR 4 3200@3000 16-18-18-18-36 (oder so) (da sonst Fehler)
AMD Radeon RX 6700 XT

[Achill]

Hier gibt es außerdem ein kleines Paper was der Bench so testet: https://www.geekbench.com/doc/ml-0.6-inference-workloads.pdf

[denjudge]

18538
ONNX DirectML Inference Score
RTX4070
https://browser.geekbench.com/ml/v0/inference/353691


3694
ONNX CPU Inference Score
Ryzen 5900x Curve optimized
https://browser.geekbench.com/ml/v0/inference/353700