Futuremark entfernt Samsung & HTC Geraete aus ihrer Datenbank [Archiv]

AnarchX

2013-11-27, 10:58:18

Das ist einfach Kunden-Verarsche in kleinem Stil. Die Benchmark-Ergebnisse gaukeln eine Leistung vor, die das Gerät im Alltag nicht erreicht. Schon ein Unterschied zum manuellen Übertakten, oder?
Finde es eher peinlich, dass die Hersteller zu solchen Mitteln greifen.

Eher zeigt es wohl, dass das klassische 3D-Benchmarkkonzept, welches vom stationären PC kommt, nicht so auf mobile Geräte mit beschränkter Energie anwendbar ist.
Wenn der SoC nur solche kurzen Lastszenarien aufgetragen bekommt, ist es nicht verwunderlich, dass er hier ohne Rücksicht auf den Verbrauch Maximalwerte zu erreichen versucht. Natürlich haben die Hersteller hier diesen Powerstate wohl manuell ausgelotet, aber am Prinzip ändert sich nicht.
Sinnvoller wäre es bei mobilen Geräten eher die Laufzeit unter bestimmten Qualitätstufen zu messen, wo z.B. ein High-End-SoC abseits der Maximalwerte, unter FPS-Limitierung eventuell auch seine Pro-Watt-Leistung ausspielen könnte. Insofern liegt imo auch die Schuld bei Futuremark.

gnahr

2013-11-27, 11:04:01

so ein blödsinn, die tweaks liesen sich ja auch auf umbenannte anwendungen ausführen.
wem nützt es bitte, dass die option gestrichen wurde? langweiligen oem-kunden? spitze...

Crushinator

2013-11-27, 11:17:23

Eher zeigt es wohl, dass das klassische 3D-Benchmarkkonzept, welches vom stationären PC kommt, nicht so auf mobile Geräte mit beschränkter Energie anwendbar ist.
Wenn der SoC nur solche kurzen Lastszenarien aufgetragen bekommt, ist es nicht verwunderlich, dass er hier ohne Rücksicht auf den Verbrauch Maximalwerte zu erreichen versucht. Natürlich haben die Hersteller hier diesen Powerstate wohl manuell ausgelotet, aber am Prinzip ändert sich nicht.
Sinnvoller wäre es bei mobilen Geräten eher die Laufzeit unter bestimmten Qualitätstufen zu messen, wo z.B. ein High-End-SoC abseits der Maximalwerte, unter FPS-Limitierung eventuell auch seine Pro-Watt-Leistung ausspielen könnte. Insofern liegt imo auch die Schuld bei Futuremark.

Auch IMHO völlig richtig, und dennoch finde ich es knorke, die Cheater beim Namen zu nennen. (y)

Eco

2013-11-27, 11:18:33

Eher zeigt es wohl, dass das klassische 3D-Benchmarkkonzept, welches vom stationären PC kommt, nicht so auf mobile Geräte mit beschränkter Energie anwendbar ist.
Wenn der SoC nur solche kurzen Lastszenarien aufgetragen bekommt, ist es nicht verwunderlich, dass er hier ohne Rücksicht auf den Verbrauch Maximalwerte zu erreichen versucht. Natürlich haben die Hersteller hier diesen Powerstate wohl manuell ausgelotet, aber am Prinzip ändert sich nicht.
Sinnvoller wäre es bei mobilen Geräten eher die Laufzeit unter bestimmten Qualitätstufen zu messen, wo z.B. ein High-End-SoC abseits der Maximalwerte, unter FPS-Limitierung eventuell auch seine Pro-Watt-Leistung ausspielen könnte. Insofern liegt imo auch die Schuld bei Futuremark.
Das ist eher eine (durchaus gerechtfertigte) Kritik am Benchmark an sich und ein anderes Thema. Ändert IMHO nichts an der Tatsache, dass hier rumgetrickst wird, um bei Benchmarks, an denen sich viele potenzielle Kunden orientieren, besser abzuschneiden. Schon bisschen armselig.

iFanatiker

2013-11-27, 12:06:44

Das ist einfach Kunden-Verarsche in kleinem Stil. Die Benchmark-Ergebnisse gaukeln eine Leistung vor, die das Gerät im Alltag nicht erreicht. Schon ein Unterschied zum manuellen Übertakten, oder?
Finde es eher peinlich, dass die Hersteller zu solchen Mitteln greifen.

Exe Erkennung ist ja noch einfach zu durchschauen. Was ist wenn jetzt das Unternehmen X beschließt ihre Treiber einfach auf bestimmte Routinen zu optimieren welche genau nur so in den Benchmarks Y kommen und diese sogar heuristisch erkennen weil der Benefit groß genug ist? Deswegen sind Benchmarksan sich immer fragwürdig. Bestes Beispiel ist eben Sunspider + IE JS Engine. Dazu sollte man sich im klaren sein was Samsung macht...nämlich beim Start des Benchmarks den SoC auf Max. Perf. Target zu stellen weil gerade bei Benchmarks gerade im Unterschied zu "richtigen" Spielen sehr oft eben hier hin und hergeschaltet wird und somit die Ergebnisse extrem verfälscht werden. Sieht man auch schön jetzt beim "cheatfreien" Antutu. Auch ohn Throtteling schwankt es massiv bei jeden Durchlauf. Somit ist was Samsung oder HTC machne schon richtig wenn man mit diesen Benchmarks "MAx Leistung" bestimmen möchte. Diese interessiert aber doch keinen.

AnarchX beschreibt eigentlich ein "glaubwürdigeres" Szenario für einen Test.

Eco

2013-11-27, 12:26:42

Exe Erkennung ist ja noch einfach zu durchschauen. Was ist wenn jetzt das Unternehmen X beschließt ihre Treiber einfach auf bestimmte Routinen zu optimieren welche genau nur so in den Benchmarks Y kommen und diese sogar heuristisch erkennen weil der Benefit groß genug ist? Deswegen sind Benchmarksan sich immer fragwürdig. Bestes Beispiel ist eben Sunspider + IE JS Engine. Dazu sollte man sich im klaren sein was Samsung macht...nämlich beim Start des Benchmarks den SoC auf Max. Perf. Target zu stellen weil gerade bei Benchmarks gerade im Unterschied zu "richtigen" Spielen sehr oft eben hier hin und hergeschaltet wird und somit die Ergebnisse extrem verfälscht werden. Sieht man auch schön jetzt beim "cheatfreien" Antutu. Auch ohn Throtteling schwankt es massiv bei jeden Durchlauf. Somit ist was Samsung oder HTC machne schon richtig wenn man mit diesen Benchmarks "MAx Leistung" bestimmen möchte. Diese interessiert aber doch keinen.

"Optimierungen", um ein stabiles Ergebnis zu bekommen, sind ja ggf. noch im Rahmen, aber Übertakten?
Wie gesagt, gegen die Kritik am Benchmark selbst hab ich nix.

Avalox

2013-11-27, 12:44:35

Cheater beim Namen zu nennen. (y)

Was ist denn daran Cheaten?

Die Hersteller(!) sagen, dass die GPUs vollkommen dafür ausgelegt sind und das Problem
nur darin besteht, dass die Geräte zu warm werden, bzw. zu viel Strom fressen, wenn der Zustand zu lange andauert.
Da aber diese Highlevel Benchmarks nur kurz laufen, sind sie genau der Fall, wo mit der realistischen vollen Leistung das System betrieben werden kann, zumal weil diese Benchmarks ja auch die volle Leitung benötigen.

Cheaten ist das nicht, weil der User bekommt ja tatsächlich die Leistung, die er sieht. Er wird ja nicht betrogen vom System.

Dass der User denkt, dass er aus dem Ergebnis irgend etwas abstraktes ableiten kann, ist ja nur ein unrealistischer Wunsch, der so noch nie funktioniert hat.

Cheaten wäre es, wenn der Hersteller so manipuliert, dass das Ergebnis des Benchmarks erzielt wird ohne, dass das System tatsächlich die Leistung erreicht hätte.

z.B. indem für den Benchmark die Bildqualität herunter gesetzt wird, oder das Ergebnis direkt manipuliert wird.

Übertrage es doch mal auf dem PC. Dort wäre an der GPU ein entsprechend großer Lüfter vom Hersteller geschraubt und es würde das System immer mit dem hohen Takt laufen.
Das geht nun mal mit einem Smartphone nicht. Wohl aber reicht die Kapazität um kurzfristig ohne Energiesparmaßnahmen zu laufen.

Intel treibt doch gerade den Burst Takt des Bay-Trail auf ungeahnte Höhen und damit auch den Unterschied von Burst zu Normal.
Ist das Cheaten, weil kurzfristig, durchaus auch in Benchmarks eine viel zu hohe Leistung ausgegeben wird? Nö. Es ist schlicht eine Systemoptimierung.

Zudem ist das Aussortieren von Samsung und HTC ziemlich willkürlich, weil es ja beileibe nicht die einzigen sind, die es so machen.

Allerdings und das ist ja mal ein großer Vorteil ist, dass die System OpenSource sind und man ja deshalb ja durchaus nachsehen kann, was man ja auch getan hat.

Wie will man denn diese Art verfolgen auf Systemen, welche A) keine freie Installation und B) keine freie Dokumentation anbieten? Eben und es zeigt mal wieder, dass nur Transparenz hilft.

Eco

2013-11-27, 12:49:22

Cheaten ist das nicht, weil der User bekommt ja tatsächlich die Leistung, die er sieht. Er wird ja nicht betrogen vom System.

Natürlich wird er betrogen, wenn die Leistung in Benchmarks hochgeschraubt wird. Ein Benchmark dient als Vergleich zu anderen Geräten. Im Worst-Case ist ein Gerät mit dem Samsung-Cheat im Benchmark schneller als ein anderes Gerät, aber im Alltag langsamer.

AnarchX

2013-11-27, 12:55:05

Aber wie schon dargestellt, kann ein ressourcenstarker Hersteller solche Benchmarkoptimierungen auch ohne EXE-Erkennung umsetzten, an der sich allein wohl Futuremark stört, und seine Geräte mit dem gleichen SoC gegenüber kleineren Herstellern besser postionieren.

Avalox

2013-11-27, 13:00:23

Natürlich wird er betrogen, wenn die Leistung in Benchmarks hochgeschraubt wird. Ein Benchmark dient als Vergleich zu anderen Geräten.

Die Leistung wird doch nicht hochgeschraubt im Benchmark, die Leistung wird ausserhalb des Benchmarks runter geschraubt. Das ist der Unterschied.
Der Hersteller gibt dir volle Garantie, dass die hohe Leistung vollkommen im Rahmen des Produktes liegt.

Es gibt nur gute und schlechte Benchmarks und kurzfristig 3D Volldampf ist total unrealistisch auf einen Praxiseinsatz, das war es schon immer. Der Grafikbenchmark ist als solches unrealistisch.
Wenn ein Benchmark ein für die Praxis völlig unrealistisches Szenario abbildet, dann braucht sich der User auch nicht wundern, wenn er ein unrealistisches Ergebnis erhält.

Das ist übrigens heute auf dem PC nicht anders. Der Vorteil des Benchmarks am PC ist, dass der Anbietermarkt so geschrumpft ist, dass nur noch 2,5 Hersteller sich auf die Nuß hauen. Deshalb hat der Benchmark zumindest innerhalb einer Reihe eine Aussagekraft. Weil alle gleich "Schummeln" wenn du so willst.

Eco

2013-11-27, 13:00:45

Avalox

2013-11-27, 13:06:23

Na wenn ich Ailuros aber richtig verstanden habe, dann optimiert Qualcomm in seinen Binärtreibern.

Bei Samsung war es doch nur so direkt erkennbar, weil diese OpenSource sind und jemand tatsächlich nachgesehen hat (gut so).

Wenn Qualcomm in den binären Treibern optimiert, dann kannst du eh alles vergessen, weil Qualcomm dank seines technischen Vorsprungs der Funkmodems in den Geräten zur Zeit eh omnipräsent sind.

Samsung fliegt zur Zeit heraus, nicht weil sie schummeln, sondern weil sie es offiziell machen und das ist wirklich mal diskussionsbedürftig.

Solange "geschummelt" wurde ohne, dass der dumme User es mitbekommen hat, war die Welt scheinbar noch in Ordnung für den Benchmark Hersteller.

Eco

2013-11-27, 13:08:06

Wenn man sich darauf verlassen kann, dass alle Hersteller es so machen, gibt es natürlich tatäschlich kein Problem und die Vergleichbarkeit ist weiterhin gegeben bzw. einigermaßen objektiv. ;)

AnarchX

2013-11-27, 13:09:38

Macht es das denn besser? Nur schwieriger erkennbar bzw. unterbindbar (wenn überhaupt).
Unterbindbar wäre es wie gesagt, mit dem vorgeschlagenen Laufzeittest, wo dieser Burst-Mode aus thermischen Gründen nicht langfristig gehalten werden kann.

Ansonsten liegt es durchaus im Aufgabenbereich eines optimierten Powermanagements, eine Kurzzeitaufgabe mit der Anforderungen maximale Leistung im Rahmen der Samsung/HTC-Optimierung zu beschleunigen.

iFanatiker

2013-11-27, 13:14:55

Natürlich wird er betrogen, wenn die Leistung in Benchmarks hochgeschraubt wird. Ein Benchmark dient als Vergleich zu anderen Geräten. Im Worst-Case ist ein Gerät mit dem Samsung-Cheat im Benchmark schneller als ein anderes Gerät, aber im Alltag langsamer.

Samsung Geräte sind auch im Alltag sehr schnell dank eines recht guten Kernels, schnellen Flash Speicher bei Top Modellen usw. Nur den TW Launcher kriegt Samsung nicht sauber hin bzgl. der Animationen...aber manche Leute (insbesondere Shitstorm Bloger ala Tabtech und so was) bewerten halt Performance anhand dessen wie sauber man auf den Homescreen und App Drawer rechts/links wischen kann. :biggrin::biggrin: Ich persönlich empfinde dies auch nicht "besser" als die Benchmarks.

Dazu sollte man folgendes anmerken: bei Samsung mit dem letzten TW Framework (Note 3 usw.) laufen die eigenen Samsung Apps im Vollbildmodus (also Kalendar, der APOK Browser, MyMagazine usw.) auch bei Bedarf mit diesen maximal Takt weil sie auch in dieser Powerstate Liste sind. Also kann man eben so nicht ganz sagen, dass es nur für die Benchmarks ist.

Daneben gibt es doch vom Antutu (meine ich?) diesen "Echte Spiele" Benchmark wo wirklich "spielen" über längeren Zeitraum emuliert wird. Da schnitt das S4 gegenüber dem One insgesamt besser ab wen man Leistung/Energieverbrauch gegeneinander stellte. Dazu ist eben halt auch kein reiner SoC Test sondern eben ein Test dieses Gerätes.

Edit:

Diesen Benchmark meine ich:

http://gamebench.net/

Das ist meiner Meinung nach der richtige Weg um z. B. "Spiele Performance" zu messen.

Wenn man sich darauf verlassen kann, dass alle Hersteller es so machen, gibt es natürlich tatäschlich kein Problem und die Vergleichbarkeit ist weiterhin gegeben bzw. einigermaßen objektiv. ;)

Nimm dir doch mal als Beispiel das Nexus 5. Das Nexus 5 "throttelt" im Alltag ohne Ende wie schon das Nexus 4. In klassichen Benchmark Programmen mit kurzen Lastphasen wirst du davon aber nichts merken....aber man wundert sich dann plötzlich wieso Chrome mit seiner starken MP Anpassung mit paar Aufwändigen Seiten "unsauber" läuft weil die CPU auf 1,200 MHz fest runter geht.

Ist dies jetzt auch ein Cheat oder nicht?

Eco

2013-11-27, 13:31:20

Ich glaube, ich werde missverstanden. Ich finde es peinlich/schlecht, wenn ein Hersteller ein Gerät absichtlich mit einer Benchmarkbeschleunigung versieht. Auch wenn hinterher alibimäßig die Liste der davon profitierenden Anwendungen erweitert wird, die Intention ist klar IMHO.

Das Throttle-Thema ist natürlich kein Cheat.

Ich will sicher nicht sagen, dass Samsung-Geräte langsam oder schlecht sind. Auch wenn ich die GUI-Performance-Meinung nicht so ganz teile, meiner Meinung nach gehört eine ruckelfreie Oberfläche zu einem performanten Gerät dazu. Sagt natürlich wenig über die Leistungsfähigkeit des Gesamtpakets aus, eher über die SW-Qualität.

Crushinator

2013-11-27, 13:46:31

Was ist denn daran Cheaten?

[...]

Cheaten ist das nicht, weil der User bekommt ja tatsächlich die Leistung, die er sieht. Er wird ja nicht betrogen vom System.

Dass der User denkt, dass er aus dem Ergebnis irgend etwas abstraktes ableiten kann, ist ja nur ein unrealistischer Wunsch, der so noch nie funktioniert hat. [...]

Cheaten ist, wenn sich das System beim Durchlaufen eines Benchmarks bewusst – und um ein besseres benchmarkspezifisches Ergebnis zu erzielen – anders verhält als bei anderen Anwendungen. Im vorliegenden Fall ist es meiner Ansicht nach astreines Cheaten.

Avalox

2013-11-27, 14:15:55

Cheaten ist, wenn sich das System beim Durchlaufen eines Benchmarks bewusst – und um ein besseres benchmarkspezifisches Ergebnis zu erzielen – anders verhält als bei anderen Anwendungen. Im vorliegenden Fall ist es meiner Ansicht nach astreines Cheaten.

Jeder PC Grafiktreiber verhält sich "anders" bei den üblich verdächtigen Benchmarks.
Der konkrete Benchmark ist eine andere Anwendung. Was ist denn überhaupt anders?

Selbst bei Doping im Sport kann sich niemand drauf einigen, was das überhaupt sein soll. Dabei sollte man meinen, dass die Gesundheit eine allgemeine Größe sein sollte und die Motivation entsprechend hoch ist. Aber es klappt nicht. Wenn das schon nicht geht, wie soll sowas bei einem Computer Benchmark aussehen? Wer legt denn die Regeln fest. Ich kenne keine Regeln, wie kann man ohne Regeln aber schummeln?

Was soll der Hersteller denn machen? Absichtlich herunter takten?

Der ganze Computer ist ein Ding, was vom Grundaufbau seines selbst "schummelt". Dieses von Anbeginn und mit zunehmender Komplexität immer stärker.

Ok. Du sagt es ist schummeln. Jetzt führe mal den Beweis, dass ein zugenageltes Apple System dieses nicht tut. Kannst du nicht. Es ist schlicht nicht kontrollierbar.

deekey777

2013-11-27, 14:19:01

...

Ok. Du sagt es ist schummeln. Jetzt führe mal den Beweis, dass ein zugenageltes Apple System dieses nicht tut. Kannst du nicht. Es ist schlicht nicht kontrollierbar.
Das hat ja lange gedauert, bis so ein Spruch gekommen ist.

Eco

2013-11-27, 14:25:38

Ok. Du sagt es ist schummeln. Jetzt führe mal den Beweis, dass ein zugenageltes Apple System dieses nicht tut. Kannst du nicht. Es ist schlicht nicht kontrollierbar.
Überspitzte Analogie: Verbrecher muss man nicht bestrafen, da die theoretische Möglichkeit besteht, dass jeder Mensch zum Verbrecher wird. :freak:

Ailuros

2013-11-27, 15:22:44

Jeder PC Grafiktreiber verhält sich "anders" bei den üblich verdächtigen Benchmarks.
Der konkrete Benchmark ist eine andere Anwendung. Was ist denn überhaupt anders?

Selbst bei Doping im Sport kann sich niemand drauf einigen, was das überhaupt sein soll. Dabei sollte man meinen, dass die Gesundheit eine allgemeine Größe sein sollte und die Motivation entsprechend hoch ist. Aber es klappt nicht. Wenn das schon nicht geht, wie soll sowas bei einem Computer Benchmark aussehen? Wer legt denn die Regeln fest. Ich kenne keine Regeln, wie kann man ohne Regeln aber schummeln?

Was soll der Hersteller denn machen? Absichtlich herunter takten?

Der ganze Computer ist ein Ding, was vom Grundaufbau seines selbst "schummelt". Dieses von Anbeginn und mit zunehmender Komplexität immer stärker.

Ok. Du sagt es ist schummeln. Jetzt führe mal den Beweis, dass ein zugenageltes Apple System dieses nicht tut. Kannst du nicht. Es ist schlicht nicht kontrollierbar.

Es ist nirgends ein Geheimnis mehr dass manche sogar uebermaessig schummeln. Man kann es eventuell unter den Teppich kehren wie Du weil es eben Deinen Interessen voll passt oder man kann sich wie jeder anderer normaler Sterblicher kritisch dagegen stellen.

Sonst dank Deiner oefters ekligen Scheinheiligkeit: waere es im gegebenen Fall Apple oder Intel die beim bescheissen erwischt wurden wuerdest Du es als erster von aller Daechern bruellen und ja natuerlich so viel fuer Deine Objektivitaet.

Rogue

2013-11-27, 15:23:38

Ok. Du sagt es ist schummeln. Jetzt führe mal den Beweis, dass ein zugenageltes Apple System dieses nicht tut. Kannst du nicht. Es ist schlicht nicht kontrollierbar.
Beweis? Das Gerät verhält sich im Benchmark absichtlich anders als "Standard" mit dem mehr als offensichtlichen Ziel bessere Scores zu erreichen.
Was übrigens in der Vergangenheit schön öfters zu "melted Phones" führte, also das ganze auch noch auf kosten der Sicherheit.
Ein solch eindeutig falsches Verhalten zu relativieren wollen, lässt jedwede fachliche Neutralität deinerseits implodieren.
Neuerdings aber schon in einem solchen Ausmaß, das man sich langsam fragt ob da nicht ein monatlicher Scheck aus Korea bei dir reinflattert. Wäre ja nicht das erste mal das Samsung im großen Stil Leute in Techforen für "die richtige Meinung" schmiert.

Ein "zugenageltes Apple System" kauft kein Mensch auf Basis eines Benchmarks.
Entweder die Features laufen gefühlt flüssig/flott oder eben nicht.

Spassig auch die Kritik von iFanatiker das sich da jemand über flüssige Bedienung der Oberfläche echaufiert wenn er doch besser nen Benchmark zu rate ziehen sollte.
Ich weiss ja nicht wie ihr eure Phones den ganzen Tag so nutzt, aber ich telefoniere, verschicke Nachrichten, öffne und schliesse div. Apps und hin und wieder kommt auch mal ein Spielchen dran. In diesen Situationen muss es "fluppen".
Was zum Geier hab ich von nem tollen Benchmark-Score wenn dafür das Gerät schon in dieser "Basisnutzung" vor sich hinstottert?

Kurz gesagt, wer ein Gerät kauft/bejubelt das in seiner alltäglichen Basisbedienung rumeiert/stottert, dafür aber nen tollen Score hat, ist in meinen Augen (sorry) ein Idiot!
Einzige Ausnahme: Das Gerät wird zu über 90% als Spielkonsole genutzt und damit weit mehr in einer Auslastung die nem Bench nahe kommt.

Crushinator

2013-11-27, 16:27:01

[...] Was soll der Hersteller denn machen? Absichtlich herunter takten? [...]

Er soll das Verhalten des Systems so belassen, wie es bei den anderen Anwendungen der Fall ist, oder er soll eine Option namens "Leistung, Leistung, Leistung!!1 – scheiß auf Akku" einführen, die man generell ein- oder ausschalten kann; dann wäre es transparent und würde systemweit für jede App gelten.

[...] Ok. Du sagt es ist schummeln. Jetzt führe mal den Beweis, dass ein zugenageltes Apple System dieses nicht tut. Kannst du nicht. Es ist schlicht nicht kontrollierbar.

Ja, aber was spricht dagegen, die zu überführen, den man es nachweisen kann?

Eisenoxid

2013-11-27, 16:37:30

Ich weiss ja nicht wie ihr eure Phones den ganzen Tag so nutzt, aber ich telefoniere, verschicke Nachrichten, öffne und schliesse div. Apps und hin und wieder kommt auch mal ein Spielchen dran. In diesen Situationen muss es "fluppen".
Was zum Geier hab ich von nem tollen Benchmark-Score wenn dafür das Gerät schon in dieser "Basisnutzung" vor sich hinstottert?
Richtig. Das Teil muss in der Praxis gut funktionieren und keine hohen Benchmarkzahlen ausspucken. Leider wollen viele Leute halt eine einfache Vergleichsmöglichkeit haben. Und es ist halt viel einfacher nur Zahlen zu vergleichen als sich ausführliche Tests durchzulesen, oder die Geräte auch mal selbst auszuprobieren.

Der Vergleich mit PC-Benches hinkt hier mMn. Die liegen nämlich näher an dem was praktisch auch mit der Hardware gemacht wird. Nämlich Spielen. Und jeder gescheite Grakatest beinhaltet ja nicht nur synthetische Benchmarks, sondern auch solche mit "richtigen" Spielen.

Avalox

2013-11-27, 16:54:53

Überspitzte Analogie: Verbrecher muss man nicht bestrafen, da die theoretische Möglichkeit besteht, dass jeder Mensch zum Verbrecher wird. :freak:

Nein, dass stimmt doch überhaupt nicht. Auch fürs Verbrechen gibt es ein Rahmenwerk, eben das Gesetz.
Ich frage mich nur und das ist die Kernfrage, wie jemand schummeln kann, wenn keinerlei Regeln existieren.

Solche Regeln können z.B. die Spezifikationen des Herstellers sein. Aber das Gerät ist völlig innerhalb dieser Spezifikationen. Also welche Regeln willst du anwenden?

Und die zweite Frage ist, wie das dann nachhaltig überprüft werden soll?

Weil am Ende hast du wie beim PC heute, ein Wettlauf des "cheatings", bei welchen dieser immer weiter hochgerüstet wird und nicht nur durch einfaches umbenennen der ausgeführten Dateien umgangen werden kann.

Ich befürchte und dass ist mein Kern, dass nämlich diejenigen die transparent und offen damit umgegangen sind, am Ende die Gelackmeierten sind und das nur, weil man den anderen es nicht nachweisen kann. Das fände ich falsch.

Ich hoffe mal stark, dass das ganze zu einer neuen Betrachtung der dämlichen Benchmarkpraxis führt.

@Ailuros

Ich mag als Firma Qualcomm bei weniger als Intel. Ganz einfach deshalb, weil Qualcomm auf den Sourcecode sitzt und in einer völlig intransparenten Art und Weise ihr Ding macht, mit vielen tatsächlichen Nachteilen für die Benutzer.

Eco

2013-11-27, 17:15:52

Ja, Samsung ist im Grunde echt arm dran, weil sie so offen und ehrlich gecheatet haben. :freak:

Avalox

2013-11-27, 17:41:22

Ja, Samsung ist im Grunde echt arm dran, weil sie so offen und ehrlich gecheatet haben. :freak:

Nö, sind nicht arm dran.
Aber bei der nächsten Runde könnte Samsung sich entschließen, es wie der Wettbewerb zu machen und das ganze zu verstecken.

Was da HTC gemacht haben soll ist mir noch nicht so ganz klar.

---
Was man Samsung vorwirft sind ja zwei völlig getrennte Punkte.

1) Bei Geräten mit Samsung SoCs wird der maximale Takt der GPU bei einer Whitelist von Programmen erreicht, das sind einige Benchmarks und (inzwischen) auch einige Anwendungen, Spiele gehören aber nicht dazu.

2) Bei Geräten mit Qualcomm SoCs wird das Gerät bei einer Whitelist von Programmen auf der höchsten Leistungsstufe fixiert, bis der Test vorbei ist. Der Takt wird von Samsung überhaupt nicht verändert.
----

Das kann jeder nachlesen, weil Samsung dieses ganz offen verteilt und auch mehrmals beantwortet hat.

So nun kommt hinzu, dass Qualcomm scheinbar in ihren binären Treibern mächtig den Takt hochdreht, wenn eine Benchmark Situation erkannt wird. Wie das gemacht wird ist komplett unabhängig von der Samsung Methode oben.

Das ist aber überhaupt nicht transparent, da Qualcomm A) keine Sourcen und B) keine Informationen darüber verteilt.

Da aber Qualcomm nun ja in fast jeden aktuellen Gerät steckt und dieser Ansatz so Low-Level ist, dass es vermutlich bei jedem Gerät mit Qualcomm SoC greift, kannst du gleich mit der Sense durch solch einen Benchmark fahren. Doch dann will ich doch mal gerne wissen, ob genau dieses andere SoC oder GPU Treiber Hersteller ebenso tun. Die stehen ja schliesslich im harten Wettbewerb un das nicht seit gestern.

Arm dran ist da niemand. Die Idee mit solchen Benchmark zu arbeiten ist nicht zeitgemäß. Benchmarks messen halt nur das was sie messen und das Profil der kurzen Grafikdemo ist halt nicht das Profil eines Spiels und das fällt halt nun auf.

Ich habe ja schon geschrieben, dass Intel hoch offiziell seinen Burst Mode auf bisher ungeahnte Höhen treibt. Ich verstehe das Dilemma, aber das Smartphone ist kein PC und selbst auf dem PC war die Methode HighLevel Benchmark Käse.

Du willst wissen, wie schnell etwas in einem Spiel ist, dann teste das Spiel und für den Rest kannst du nur Transparenz fordern. Das genau diese Transparenz nun zum Nachteil wird, kann ich nicht gut finden.

Ailuros

2013-11-27, 18:06:44

Nein, dass stimmt doch überhaupt nicht. Auch fürs Verbrechen gibt es ein Rahmenwerk, eben das Gesetz.
Ich frage mich nur und das ist die Kernfrage, wie jemand schummeln kann, wenn keinerlei Regeln existieren.

Solche Regeln können z.B. die Spezifikationen des Herstellers sein. Aber das Gerät ist völlig innerhalb dieser Spezifikationen. Also welche Regeln willst du anwenden?

Fuer was braucht man eine Regel wenn ein jeglicher Hersteller entweder die Qualitaet reduziert oder die Frequenzen hochpumpt um hoehere Resultate nur in benchmarks zu erreichen. So lange es eben nicht um default settings handelt sondern um spezial angepasste sollte es selbstverstaendlich sein dass es eben nicht akzeptabel ist.

Ich hoffe mal stark, dass das ganze zu einer neuen Betrachtung der dämlichen Benchmarkpraxis führt.

Es gab schon ein paar sehr gute Vorschlaege in diesem thread und in auch andere. Wo ein Wille ist, gibt es auch einen Weg.

Und fuer Deine Zweifel Grafik IHVs im ULP Markt wissen verdammt genau wer, wo und wie genau bescheisst und da es auch oefters von den Grafik IHVs selber anfaengt sind bis jetzt zumindest afaik ARM, NVIDIA und IMG sauber was das Thema betrifft.

@Ailuros

Ich mag als Firma Qualcomm bei weniger als Intel. Ganz einfach deshalb, weil Qualcomm auf den Sourcecode sitzt und in einer völlig intransparenten Art und Weise ihr Ding macht, mit vielen tatsächlichen Nachteilen für die Benutzer.

Samsung ist auch nicht die Mutter aller Unschuld und sie haben auch so manche Rechnung in der Vergangenheit bezahlen muessen. Du solltest auch froh sein dass QCOM keinen Quellcode veroeffentlicht sonst wuerde sich so mancher die Haare ausreissen wie beschissen deren compiler bzw. Treiber genau sind.

Und im Fall QCOM und spezifisch fuer Adreno320/330 ist es eben nicht mehr nur ein sw Problem. Auf einem smartphone kann eine ULP SoC GPU eben nicht bis zu 4W verbraten nur in einem benchmark waehrend in Echtzeit der insgesamte SoC nicht mehr als 2.5-3.0W maximal verbraucht. Es gibt sehr guten Grund warum ich mehr Messungen von perf/mW und Batterie-laufzeiten sehen will fuer solche Geraete und nicht nur sterile Leistungsbalken.

Bei einem Tegra3 oder Tegra4 in einem smartphone wusste ich persoenlich schon immer dass die Batterielaufzeit mit 3D begrenzt sein wird. NVIDIA taktet zwar ihre GPUs ziemlich hoch bis jetzt, aber dafuer immer ergo weiss der User auch dass das was er im benchmark sieht an Leistung er auch in einem mobilen Spiel erwarten kann.

Bei mehreren Geraeten aber mit QCOM SoCs ist eben nicht der Fall und da sich die Dinger sowieso in sehr vielen mobilen Spielen dank beschissenen Treibern ziemlich schwer tun ist im Gegensatz zu diesen in Echtzeit ein konkurrierendes iPhone oder iPad nicht nur schneller in der Mehrzahl der Faelle, throttelt nicht ernsthaft nach einiger Zeit und haelt auch laenger an ob man es jetzt einsehen will oder nicht.

Nur mal so dekorativ in die Luft zu schmeissen dass Apple vielleicht auch bescheisst waehrend es keinerlei Indizien zum Thema gibt (eher das Gegenteil) ist mal wieder das koestlichste der ganzen Geschichte. Ich hab mit Apple und ihren Wuchermargen nichts am Hut und wenn sie wirklich je bescheissen sollten, wird es auch analog von mehreren Seiten hageln.

Avalox

2013-11-27, 18:19:31

Nur mal so dekorativ in die Luft zu schmeissen dass Apple vielleicht auch bescheisst waehrend es keinerlei Indizien zum Thema gibt (eher das Gegenteil) ist mal wieder das koestlichste der ganzen Geschichte.

Das habe ich nicht behauptet. Es war nur das Beispiel, dass solche Systeme so zugenagelt sind, dass es niemand nachmessen könnte.

Ailuros

2013-11-27, 18:28:27

Das habe ich nicht behauptet. Es war nur das Beispiel, dass solche Systeme so zugenagelt sind, dass es niemand nachmessen könnte.

FYI der A7 im iPadAir haelt sich auf fast 5W SoC Verbrauch bei wiederholten GLB2.7 benchmark runs. In sehr vielen Faellen kann man sogar auch die GPU power rail isolieren und die Resultate davon sind schon in den meisten Faellen ziemlich kunterbunt. Ergo ist es eben nicht so dass man die gegebene Problematik auch nicht iOS Geraeten nachmessen kann.

Wenn man jetzt wiederrum an der Bildqualitaet spart laesst es sich bei vorsichtiger Untersuchung durchaus mit dem nackten Auge entdecken; so lange Adreno und ULP GeForce GPUs u.a. z.B. Leistung sparten mit 16bit Z bekam man fast Augenkrebs von dem ganzen z-aliasing.

Ailuros

2013-11-27, 18:37:54

http://www.anandtech.com/show/7547/futuremark-begins-delisting-cheating-mobile-devices-from-3dmark-database

Upon detecting certain benchmarks the device would plug in all cores and increase/remove thermal limits, the latter enabling it to reach higher GPU frequencies than would otherwise be available in normal games.

Honestly I think the best approach would be for the benchmark vendors to toss up a warning splash screen on devices that auto-detect the app and adjust behavior accordingly. That's going to be one of the best routes to end-user education of what's going on.

Ultimately, I'd love to see the device OEMs simply drop the silliness and treat benchmarks like any other application (alternatively, exposing a global toggle for their benchmark/performance mode would be an interesting compromise). We're continuing to put pressure on device makers, but the benchmark vendors doing the same will surely help.

Avalox

2013-11-27, 18:56:10

FYI der A7 im iPadAir haelt sich auf fast 5W SoC Verbrauch bei wiederholten GLB2.7 benchmark runs.

Wie misst man denn die Leistungsaufnahme eines SoCs im System? Da musst du ja die Versorgungsleitungen am SoC zu auftrennen und dich mit einem Messgerät dazwischen klemmen.

Ailuros

2013-11-27, 19:05:55

Wie misst man denn die Leistungsaufnahme eines SoCs im System? Da musst du ja die Versorgungsleitungen am SoC zu auftrennen und dich mit einem Messgerät dazwischen klemmen.

Und wer sagt dass Anand unter anderem keine solche Messungen vornimmt? Er hat sogar in einem aelteren review nur an den GPU rails den Stromverbrauch gemessen.

Avalox

2013-11-27, 19:12:02

Und wer sagt dass Anand unter anderem keine solche Messungen vornimmt?

Ich sage ja nicht, dass er es nicht macht. Neben dem elektrischen Eingriff ist es ja zudem noch wichtig, dass das Gehäuse wieder geschlossen wird, bevor gemessen wird. Die Messleitungen müssen dabei nach draußen geführt werden.

Simpel ist das nicht, wenn man es ordentlich machen will und die Aussagekraft ist dabei zudem noch recht allgemein.

Ailuros

2013-11-27, 19:21:07

Fuer welche derartige Messung ist die Aussagekraft nicht allgemein?

Wenn man's ganz genau nimmt muesste man die Dinger genauso "aufwaermen" vor den finalen Messungen wie heutzutage desktop GPU z.B. Anders man jagt jedes Geraet um Nx Mal in einem benchmark durch und misst dann erst mit einem letzten run. So hat man erstmal auch die throttling Moeglichkeit etwas besser gesichert.

Keine Ahnung ob sich was geaendert hat, aber beim Google Nexus 4 (Adreno320@400MHz) konnte Anand nicht die gesamte Gfxbench suite durchlaufen lassen wo es zum crash fuehrte; einzelne benchmarks gingen dann schon. Auf einem LG Geraet mit dem gleichem SoC ging es dann schon nur eben mit um einiges niedrigerer Leistung als wenn man nur einzeln benchmarks laufen liess.

Avalox

2013-11-27, 19:33:05

Wenn man's ganz genau nimmt muesste man die Dinger genauso "aufwaermen" vor den finalen Messungen wie heutzutage desktop GPU z.B. Anders man jagt jedes Geraet um Nx Mal in einem benchmark durch und misst dann erst mit einem letzten run. So hat man erstmal auch die throttling Moeglichkeit etwas besser gesichert.

Am Ende hast du dann das Ergebnis einer Grafikdemo, die ebenso wenig auf ein reales Spiel Rückschlüsse zulässt wie zuvor nur, dass du das andere Extrem vermessen hast.

Die einzige Möglichkeit eine Spielesituation zu messen ist es eben in einem durchschnittlichen Spielbetrieb zu messen. Davon hat der Durchschnittsuser dann auch was.

Das Problem ist doch, dass der Grafikbenchmark nicht dem Spiel entspricht und das ändert ja die Startbedingung nicht.

Dabei ist der Benchmark ja nicht generell unbrauchbar. Vergleiche werden aber eben eingeengt.

Ailuros

2013-11-28, 07:53:16

Da ein grosser Anteil der Bescheisserei mit maximalen Temperaturen verbunden ist, ist es ein einfacher Weg realistischeren Spielbedingungen naeher zu kommen. Dabei ist es ziemlich wurscht ob Du fuer so einen test einen synthetischen benchmark oder einen mobilen ingame benchmark benutzt.

Wenn etwas nur ein paar Sekunden von idle Temperaturen durchlaeuft sollte es klar sein dass man fuer die paar Sekunden die GPU auf Hochtouren schiessen lassen kann. Im Gegensatz wenn man diese schon ein bisschen vorgequaelt hat und die Ausgangstemperaturen sind schon so hoch wie moeglich bleibt dem Ding dann nicht besonders viel uebrig als zu throtteln.

Auf jeden Fall sind solche Testkonditionen um zich Mal realistischer im Vergleich zum Echtzeit-gaming in einem synthetischem Spiel als alles andere. Ausser es gibt Leute die ein mobiles Spiel nur fuer ein paar Sekunden spielen :freak: