Phoronix Test Suite - Benchmarking unter Linux

[puntarenas]

Nachdem ich sicherlich bereits 1000 Mal auf www.phoronix.com unterwegs war, ist mir vergangene Woche aufgefallen, dass die Seite Phoronix heißt, ich habe dagegen immer Phronix gelesen. Dies aber nur vorweg, um mein Gewissen zu erleichtern :redface:

Michael Larabel hat eine in PHP geschriebene Benchmarksuite ins Leben gerufen, die Phoronix Test Suite (http://www.phoronix-test-suite.com/) (PTS). Man lädt sich einfach das Archiv herunter (aktuell Version 0.2) und entpackt dieses in ein eigenes Verzeichnis. Die Testsuite beinhaltet dann Benchmarkprofile für unterschiedlichste Bereiche, man kann Einzeltests anstoßen oder auch einen Komplettdurchlauf. Zunächst legt sich die PTS ein Arbeitsverzeichnis an (~/pts-benchmark-env) und dorthin werden dann die für die Tests benötigten Dateien aus dem Netz nachgeladen (also zum Beispiel das komplette Nexuiz zur Absolvierung der 3D-Benches).

Bei einem Komplettdurchlauf der frei verfügbaren Komponenten sind dies im Moment folgende Tests:


LAME MP3 Encoding
Ogg Encoding
FLAC Audio Encoding



Timed MPlayer Compilation
Timed PHP Compilation
ImageMagick Compilation



Nexuiz



Time Gzip Compression



RAMspeed
Bandwidth


Daneben gibt es auch noch eine Reihe weiterer Testprofile mit teils unfreier Software wie Quake4 oder Super-PI, am Ende bekommt man für jeden Einzeltest eine hübsche Visualisierung:

http://img3.imagebanana.com/img/hvidwrx5/PTSexample.png (http://img3.imagebanana.com/)

Hat man zu Beginn des Durchlaufs einer Speicherung des Ergebnisses zugestimmt, so werden diese in Form einer XML-Datei abgelegt, womit sie archiviert und nach herzenslust betrachtet werden können (Webbrowser). Außerdem erlaubt PTS die Ergebnisse hochzuladen, so dass schnell ein Archiv zum Vergleich mit ähnlichen Rechnerkonfigurationen auf http://www.phoronix-test-suite.com/ zur Verfügung stehen dürfte. Meinen Komplettdurchlauf habe ich exemplarisch hochgeladen, dank der Matrox Mystique 4MB dauerte der Nexuiz-Durchlauf allein knapp 1,5 Stunden bei 1 FPS und Software-Rendering: Klick! (http://global.phoronix-test-suite.com/index.php?k=profile&u=martin-24053-26810-26704) :D

Eine GTK-Oberfläche ist ebenfalls in Arbeit, abschließend noch ein kleiner Wegweiser:

1) Die Pakete build-essential und php5-cli werden benötigt, unter Debian-basierten Distributionen installiert man diese wie folgt:
# sudo apt-get install build-essential php5-cli

2) Download der Phoronix Test Suite von http://www.phoronix-test-suite.com/

3) Entpacken
tar -xvzf phoronix-test-suite-0.2.0.tar.gz

4) Im Zielverzeichnis verschafft man sich einen Überblick über die Funktionen:
:~/phoronix-test-suite$ ./phoronix-test-suite

=================================
Phoronix Test Suite
http://www.phoronix-test-suite.com/
=================================

install <suite OR benchmark>: Install or Update The Specified Benchmark(s)
run <suite OR benchmark>: Run The Specified Benchmark/Suite
benchmark <suite OR benchmark OR saved file>: Same as manually running install and then run
merge-results <Saved File 1 OR Global ID> <Saved File 2 OR Global ID> <Save To>: Merge two saved result sets
remove-result <Saved File>: Remove this saved result file and associated files
list-tests: List all Phoronix Test Suite Benchmark profiles
list-suites: List all Phoronix Test Suites
list-saved-results: List all saved results
upload <Saved File>: Upload these results to be shared globally
build-php: Build A Local Copy Of PHP For The Phoronix Test Suite


Am wichtigsten sind IMHO die Befehle list-tests, list-suites und benchmark. Erstere zeigen die Bezeichnung der verfügbaren Tests und Testsuites und benchmark lädt die benötigte Dateien gegebenenfalls herunter und führt den Test aus, was natürlich auch manuell durch install gefolgt von run erzielt werden kann. Die Mutter aller Suites ist natürlich universe, was alle verfügbaren Einzeltests umfasst.

5) Ausführen
./phoronix-test-suite benchmark universe

Durch den Parameter benchmark universe wird ein kompletter Durchlauf gestartet. Wenn man einer Speicherung der Ergebnisse zustimmt, muss man noch den Namen der Savedatei ohne Endung und einen individuellen Bezeichner vergeben. Nach dem Durchlauf wird man dann gefragt, ob man das Ergebnis (im Browser) ansehen und ob man es hochladen möchte.

Statt universe kann natürlich auch die Bezeichnung jedes Einzeltests oder der Testsuites verwendet werden. Ich bin wirklich gespannt, ob im Benchmarkforum ein Phoronix-Test- Suite-Thread entstehen wird und wohin sich das vielversprechende Projekt entwickelt :)

[desperado2000]

Wenn du magst erstelle doch lieber in einem Debian oder besser noch ein Ubuntu Wiki ein entsprechen Eintrag ;)

www.ubuntuusers.de

Bin auch dort zu finden wenn du magst.

[puntarenas]

Bin auch dort zu finden wenn du magst.
Fühl dich frei :)

Ich habe noch ein paar Wikieinträge bei debianforum.de, das MoinMoin dort ist im Moment aber leider kaputt. Ubuntuusers.de ist eine tolle Seite, ganz besonders das Wiki, aber dort etwas einzustellen ist mir aufgrund der ausführlichen, formalen Anforderungen bisher einfach zu stressig gewesen und PTS ist ja weitestgehend selbsterklärend.

Sobald ich die Weltherrschaft erlangt habe, wird es übrigens nur noch ein einziges Linuxforum in Form eines Subforums bei 3DCenter.org geben. Windows wird dann mit MacOS zu "Sonstige Betriebssysteme" zusammengelegt und dort werden auch weiterhin Gastpostings erlaubt sein. Bis zu diesem glorreichen Tag muss es auch so gehen und ubuntuusers.de kann friedlich koexistieren :)

[desperado2000]

Aus Lizenzrechtlichen Gründen kann ich nicht einfach dein Beitrag bei ubuntuusers ins Wiki schreiben. Das müsstest du selbst machen dann können wir dort selbst weiterschreiben sofern du wirklich keine Lust dran hast.

[puntarenas]

Du bist wirklich hartnäckig. :)

Schade, dass es hier im Forum keine Auswahl zur Lizensierung der Forenbeiträge gibt. Im Debianforum kann man wählen und somit steht ein Großteil unter Freien Lizenzen, womit Inhalte dann gegebenenfalls auch weiterverwendet werden können. Ich bin zwar immer noch ein wenig verwundert, denn so besonders hilfreich oder erhellend finde ich mein Posting nun nicht, aber wenn du meinst, dann werde ich mich heute oder morgen mal auf die Baustelle im Ubuntuusers-Wiki begeben.

[desperado2000]

Vielen Dank

[puntarenas]

Phoronix Test Suite 0.2.1
April 12, 2008

- Add "External Dependencies" support. Right now Ubuntu is only supported!
- Add GLMark profile
- Add GtkPerf profile
- Add FRAC Benchmark profile
- Show "Less is better" or "More is better" on PTS graphs
- Bug fixes

Es geht voran, auch wenn Profile für etwas betagte Freeware-Benchmarks wie den GLMark vielleicht noch nicht der Weisheit letzter Schluß sind. GtkPerf (http://gtkperf.sourceforge.net/) dagegen freut mich sehr und könnte vor allem für ATI-User sehr nützlich sein, die die Fortschritte des RadeonHD-Treibers in Sachen 2D-Beschleunigung verfolgen wollen. :)

[puntarenas]

Phoronix Test Suite 0.3.0
April 18, 2008

- Add SPECViewPerf 9 profile
- Add IOzone profile
- PTS Global Tagging Support
- Add "Total Disk Space" reporting to PTS hardware information
- Report "major" running processes to TestNotes in XML. Currently Firefox and Compiz are reported if they ran while the testing was done.
- Pts-Grapher updates
- Initial "Batch Mode" support through using batch-run or batch-benchmark and BatchMode options are through ~/.phoronix-test-suite/user-config.xml
- Add "initial-config" argument, which overwrites the user-config.xml with a new default template
- Many "External Dependencies" improvements. Needs testing and more distribution profiles!
- Add "install-dependencies pts" for installing some PTS dependencies for itself, aside from php-cli.
- Introduce Fedora support for External Dependencies. Only tested with Fedora 8.92.
- Shutdown screensaver when running phoronix-test-suite. Currently only GNOME screensaver is supported with detection through GConf. If that doesn't work, then xdg-screensaver reset is ran before each test is executed.
- Other fixes and clean ups

Hier der Link zum Release Announcement: Klick! (http://www.phoronix.com/scan.php?page=article&item=pts_030&num=1)

Außerdem gibt es bei Ubuntuusers.de jetzt einen Wiki-Artikel, der den Umgang mit der Phoronix Test Suite anfängerfreundlich beschreibt. Viele Grüße an desperado666, ihr habt dort wirklich ein erstklassiges Wiki und es hat am Ende Spaß gemacht, aus den Fragmenten dieses Threads einen strukturierten Beitrag zu basteln:

wiki.ubuntuusers.de - Phoronix Test Suite (http://wiki.ubuntuusers.de/Phoronix_Test_Suite)

[Arcanoxer]

Außerdem gibt es bei Ubuntuusers.de jetzt einen Wiki-Artikel, der den Umgang mit der Phoronix Test Suite anfängerfreundlich beschreibt. Viele Grüße an desperado666, ihr habt dort wirklich ein erstklassiges Wiki und es hat am Ende Spaß gemacht, aus den Fragmenten dieses Threads einen strukturierten Beitrag zu basteln:

wiki.ubuntuusers.de - Phoronix Test Suite (http://wiki.ubuntuusers.de/Phoronix_Test_Suite)
Das hast du prima gemacht! (y)

Finde die PTS ist eine wirklich gelungene sache.
Realitätsnahe Benchmarks, da kann sich so manche Benchmarksuit eine scheibe von abschneiden!
Werde es bei zeiten auch mal auf dem EEE durchlaufen lassen. :D

Phoronix Test Suite 0.3.1 Hot-Fix (http://www.phoronix.com/scan.php?page=news_item&px=NjQzOQ)

U.A. ist ein neues wine D3D9 render-bench hinzugekommen.

[Gast]

Das hast du prima gemacht! (y)

Danke :)

Ich finde die PTS auch sehr gelungen, Michael Larabel hat da offensichtlich eine solide Basis erstellt und einige sehr gute Ideen verwirklicht (Profile; PTS Global; eingebaute Visualisierung und Möglichkeit, Ergebnisse zusammenzuführen).

Allerdings wird noch eine Menge Feinschliff nötig sein, über jede Kritik erhaben ist das Projekt noch nicht. Beispielsweise scheinen mir die 3D-Tests mit Nexuiz wenig aussagekräftig, bei halbwegs aktuellen Grafikkarten operiert man wohl am CPU-Limit. Außerdem werden die Settings noch nicht erkannt (Treibervorgaben) und angegeben (AA, AF).
Was mir auch nicht so recht gefallen mag, ist dass jede Menge Traffic auf den Projektseiten der externen Anwendungen generiert wird. Das ist IMHO ein wenig unsportlich und ich würde eine PTS-eigene Distribution der Daten vorziehen. Vielleicht könnte da Bittorrent gute Arbeit leisten. Wäre mein englisch nicht so schwerfällig, hätte ich diesbezüglich auch schonmal angeklopft, obwohl er im Moment wohl ohnehin genügend Feedback hat und erstmal die Basis weiter stabilisiert.

Die Entwicklung geht ja in dieser frühen Phase noch Schlag auf Schlag, ich hoffe ein paar PHP-Programmierer springen noch auf und das Tempo kann gehalten werden. Wenn dann erstmal eine hübsche GUI zur Verfügung steht, steht einem allmorgendlichen Benchmarkdurchlauf um den Tag zu begrüßen nichts mehr im Wege :D

[puntarenas]

Anmelden ist eine Kunst ;)

[puntarenas]

Phoronix Test Suite 0.4.0 Released (http://www.phoronix.com/scan.php?page=article&item=pts_040&num=1)

Phoronix Test Suite 0.4.0
April 24, 2008

- Add system-info argument for quickly and easily showing the system's hardware and software information
- Add diagnostics argument for dumping Phoronix Test Suite information for debugging purposes and showing environmental variables accessible to the test scripts/profiles
- Update build-linux-kernel profile to use Linux 2.6.25 kernel and support both x86 and x86_64 standardized configurations
- Allow users to log-into their PTS Global account using "phoronix-test-suite login"
- Add in basic browser detection code
- Add scimark2 profile
- Add java-scimark2 profile
- Add support for pts-test-description and pts-test-version for benchmark description and benchmark version to be defined outside of the XML schema
- Add "java" suite of Java benchmarks
- Add External Dependencies support for CentOS (Thanks to Pekka Panula)
- Add External Dependencies support for Mandriva (Thanks to Stephane Teletchea)
- Add new OpenGL profile (norsetto-shadow)
- Major rework of how results are saved and each set of results now has its own directory. Most regressions in this area should be taken care of.
- Add show-result <Saved File> argument for opening saved results at a later time in your web browser
- Test results location now defaults to ~/.phoronix-test-suite/test-results/ and saved benchmarks now defaults to ~/.phoronix-test-suite/installed-tests/
- All graphs are now rendered locally. This means php-gd/php5-gd (PHP GD library) is a requirement if you wish to see the results!
- Add support so distribution maintainers can create their own graph theme (color, text size, etc) or others and store the template of graph-config.xml as pts-core/pts-results-viewer/graph-config-template.xml
- Support for installing the Phoronix Test Suite code and other files into one directory (say /usr/share/phoronix-test-suite/) and installing phoronix-test-suite to /usr/bin/phoronix-test-suite by just adjusting the PTS_DIR environmental variable inside phoronix-test-suite
- Add suite-info <SUITE NAME> argument for providing more information on suites -- tests in each suite, maintainer, type, etc.
- Add test-info <TEST NAME> argument for providing more information on a test.
- Fix motherboard test suite
- Other bug fixes
Besonders bemerkenswert finde ich, dass man sich Online für einen kostenlosen Account anmelden kann und die Ergebnisse auf Wunsch unter diesem gespeichert werden. Kein Wunder, dass der 3DMark Vantage so eilig in den Markt gedrängt werden soll, die Luft wird dünn :D

[puntarenas]

Phoronix Test Suite 0.5.0 Released (http://www.phoronix.com/scan.php?page=article&item=pts_050&num=1)

Phoronix Test Suite 0.5.0
May 1, 2008

- Add support so distribution vendors / package maintainers can create their own defaults for user configuration options as a template at /pts/etc/user-config-template.xml
- Clean up all of the *_LOCATION definitions to using *_DIR
- Support test profiles to write their installation scripts in PHP instead of just SH. If using php, name the file install.php
- Allow test profiles to have pre.php and post.php process scripts, in addition to pre.sh and post.sh
- Support multiple possible paths in "PossiblePaths" in test profiles, with each path delimited by a colon
- Support if binary is named php5 instead of php
- Add IgnoreFirstRun argument for test profiles
- Add support for a test profile to have a downloads.xml file inside their resources folder that contains all of the files that need to be downloaded. Phoronix Test Suite then handles the downloading internally as well as verifying the MD5 sums, downloading from a random URL if multiple URLs are specified, etc. Some other features will come about soon for those using downloads.xml for acquiring all needed files
- Drop bcdiv/bcmath dependency for pts_Graph, switch to internal function for trimming doubles
- Add 7-Zip compression test (compress-7zip)
- Add Parallel BZIP2 compression test (compress-pbzip2)
- Add Compression test suite (compression)
- Drop Official tag from all suites
- Improved CPU detection support, especially for multi-processor multi-core environments
- Improved GPU and related detections support... Now can read the anti-aliasing and anisotropic filtering levels for NVIDIA graphics cards as well as the core temperature
- Add MONITOR= environmental variable. If MONITOR=gpu.temp, the low, average, and high temperatures will be reported at end of test
- Add a lot more sensor and monitoring support... Add MONITOR=sys.temp and MONITOR=cpu.temp. Multiple sensors supported that are delimited by comma (depends upon LM_Sensors)
- Clean up pts-results-viewer as well as switching to Liberation Sans for the font in graph rendering and clean up graph alignment
- Add remove-all-results option
- Add in espeak text-to-speech engine test
- Add in multicore suite of SMP-friendly tests
- Add force-install option for installing benchmarks already installed
- Add line graphing support of monitor results
- Basic CPU and system temperature monitoring support through ACPI, if LM_Sensors is not installed and/or reporting information
- Improved thermal monitoring support
- Improvements to pts-grapher with alignment
- Add version argument for showing PTS version and code-name
- Have a pts-monitor-viewer with basic functionality working. Prompt to open pts-monitor-viewer in web browser, if MONITOR results were recorded
- Add basic auto-tagging support for PTS Global if no tags are supplied
- Immediate detection when attempting to a run a test to see whether or not it's installed. If it's not, let the user know what to do and exit
- Report to test notes if Intel EIST or AMD Cool n Quiet / PowerNOW or another CPU power-savings/frequency-scaling technology was in use
- Report to test notes if the system was running on battery power
- End-User agreement shows when Phoronix Test Suite runs for the first time or when the agreement has been modified
- Add battery.power option to MONITOR= for reporting battery discharge rate (as reported through ACPI) during tests
- Add cpu.voltage, v3.voltage, v5.voltage, and v12.voltage options to MONITOR= for reporting line voltages on the CPU and other voltage rails through LM_Sensors
- Add ToggleScreensaver option to user-config.xml and implement new screensaver toggling mechanism
- Add sensor-options argument for more information about system sensors feature
- Update XML syntax for test profiles and test suites (Breaks compatibility with previous Phoronix Test Suite versions!)
- Change benchmark-profiles/, benchmark-resources/, and benchmark-suites/ to test-profiles/, test-resources/, and test-suites/
- Some code cleaning
- Other bug fixes

Zumindest für den proprietären Nvidia-Treiber werden jetzt die Qualitätssettings erkannt und angegeben, falls Treibervorgaben die Spieleinstellungen überschreiben. Außerdem gibt es jetzt die Unterstützung von Hardwaresensoren, man kann also die Temperaturwerte mitloggen lassen und vergleichen. Besonders freut mich auch das "IgnoreFirstRun" Argument für Testprofile, ich hoffe davon wird fleißig Gebrauch gemacht, beispielsweise beim Audio-Encoding leidet der erste Durchlauf sehr unter Plattenaktivitäten.
Michael arbeitet wirklich schnell und ist auch für Anregungen offen, die teilweise in Windeseile integriert werden. Für die Spielebenchmarks habe ich mir noch einen initialen Durchlauf zur Ermittlung des CPU-Limits gewünscht und dieser soll auch bald kommen. :)

IIRC soll Version 1.0 im August erreicht werden und erstmal eine stabile Basis darstellen, anschließend wird die Arbeit an der GUI wieder aufgenommen. Ich finde CLI eigentlich sehr praktisch, aber viele Desktopuser klicken halt gern und besonders wenn man detailiert an den Einstellungen feilen will, macht eine GUI ja auch Sinn.

[sun-man]

version 1.0 gibts nun auch (http://www.phoronix.com/scan.php?page=article&item=pts_100_release&num=1).

Find das Ding ganz interessant da man sich die Dinger zusammenstellen kann. Leider ist mein Laptop das gegenteil von schnell :D

[Arcanoxer]

The Phoronix Test Suite Gets A GUI (http://www.phoronix.com/scan.php?page=article&item=pts_selbu_gui&num=1)

€dit,
Villeicht kann man den threadtitel mal anpassen, die PTS läuft nicht nur unter Linux.
(Runs On Linux, OpenSolaris, Mac OS X, & FreeBSD Operating Systems)

[Athlonxp]

Phoronix Test Suite v7.6.0 Beta v7.8.0


Changelog: leider keine gefunden bis jetzt !


https://www.phoronix-test-suite.com/?k=downloads

:)

[aufkrawall]

Du brauchst keine Update-Links für Linuxprogramme posten, das bekommt man über die Paketverwaltung mit.

[Athlonxp]

ja ok wollte aber trotzdem den "etwas" älteren thread noch mal reaktivieren :P


https://github.com/phoronix-test-suite/phoronix-test-suite/blob/master/ChangeLog


;)

[aufkrawall]

Dein Update-Spam vermüllt einfach nur das Forum.

[Athlonxp]

ist wie bei so vielen dingen im leben, wenn es einen nicht interessiert! ... weitergehen ;)