Packer: neuer Effizienz-Sieger: Freearc

[MrMostar]

Win & Linux Download (http://sourceforge.net/project/platformdownload.php?group_id=207033)
Homepage, Programminterna & Infos (http://freearc.org/Benchmarks.aspx)

Charts, multiple file, sortiert nach Effizienz:

www.maximumcompression.com (http://www.maximumcompression.com/data/summary_mf2.php)

Im Grunde basiert Freearc auf 7zip, erweitert mit (Multimedia-)präprozessoren.
Es lohnt sich ein Blick in die Datei arc.ini, darin sind einige nützliche Kommandozeilenparameter zu finden.


Ich habe mit externen Präprozessoren experimentiert, mit dem Parameter
-mprecomp+exe+delta+rep:512mb+lzma:1gb:128:ht4:mc32
wird der Crysis Level Airfield.rar: (54.19 MB) reduziert auf 41.276.637 bytes. Speed 1.190 kB/s (X2 4400+)

[Rooter]

Zum "Effizienz-Sieger FreeArc" gab es hier glaube ich schon mal einen Thread.

Im Grunde basiert Freearc auf 7zip, erweitert mit (Multimedia-)präprozessoren.Die Software könnte langfristig ein interessanter Konkurrent werden. Bis es aber so weit ist würde ich es gerne sehen wenn Igor diese Präprozessoren in 7zip einbaut... =)

MfG
Rooter

[Argo Zero]

Hat man damit zeitliche Vorteile beim Entpacken gegenüber WinRar?

[MrMostar]

Hat man damit zeitliche Vorteile beim Entpacken gegenüber WinRar?

Das Packen ist schneller , das Entpacken ist langsamer, zu entnehmen den entsprechenden Spalten in der Tabelle auf maximumcompression.com (http://www.maximumcompression.com/data/summary_mf2.php)

Zum "Effizienz-Sieger FreeArc" gab es hier glaube ich schon mal einen Thread.

Ich habe im Thread 7z vs ZIP vs rar (´http://www.forum-3dcenter.org/vbulletin/showthread.php?t=449942) bereits die alpha Version vorgestellt, jetzt ist endlich die Stable Version erschienen ;)

[kevsti]

Ist Freearc auch schneller beim entpacken von stinknormalen zip und rar Daten als 7zip?

Und wenn wir grad schon beim Thema sind, hat schon jemand die Geschwindigkeit von WinRAR3.90 getestet? da kam imho heute ne beta raus, in der Changelog steht irgendwas von nativ 64bit Support und Allgemein besserer Multicoresupport und damit schneller

[MrMostar]

Ist Freearc auch schneller beim entpacken von stinknormalen zip und rar Daten als 7zip?

für das Entpacken alter Archive ist 7zip immer noch die erste Wahl.

[kevsti]

oki also überholt auch das neue WinRAR bei Dualcore unter Vista mit 64Bit (beim entpacken von zip und rar) auch nicht den 7zip Entpacker?

Oder noch nicht getestet?

[MrMostar]

Oder noch nicht getestet?

Jetzt spann uns nicht auf die Folter, was hast du bei deinen Tests herausbekommen?

[kevsti]

Jetzt spann uns nicht auf die Folter, was hast du bei deinen Tests herausbekommen?

Sorry du hast mich falsch verstanden, so war es nicht gemeint (sonst hätte ich wohl auch ein ;) Smiley gesetzt)

Die Frage war ernst gemeint, ich habe es noch nicht getestet...

Ich habe bloß gehofft dass einen Forumuser die Frage auch interessiert und dieser mehr Zeit und Lust zum testen hat als ich gerade ;)

Hab nur öfters was von etwa 20% Steigerung im Benchmarkmodus gelesen..

Naja falls nicht jemand vor mir sich die Arbeit macht, werde ich es die Tage wohl mal in Angriff nehmen, wobei zumindestens WinRAR in älteren Version bei mir gut um 50% hinter 7zip lage, daher glaube ich nicht dass die Optimierungen reichen

[MrMostar]

Ist zwar OT, aber ich hab mir jetzt mal die Mühe gemacht, heute bei der 3.8er und der 3.9er den Benchmark laufen zu lassen, zur Sicherheit habe ich beide 2mal laufen lassen.
Die neue Version ist langsamer :confused: (im Screenshot rechts). Egal, ich wollte den (imo) alten Schrott sowieso deinstallieren, ich hatte ihn nur kurz zum Benchmarken installiert.

[MrMostar]

OnTopic:

Eindirekter Vergleich zwischen den jeweils aktuellen Programmversionen WINRAR 3.9 und FreeARC 0.51 (Kurzbezeichung in den Foren: FA)

gepackt wurde ein Crysis Singleplayer Level (Airfield)
RAR: MAX SOLID; FA: FAST[langt problemlos um RAR in Sachen Kompression zu schlagen]

FA ist fast doppelt so schnell und packt trotzdem deutlich kleiner.

[Falls sich jemand über die Optik wundert: ausgewählt ist die FA Skin 'Aurora']

[(del)]

Die Frage ist eher, ob man sich diesen Streß antun will. Falls man das nicht nur alleine für sich selbst benutzt. Alles was ich mit 7-zip packe kann jemand mit Winrar und nu auch mit Winzip entpacken. Alles was mit Winzip und Winrar gepackt ist, kann ich mit 7-zip entpacken.

Wenn ich etwas mit FreeArc packe, wer kann es entpacken? (ernst, weiß ich echt nicht).

Kannst du zum "Benchen" nicht etwas brauchbareres nehmen? Es geht ja nicht um den content, aber überall wo ich Airfield zu laden versuche habe ging das mit 40KB/s. Bissl mager bei der Größe...

für das Entpacken alter Archive ist 7zip immer noch die erste Wahl.Was sind alte Archive?

p.s.:
Ich denke auch das letzte was der Benutzer will ist erstmal mit externen Präprozessoren zu experimentieren :|

[Savay]

*Threadausgrab* :ass:

Aus gegebenem Anlass habe ich mal folgende Packer vergleichen:

- FreeARC 0.60
- WinRAR x64 3.93
- 7z x64 9.13 beta

Der Vergleich war dann letztlich die Konsequenz einiger diskrepanzen zwischen diversen Benchmarks und meinen Erfahrungen bezüglich der Geschwindigkeit und Skalierung der Packprogramme (insbesondere der ergebnisse von 7zip) vorallem auf Multicore CPUs!

Ordner "HISS" 117MB, 170 Dateien (diverse PDFs, PowerPoint-Präsentationen und EXCEL Tabellen, sowie einige JPEGs und MPEGs)
Presets "Normal"


7Zip0:160:0854.652kb
FreeARC0:1054.490kb
WinRAR0:1893.866kb


soweit so gut...dann habe ich die Programme aber alle einmal auf etwas größeres losgelassen weil mich die Auslastungsanzeige etwas stutzig gemacht hat.

Bioshock 2 Ordner, 6,09GB, 342 Dateien

Presets "Schnellste"


7Zip3:244.697.399kb
FreeARC6:284.648.500kb
WinRAR6:494.828.584kb


Mal ganz allgemein dazu angemerkt:

An den zahlen selber erkennt man schon, dass FreeARC definitv am besten packt und bei gemischten Ordnern mit vielen PDFs und Excel Tabellen auch am schnellsten ist.
Dagegen steht allerdings die Doppelte(!) Packgeschwindigkeit von 7Zip im Fall des Bioshock Ordners.

Fraglich ist: liegt der Vorsrpung im Fall des HISS-Ordners an der intelligenten Auswahl der Packalgorithmen oder der effektiven Nutzung der vorhandenen Rechenleistung?
Ich würde sagen ersteres, denn grade wenn man sich die CPU-Auslastung beim Packen des Bioshock Ordners ansieht fällt doch schon einiges auf:

FreeARC:
36580
7Zip
36581
WinRAR
36582

Fraglich ist natürlich wie sich die beiden Ergebnisse auch auf andere Ordner übertragen lassen. Eine Komprimierung meines "Downloads" Ordners (~33GB, Programme, Videos etc. pp dort landet wirklich alles, insofern ein idealer Schnitt!) als Gegentest hat eine ähnliche Reihenfolge zur Folge wie sie sich beim Bioshock Ordner zeigt insofern ist es fraglich ob die Ergebnisse beim HISS Ordner wirklich repräsentativ sind.

Um ehrlich zu sein, ideal wäre wohl ein 7z mit der Flexibilität von FreeARC. Summa sumarum bleibt momentan aber als Allrounder 7Zip für mich unangefochten an der spitze zumal der geringe Geschwindgkeitsnachteil in Workloads mit "HISS-Order" artigem Inhalt durch die Performance in größeren Ordnern x-fach wieder aufgefangen wird!

WinRAR hat sich dagegen für mich vollkommen disqualifiziert!

EDIT: 7Zip werte für "HISS"-Ordner aktualisiert

[san.salvador]

Du vergleichst hier aber auch zwei unterschiedliche Presetes, genau das könnte allerdings der Grund für die Diskrepanz sein.

[Savay]

daran habe ich schon gedacht aber die reihenfolge ändert sich auch mit anderen presets nicht, genauso wenig wie die auslastung der kerne! Bei WinRAR geht sie zwar hoch mit den presets (ab "Normal" werden scheinbar alle kerne genutzt ;)) es rettet das programm aber in keinster weise bei meinen refrenzordnern! FreeARC scheint grundsätzlich keine wirklich multicore optimierten algorithmen einzusetzen.

ziel war es sowieso im grunde ähnlich große archive zu generieren und zu schauen welcher packer schneller ist. :) WinRAR disqualifiziert sich da IMO schonmal vollkommen. FreeARC ist interessant wenn es auf die maximale packdichte ankommt...und 7Zip so wie es momentan aussieht ist einfach am effektivsten was die ausnutzung der rechenleistung angeht. angedenk der verbreitung von 7zip fähigen entpackern stellt sich für mich garnicht die frage welches das bessere "alltagsprogramm" ist zumal es mir im zweifel nicht auf ein paar MB vorteil beim packen ankommt. :)

EDIT:

Bioshock 2 Ordner, 6,09GB, 342 Dateien

Presets "Normal"


FreeARC 0.66605:284.454.514kb
7Zip08:044.516.364kb
FreeARC 0.6019:334.440.712kb
WinRAR22:084.717.184kb


FreeARC 0.60:
36586
7Zip x64 9.13:
36585
WinRAR x64 3.93:
36587


Dazu muss man aber zusätzlich sagen: FreeARC ist verdammt effizient im bezug auf packgeschwindigkeit, packdichte und benötigter rechenleistung. nachteil bleibt die verbreitung des formats! für backups mit maximaler packdichte gibt es aber scheinbar nichts besseres.
Wie gesagt ich würde mir die effizienz von FreeARC gepaart mit der effektivität von 7Zip wünschen.

EDIT:

Werte für FreeARC 0.666 hinzugefügt

[(del)]

Kannst du beim 7z die Zeit und Archivgröße bei den Einstellungen (im 7zFM) ermitteln?

0=bcj2 1=lzma:d26 2=lzma:d23 3=lzma:d23 b0:1 b0s1:2 b0s2:3 hcf=on f=off

Die Threadsanzahl natürlich passend einstellen und LZMA/LZMA2 samt solid blocks wie bei deinem Test davor.

[Savay]

bei beiden ordnern? Ultra setting geht btw nur schlecht...beim bioshock ordner geht mir der ram aus und eine swapping orgie allergrößter güteklasse offenbart sich mir. ich habe nur 4GB RAM ;)

EDIT:

HISS Ordner settings wie oben mit Preset "normal"

0:18
44.560kb

[Rooter]

Bist du sicher dass du bei WinRAR auch die richtigen Parameter eingestellt hast? Denn WinRAR kann ja multithreaded, d.h. mindestens 2 Kerne sollte der schon auslasten...

nachteil bleibt die verbreitung des formats! für backups mit maximaler packdichte gibt es aber scheinbar nichts besseres.Ist das dein ernst? Backups würde ich mit so einer experimentellen Software niemals machen! Eher mit ZIP oder RAR oder auch 7z. Bei Backups ist die Datenreduktion zweitrangig und Datensicherheit das Wichtigste!

MfG
Rooter

[Savay]

Bist du sicher dass du bei WinRAR auch die richtigen Parameter eingestellt hast? Denn WinRAR kann ja multithreaded, d.h. mindestens 2 Kerne sollte der schon auslasten...

winRAR ist definitv multithreaded eingestellt! sieht man ja auch an der auslastungsanzeige beim "normal" preset.


Bei Backups ist die Datenreduktion zweitrangig und Datensicherheit das Wichtigste!


hängt davon ab was man sichert :smile:

[Savay]

(...) die richtigen Parameter eingestellt hast? (...)

hm da hat sich durchaus ein kleiner fehlerteufel eingeschlichen!

kleiner Nachtrag...die werte von 7Zip sind beim HISS ordner (und auch nur da!) sogar zu niedrig bzw die packdauer zu lang

HISS Ordner
Setting "Normal"

7Zip

0:08
54.652kb

[Houwelhorst]

Download (http://freearc.org/) - FreeArc V0.666 erschienen! :biggrin:

Ich probier' es gerade aus und bin erstaunt über die Kompressionsrate bei vorhandener Geschwindigkeit. Dies ist kein Packer, der 10x länger als die üblichen Verdächtigen braucht, um marginale Steigerungen zu erreichen!

[(del)]

Solange Winzip/Winrar/7-zip es nicht entpacken können, kann man sich das leider in die Haare schmieren.

p.s.:
Und solange es keinen Plugin für TotalCommander gibt ;)

[Houwelhorst]

Solange Winzip/Winrar/7-zip es nicht entpacken können, kann man sich das leider in die Haare schmieren.Wenn man nun weniger an das Internet denkt, sondern mehr an lokale BackUps? :wink:

[gixe]

Das Programm/Format hat Potential aber laut Roadmap wohl erst ab Version 2.0 zu gebrauchen, welche wohl irgend wann 2011 erscheint :


Version 0.65 (May 2010)

* optimization for multicore CPUs
* extraction of zip, rar, 7z and other archive formats

Version 0.70 (July 2010)

* full support for zip, rar, 7z and other archive formats

Version 0.80 (September 2010)

* full-featured and handy GUI
* bsc, dispack and srep compression algorithms

Version 1.0 (November 2010) - Release!

* make documentation up-to-date
* solve problems with -ap, empty directories
* improve archive recovery, to make it no worse than in RAR
* keep compression options inside the archive


Version 2.0

* SFX-Installer module conigurable like in RAR/7-zip
* backup support (save file times/attributes/ACLs)
* support for archives containing millions of files
* LZMA2 with 1gb dictionary
* multi-volume and recovery volumes
* Reed-Solomon codes for data recovery
* Release freearc.dll and unarc.dll to support .arc in other archivers
* Support compression algorithms with several output streams
* files segmentation with further compression with lzma / ppmd / multimedia algorithms
* compression algorithm for bmp/tif files
* change archive format, in particular spread recovery record over the entire archive

[(del)]

Daten kopiere ich einfach nach Platte:/Backupordner oder benutze DriveImageXML. Oder, noch lieber, DriveImage2002 mit seinem Imagebrowser.

Das erste mach ich aber am liebsten, denn falls sich das Laufwerk mault, habe ich mit Rettungstools eine weit größere Chance großen Teil davon zu retten. Ist in der Archivdatei ein Byte weg, kann man sie komplett wegwerfen.

Das Archivieren hat heute ein anderes Gesicht. Bildformate haben meist eine eigene Kompression. Dokumente auch (PDF, ODT, MP3, Xvid/h.264, NRG/direkt gepackte ISOs usw.). Da holt man kaum noch etwas raus. Eher garnichts.
Es bleiben meist nur TXT (bzw. HTML), was jedenfalls hier vom Einsparpotenzial über die Masse aller Dateien nicht erwähnenswert ist. Ich benutze also lieber eine Ordnerstruktur, statt Archivdateien.

Wenn, dann nutze ich eher "Speichern" oder "Schnellste" beim 7-zip.

@gixe
So ist es.

@Dale_Schacker
Ich schätze bei einer ISO kann es den eigentlichen Vorteil, die dateityp-bezogene Live-Wahl des Packertyps, nicht wirklich ausspielen ;) Ich habs auch schon getestet. Die magic line für 7-zip lautet: 0=bcj2 1=lzma:d26 2=lzma:d23 3=lzma:d23 b0:1 b0s1:2 b0s2:3 hcf=on f=off. Damit hat es schon recht schwer.
Winzip/Winrar/7-zip können sich wie gesagt gegenseitig entpacken. Dagegen kommt man massenmäßig nicht einfach nur mit einem leicht besseren Ratio an.

[Savay]

FreeARC version 0.666 skaliert allerdings wunderbar mit den threads mit...die pack geschwindigkeit legt mit der version deutlich zu und liegt damit vor 7Zip weil es bei mir erstmals wirklich alle 6 kerne voll auslasten kann.

andererseits hat bessere hälfte schon recht...ich nehme meistens auch eher das "fastest" preset von 7Zip her da mir die gebotene kompressionsrate idR ausreicht...damit bin ich nur schon absolut I/O limitiert auf meinen HDDs insofern brächte FreeARC auch da keinen besonderen mehrwert.

[stickedy]

Also ich hab jetzt grad mal ein paar Tests gemacht, Freearc packt deutlich schneller bei ungefähr gleicher Endgröße wie 7-Zip oder WinRAR. Also schnellste Kompression, alles andere ist imho meistens auch unsinnig. Anyway, Freearc ist fast 10x so schnell gewesen wie 7-Zip! Das find ich scho krass...

[samm]

Ich wundere mich grad ein wenig: Weshalb packt ihr eigentlich auf die "schnellste" Variante? Mir ist die Kompressionsrate generell weit wichtiger als die dafür aufgewendete Zeit, habt ihr es jeweils speziell eilig?

[Savay]

der kompressions gewinn durch höhere settings hält sich zumeist in grenzen vorallem wenn der inhalt eh schon zum teil aus komprimiertem content besteht. das fastest preset ist da in 7Zip schon oft nahe genug am maximum

so ich hab die neue version nochmal auf meine 2 ordner losgelassen. beim HISS ordner ist kein großer unterschied erkennbar da der wohl einfach zu klein ist :freak: beim Bioshock 2 ordner ist dagegen (im normal preset, fastest ist I/O limitiert) schon etwas erkennbar:

FreeARC 0.666 Preset "normal"
Ordner "Bioshock 2", 6.09GB


05:28
4.454.524KB

[_DrillSarge]I[]

Ich wundere mich grad ein wenig: Weshalb packt ihr eigentlich auf die "schnellste" Variante? Mir ist die Kompressionsrate generell weit wichtiger als die dafür aufgewendete Zeit, habt ihr es jeweils speziell eilig?
weil speicher billiger ist als rechenzeit. klar, kann man alles mit zPAQ/PAQ8 packen und spart paar mb auf der platte, aber während dessen steht der rechner still und der vorgang dauert ewig.

[Houwelhorst]

I[;8044930']aber während dessen steht der rechner still und der vorgang dauert ewig.Es kommt aber schon vor, dass man mit beispielsweise WinRAR auf 730-740 MB kommt und dann krampfhaft CD-Größe erreichen möchte. Mit FreeArc hätte man in dem Fall gute Chancen, die <700 MB zu erreichen.
Außerdem schlafen wir alle mal und können den Packer laufen lassen mit der Option "nach Packvorgang ausschalten".

[(del)]

FreeARC version 0.666 skaliert allerdings wunderbar mit den threads mit...die pack geschwindigkeit legt mit der version deutlich zu und liegt damit vor 7Zip weil es bei mir erstmals wirklich alle 6 kerne voll auslasten kann.

andererseits hat bessere hälfte schon recht...ich nehme meistens auch eher das "fastest" preset von 7Zip her da mir die gebotene kompressionsrate idR ausreicht...damit bin ich nur schon absolut I/O limitiert auf meinen HDDs insofern brächte FreeARC auch da keinen besonderen mehrwert.
schon mal 7z 9.xx beta versucht, das skaliert auch gut?

[Savay]

schau mal weiter vorn im beitrag :)

WinRAR auf 730-740 MB kommt

winRAR komprimiert momentan im vergleich sowieso schlecht...und ist dabei noch lahmarschig. :wink:
aber wenn die archive später auf CDs sollen würde ich bei großen jobs eh grundsätzlich splitting einschalten und schon ist der dropps gelutscht :D

aber klar wenn es auf maximale kompression ankommt einfach in 7Zip das ultra setting nehmen und gut ist. die archivgröße ähnelt sich bei freearc und 7Zip bei gleichen presets schon sehr...weit auseinander sind sie jedenfalls nicht...allerdings braucht es unter 7Zip dafür unter umständen verdammt viel RAM. 4GB werden für Ultra bei mehr als 4 Threads schon sehr eng (ich lasse idR 12 Threads laufen ;)) bzw sind entschieden zu wenig :)
relevant an freearc ist auch eher die intelligente nutzung passender algorithmen...das wirkt sich allerdings viel mehr im bezug auf die effiziente ausnutzung der rechenleistung aus. der platzgewinn scheint mir da zweitrangig zu sein.

[(del)]

Anyway, Freearc ist fast 10x so schnell gewesen wie 7-Zip! Das find ich scho krass...Ich auch. Das wäre hier schneller als 6G Sata...

@Savay
Ich weiß jetzt so auf Anhieb nicht welchen 7-zip Wert ich dazustellen soll =) Irgendwas mit ~56 Minuten? :D

@samm
Was sollte das denn bitte?

[stickedy]

Ich auch. Das wäre hier schneller als 6G Sata...
Vermutlich hast Du ein abweichendes System?

[Savay]

(...) welchen 7-zip Wert ich dazustellen soll (...)

zu was stellen?

aso deine magic line ist interessant...aber ich denke stark davon abhängig wieviele threads man laufen lässt. ich fahre mit 12 threads mit dem gewöhnlichen ultra setting auf meinem system besser. komprimiert ca gleich und ist wesentlich schneller...zumindest solange der RAM nicht ausgeht :freak:

[(del)]

Zu deinem letzten Freearc Wert. Ich hab gerade Probleme mir den dazu passenden 7-zip Wert (von den davor geposteten) rauszusuchen :usad:

[Savay]

achso...kein problem.

http://www.forum-3dcenter.org/vbulletin/showpost.php?p=8021630&postcount=15

[(del)]

Also 8 Minuten gegenüber 5 und halb? Ok. Das ist schon beachtlich bei fast gleichen Ratios.

[(del)]

http://www.abload.de/img/test0wc3.png (http://www.abload.de/image.php?img=test0wc3.png)
7zip 9.13
FreeArc 0.666
Kompression auf Ultra

Für SH5 hat freearc fast 20min länger gebraucht
SH3
7z 14min
arc 19min

[Mr. Lolman]

Wirklich toll sind ja schnellen Kompressionsarten. Durchaus mit 7z@normal vergleichbar, jedoch 2.5x flotter - das Ding packt mit m3 >50MB/sek!!!:eek:


EDIT: Test - 4,44GB großer Virtual-Box Ordner (Portable Virtual Box + Festplatte + Savestate)

7zip schnellste (zip): 1min 51sek - 1.84GB (8 Threads)
FreeArc (m3): 1 min 31sek - 1.33GB
FreeArc (m2): 0min 52sek - 1.42GB

...mit m2 sinds sogar >90MB/sek (auf nem Q9450@3.6GHz)!!! :eek: :eek:


EDIT: Dank dem SFX-Module ists auch durchaus fürn Alltag brauchbar, das Ding. :)

[LuXon]

Wie erreicht man eigentlich die bestmögliche Kompression bei 7zip? Und bei FreeArc dann BITTE auch gleich noch^^

Hab bei 7zip folgendes eingestellt
Zip
Ultra
LZMA
256 MB
256
-
4 Threads


Hab bei beiden auf Ultra:
7zip: 2.08gb
Arc: 1.91gb

und das bei einem 3.68gb Ordner.

Damit kann man gut Dinge archivieren, wie schon andere hier gesagt haben.

[Savay]

...mit m2 sinds sogar >90MB/sek (auf nem Q9450@3.6GHz)!!! :eek: :eek:


was für eine platte? :freak:

[Mr. Lolman]

was für eine platte? :freak:

Intel X25-M G2. :D