PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Suche Speicherlösung! ca. 52 GB/Monat


xtra
2006-07-06, 11:01:48
Hallo Experten, :biggrin:

ich mache gerade ein Praktikum/Ferienaushilfsjob bei einem großen Satellitenhersteller ;)

Nun habe ich folgende Aufgabe bekommen:

Ich soll eine Backuplösung für die anfallenden Testdaten suchen! Bei den Testdaten handelt es sich um „log“ Dateien die in einem Verzeichnis mit Unterverzeichnissen gespeichert werden. Diese Überverzeichnisse sind mit Nummern und Datum versehen. Je ein Überverzeichnis soll pro Backup gesichert werden. Die anfallende Datenmenge beläuft sich auf ca. 52GB/Monat. Dabei erfolgt die Sicherung manchmal täglich, aber auch erst wöchentlich wenn weniger Daten angefallen sind.

Was ich benötige ist einmal eine Software die die Verwaltung/Sicherung übernimmt und dann die Hardware.

Der Coup an der Sache ist, diesmal spielt der Preis eine untergeordnete Rolle.

Warum ich den Thread schreibe und nicht selber Suche? Es sollen möglichst viele Varianten gefunden werden damit die Vor- und Nachteile erläutert werden.

Folgende Anhaltspunkte hab ich schon mal:

- Tapelaufwerke/Streamer
- DVD-RAM (mit Cartridge, Sicherheit ist sehr, sehr wichtig)
- MO-Laufwerke
- NFS Lösungen
- Speicherkarten/ext. Laufwerke

Software fehlen mir bisher die Ideen…

Also wenn euch was einfällt, der nächste Satellit wird’s euch danken…

mfg xtra

Andi_669
2006-07-06, 12:50:43
Schon an Festplatten mit Wechselrahmen gedacht ;)
wenn ich mir anschaue was z.B. MO oder DVD-Ram kostet ist ne Festplatte deutlich günstiger. :)

u. dran denken wenn die Daten wirklich wichtig sind, sind die 2-Mal zu sichern u. an unterschiedlichen Orten aufzubewahren.

gruß

fr4g3r
2006-07-06, 12:54:40
Vll ein Cluster oder Raidsystem? Mit Mirroring ist das gut machbar.

greetz
Fr4g3r

huha
2006-07-06, 12:58:23
Andi_669[/POST]']Schon an Festplatten mit Wechselrahmen gedacht ;)
wenn ich mir anschaue was z.B. MO oder DVD-Ram kostet ist ne Festplatte deutlich günstiger. :)

Ööööhm... ich schätze mal, daß du die Anforderungen nicht gelesen hast.
Ich würde hier automatische Bandlaufwerke mit Roboterarm empfehlen-- ist zwar teuer, geht aber automatisch und kann große Kapazitäten recht zügig sichern.

DVD-RAM und andere Speichermedien mit Minikapazität sind nicht sonderlich sinnvoll; man müßte beim Sichern ständig dabei sein und Datenträger wechseln respektive wenden. Das kostet Zeit und damit Geld, außerdem sind Fehlbedienungen möglich.

Externe Laufwerke sind für den professionellen Backupeinsatz weitestgehend ungeeignet, da die Datensicherheit meist nicht gewährleistet ist und die Wiederherstellung im Verlustfall aufwendig.

Bei NFS-Lösungen stellt sich wieder die Frage, wo die Daten letztendlich gespeichert werden und wie es dort mit der Datensicherheit aussieht.

-huha

xtra
2006-07-06, 13:26:37
danke schonmal,

wechselrahmen würden auch gehen, muss ich mal schauen ob ich etwas hotplugfähiges finde was für den dauereinsatz brauchbar ist. zur datensicherheit reicht dies aus, da das backup nur dann benötigt wird falls datenverlust an der testplatform auftreten (dort wird jedoch auch schon mit raid gearbeitet)

zu cluster/raid systemen? hersteller? lösungen?

zu roboterarm lösungen auch hersteller, die hp systeme sind soweit ich weiß schon wieder eine nummer zu groß, gibts da evtl mittelständische lösungen?

dvdram würde auch noch gehen sind ja ca 12 dvds im monat. zu dvds muss jedoch gesagt werden, dass ich noch keine brauchbare software gefunden habe...

xtra

mii
2006-07-06, 13:42:59
Ich würde auch die Sache mit den wechselfestplatten nehmen. :)

Als "Backupsoftware" würde ein Shellscript (sh,bash) ausreichen.
Kommt auch noch drauf an, wie lange die Backups aufbewahrt werden sollen.

xtra
2006-07-06, 13:45:55
also aufbewahrungszeit ist ca 5 jahre. shellscripts gehn ok, sollte hier leute geben die einem ein ui dazu bauen können...

das problem an festplatten könnte nur sein, das die magnetisierung nach einiger zeit nach lässt?!

fr4g3r
2006-07-06, 13:47:33
Hi,

z.b.: http://www.dynabit.de/kompetenz.htm?Seite=ClusterLoesungen
Das überschreitet eine normale Backuplösung aber. Für reines Backup würden wie gesagt Raidsysteme reichen, raid 1 Mirroring geht hier und ist auch nicht zuuu teuer. Wie lange sollen die Daten denn gespeichert werden? Wobei die Raidsysteme eine Kopie aller Daten anlegen und nicht nur der zu sichernden, von dem her vll doch nicht die Beste Lösung für dein Problem.

greetz
Fr4g3r

Gast
2006-07-06, 14:24:44
fr4g3r[/POST]']Für reines Backup würden wie gesagt Raidsysteme reichen, raid 1 Mirroring geht hier und ist auch nicht zuuu teuer.RAID und Backup sind zwei völlig verschiedene Dinge, auch wenn sie oft verwechselt werden!

RAID ist ein Organisationssystem mehrerer Datenträger. Es kann den Datendurchsatz verbessern oder die Datensicherheit erhöhen. Unter Backup versteht man aber das Kopieren von vorhanden Daten auf ein Speichermedium.

Ein Beispiel:
Nach einem Brand in der Firma nützt einem das beste und teuerste RAID-System gar nichs, wenn man kein Backup angelegt hat.

Ich würde in deinem Fall zu DVD-RAM raten. Die sind im Verhältnis zur Datenmenge preisgünstig und sehr lange haltbar.

Sollte es sich aber wirklich um reine Logdateien handeln, dann kann man diese auf jeden Fall vor der Sicherung komprimieren. Gerade bei reinen Textfiles sind Kompressionsraten um 95% keine Seltenheit. So würde eine eventuell ein ganzer Monat auf eine einzige DVD passen.

xtra
2006-07-06, 14:28:02
wenn ich dich richtig verstanden habe, fr4g3r, dann meinst du ich soll die festplatten der testplattform einfach spiegeln?

nein so einfach ist das nicht, die daten der testplattform landen auf festplatten die schon gespiegelt werden. die daten sollen zusätzlich extern ausgelagert werden um ggf zugriff auf spätere zeitpunkte zu haben.

das datenvolumen dürfte sich bei einer projektdauer von ca 2 jahren auf 3-4 TB belaufen (gut gerechnet) und sollen ca 5 jahre halten...

TigerAge
2006-07-06, 16:40:06
xtra[/POST]']wenn ich dich richtig verstanden habe, fr4g3r, dann meinst du ich soll die festplatten der testplattform einfach spiegeln?

nein so einfach ist das nicht, die daten der testplattform landen auf festplatten die schon gespiegelt werden. die daten sollen zusätzlich extern ausgelagert werden um ggf zugriff auf spätere zeitpunkte zu haben.

das datenvolumen dürfte sich bei einer projektdauer von ca 2 jahren auf 3-4 TB belaufen (gut gerechnet) und sollen ca 5 jahre halten...Bei dieser Menge an Daten und der geforderten Lagerfrist ist die Lösung eines Bandlaufwerk-Roboters (wie es Muha bereits vorgeschlagen hat) die beste, einfachste und sicherste Lösung. Gerade in dem Bereich, in dem du arbeitest, ist Datensicherheit wichtiger als der Preis für eine Speicherlösung. Solch einen Roboter kann man z. B. über das Netzwerk anbinden und mit jeder beliebigen Software füttern.

Bei fünf Jahren sollten die Daten aber gelegentlich vom alten auf ein neues Medium überspielt werden (sonst kleben die Bänder zusammen und die Daten sind trotz des sicheren Mediums futsch).

Grüße

BadFred
2006-07-08, 22:41:32
Bandlaufwerke werden auch für die täglichen Backups auch im "Schwesterunternehmen" benutzt, falls du mit dem Satellitenhersteller den am See meinst. ;)

tombman
2006-07-09, 00:50:33
Wieso nicht 10x 750gb HDD im Raid 1? + haufenweise par2 Daten dazu. Selbst bei Datenverlust kannst praktisch alles wiederherstellen ;)

Und falls Geld echt keine Rolle spielt wirst sicher genug professionelle Lösungen finden ;) (Roboterarm)

Hamster
2006-07-09, 01:12:48
omg *haarerauf*



1. hddlsöungen haben bei ernsthafter langfristiger speicherung nichts verloren, auch wenn es schwer fällt das zu verstehen
2. es geht hier um ~60gb/ monat insgesamt wenn ich das recht verstanden habe. und da kommt ihr mit roboterarmen? hallo? fahrt ihr morgens auch mit dem lkw zum 200m entfernten bäcker um 2 brötchen zu kaufen?

für die aufgabe tut ist ein lto wechsellaufwerk wohl die angebrachteste lösung. als software bietet sich hier, sofern das gerät an einem windowsrechner hängt, backup exec von veritas an.

zur software: http://www.symantec.com/de/de/small_business/products/overview.jsp?pcid=br&pvid=bewin_svr

zur hardware: http://www.speicherguide.de/magazin/autoloader.asp?lv=20

tombman
2006-07-09, 01:37:17
Hamster[/POST]']omg *haarerauf*



1. hddlsöungen haben bei ernsthafter langfristiger speicherung nichts verloren, auch wenn es schwer fällt das zu verstehen

Es geht nur um 5 Jahre, und das schaffen hdds locker...vorallem wenn sie mehrfach abgesichert sind...
Vorallem hätte man wahnsinnig schnell Zugriff auf jedes backup...

huha
2006-07-09, 01:46:23
tombman[/POST]']Es geht nur um 5 Jahre, und das schaffen hdds locker...vorallem wenn sie mehrfach abgesichert sind...
Vorallem hätte man wahnsinnig schnell Zugriff auf jedes backup...

HDDs sind nicht sicher. HDDs sind kompliziert und ziemlich empfindlich, daher sind sie als Sicherung nicht zu gebrauchen, zumindest nicht, wenn man wirklich wichtige Daten hat.
Bänder sind z.B. wesentlich robuster als HDDs; sie können hardwareseitig vor Überschreiben geschützt werden, sie sind in vielen Laufwerken abspielbar und es kann nicht durch einen Fehler in der Elektronik ein irreparabler Datenverlust auftreten-- bei Festplatten schon, weshalb diese nur eingeschränkt für die Sicherung von Daten geeignet sind.

-huha

Hamster
2006-07-09, 01:46:29
hier scheint es um sicherheit zu gehen, nicht um schnellzugriff (sollte letzteres gewünscht sein, schafft man sich eben noch plattensysteme zusätzlich zur bandsicherung an):

und da sind hdds völlig unbrauchbar. ich käue es gerne wieder:

was ist, wenn die daten aus versehen gelöscht werden, oder von nem virus? oder muttwillig? oder was ist mit überspannung, wassereinbruch, was auch immer?

hmm? da stehste mit platten blöd da. bänder sind zwar vom handling her nachteilig, bieten aber höhere sicherheiten, da die beschriebenen bänder eben nicht permanent im zugriff des gerätes liegen, sondern ausserhalb. zudem können diese aufgrund ihrer einfacheit und robustheit extern gelagert werden.


und bitte jetzt nicht mit irgendwelchen selbstgesponnene argumenten kommen, wie man dies doch irgendwie mit platten hinbekommt. platten sind für ernsthaft sensible daten nicht als endgültige speicherlösung zu gebrauchen. DAS IST FAKT!

edit: huha war ein paar sekunden schneller ;)

Tech_FREAK_2000|GS
2006-07-09, 04:32:00
Meiner Meinung nach sind Versicherungstechnisch sowieso Bänder vorgeschrieben, oder nicht?

Trap
2006-07-09, 12:01:47
xtra[/POST]']Die anfallende Datenmenge beläuft sich auf ca. 52GB/Monat.
Wieviel bleibt davon übrig wenn man es komprimiert?

Haarmann
2006-07-09, 14:45:27
xtra

Ein NAS

Darfst die logs "zippen"?

Gast
2006-07-15, 02:05:14
mach doch ein online backup

52 gb im monat, das ist recht wenig, deswegen zahlen sich stationäre backup-systeme nicht wirklich aus.

Gast
2006-07-15, 02:06:44
wenn du 52 gb am tag hast, wäre wiederum ein stationäres sinnvoller

Xanthomryr
2006-07-15, 02:26:03
Hamster[/POST]']omg *haarerauf*

Ist immer wieder lustig was die selbsternannten Profis hier vorschlagen, ne?

Es kommt nichts anderes als ein Bandlaufwerk infrage, muß ja nicht unbedingt ein Roboter sein ein einfaches Bandlaufwerk (also wo ein LTO Tape reinkommt) tut es doch auch.
Software hat der hamster ja auch schon geposted.

@extra
Eins verstehe ich nicht, wenn das ein großes Unternehmen ist werden die doch mit Sicherheit schon ein Tape für ihre Backups haben, oder etwas nicht?
Warum also nicht die Daten im Zuge des täglichen Backups sichern?

sun-man
2006-07-15, 09:36:24
Veritas Netbackup oder Legato Networker als Backupsoftware und dann irgendeine Adic Tapelösung als Backup. Storagetek/SUN haben auch richtig gute Tapelösungen im Angebot.

Wenn Du unter Linux arbeitest könnte es auch ein (Solaris) Flasharchive oder evtl ein TAR Verwenden.

Solltest Du nicht auf Tapes gehen wollen kannst Du auch ein kleines Storagearray im Raid5 als Backupmedium nutzen, dorthin trotzdem per Netbackup u.v. backupen.

Unserer größten Domains sichert auf Festplatten (HDS 9990) die im OS aussehen wie Tapes und werden von dort dann per Networker nochmal ganz normal auf Tape geschrieben.

Haarmann
2006-07-15, 10:20:47
Tech_FREAK_2000|GS

Ich kenne einen Fall, da war die Versicherung von einer Plattensicherung so begeistert, dass die Prämie sehr tief angesetzt war. Wesentlich tiefer, denn mit einer Bandsicherung...

Hamster

Dir fehlt bisher nur die Erfahrung, dass man einem Bandlaufwerk, welches die vorhandenen Bänder auch lesen kann, lange nachrennen muss.
Auch ein scheinbar identisches Bandlaufwerk liest nicht immer zwingend die fremden Bänder fehlerfrei...
WORM sind auch sehr beliebt als Backupmedium und wesentlich besser haltbar, denn jegliches Band.

Grendel

Da gibts, wirklich erstaunlich sowas, Firmen der Grösse 200 Nasen, die wissen gar nicht, was ein Backup ist...