Die Integration und Verwendung unterschiedlicher Speicherklassen (z.B. Disk und Tape) in der Infrastruktur bietet sowohl wirtschaftliche als auch technische und ökologische Vorteile. Inaktive Daten, also Daten, die nur noch sehr selten benutzt werden, sollten nicht auf festplattenbasierten Speichersystemen liegen, sondern möglichst automatisiert auf kostengünstigere Tape-basierte Systeme ausgelagert werden.
Die Cloudian HyperStore Objektspeicher bieten mit der „Auto-Tiering“ Funktion die Möglichkeit, Daten regelbasiert mit Hilfe von PoINT Archival Gateway direkt auf Tape auszulagern. Dabei bleibt der transparente Zugriff über HyperStore vollständig erhalten, so dass Anwendungen und Workflows nicht angepasst werden müssen. Außerdem ist über PoINT Archival Gateway gleichzeitig ein Zugriff auf die ausgelagerten Daten möglich.
Dieser Blog-Artikel beschreibt die grundsätzliche Konfiguration und Funktionsweise der Cloudian Auto-Tiering Funktionalität in Verbindung mit PoINT Archival Gateway für die Datenauslagerung von Cloudian HyperStore auf Tape.
PoINT Archival Gateway Einstellungen
Um ein Tiering auf Tape durchführen zu können, muss in PoINT Archival Gateway eine Tape Library konfiguriert sein. In der Admin GUI muss eine Partition der Speicherklasse „Tape“ angelegt werden:
Falls das Tiering mit vielen sehr kleinen Objekten durchgeführt werden soll, empfiehlt es sich, zusätzlich einen Persistent Buffer zu konfigurieren.
Danach kann in dieser Partition ein Bucket (Object Repository) erzeugt werden, das als Ziel für das automatische Tiering dient. Im Blog-Artikel „Erstellen von Buckets mit PoINT Archival Gateway“ ist das Erzeugen von Buckets erläutert. Die Versionierung kann optional eingeschaltet werden. Zudem muss ein User samt S3 Access Key und S3 Access Secret angelegt werden.
Cloudian HyperStore Einstellungen
In der Cloudian Management Console wird das Auto-Tiering in den Configuration Settings mit „Enable Auto Tiering“ eingeschaltet:
Danach legen Sie einen neuen Bucket an:
Klicken Sie dann auf „Properties“ und wählen den Reiter „Lifecycle Policy“:
Das Auto-Tiering wird in HyperStore über sogenannte Lifecycle Policies gesteuert und ist pro Bucket einstellbar:
Wenn ein Objekt die Tiering-Bedingung erfüllt hat und das Tiering von HyperStore auf Tape durchgeführt wurde, verbleibt auf dem HyperStore Cluster ein kleines Stub-Objekt. Dieses Stub-Objekt dient als Pointer zu den eigentlichen Daten, die von PoINT Archival Gateway verwaltet werden und auf Tape-Medien gespeichert sind.
In der HyperStore GUI wird ein solches Stub-Objekt mit einem kleinen blauen Pfeil nach rechts dargestellt:
Für Applikationen und Anwender sind die Sichtbarkeit und der Zugriff auf Objekte, die auf Tape verschoben wurden, vollständig transparent.
Für den Zugriff auf Objekte, die mit Hilfe von PoINT Archival Gateway auf Tape verschoben wurden, gibt es verschiedene Möglichkeiten:
- Streaming
In dieser Einstellung werden die Daten mit Hilfe von PoINT Archival Gateway direkt vom Tape über den HyperStore Bucket an den zugreifenden Client geliefert, ohne dass die Daten auf dem HyperStore Cluster wieder eingelagert werden. - Restore
Diese Einstellung führt bei Zugriff ein Zurückspeichern des Objekts von Tape in den HyperStore Bucket aus. Dabei kann ein Zeitlimit angegeben werden, wie lange das Objekt im HyperStore Cluster gespeichert bleiben soll. - Direct Access
Diese Methode ermöglicht den direkten Zugriff auf verschobene Objekte über den PoINT Archival Gateway Bucket unter Umgehung des HyperStore Clusters.
Insbesondere die „Direct Access“ Methode bietet viele Vorteile. Da Objekte vollständig inklusive Metadaten verschoben werden, sind die Daten auch bei Ausfall des Cloudian Systems zugreifbar. Über diesen Weg können auch sehr einfach Migrationen durchgeführt werden.
Fazit
Durch die Kombination Cloudian HyperStore und PoINT Archival Gateway können die Speichertechnologien Disk und Tape ideal verbunden werden. Kalte, inaktive Daten machen immer den größten Anteil des gesamten Datenbestands aus; sie werden automatisiert auf kostengünstige Tape-Medien ausgelagert und bleiben trotzdem im direkten Zugriff für Anwender und Applikationen.