Wir haben hier im Blog bereits gezeigt, wie sich die CloudMirror-Funktionalität von NetApp StorageGRID zur Replikation von Objekten einrichten lässt. Ebenso lässt sich auf NetApp StorageGRID (SGRID) Systemen ein umfangreiches Information Lifecycle Management, kurz ILM, konfigurieren. Mittels ILM Regeln werden der Speicherort, die Dauer der Speicherung und der Schutz von Objekten festgelegt. Gleichzeitig kann eine Regel ausschließlich auf bestimmte Objekte oder Buckets angewendet werden. So könnte eine Regel bspw. drei Kopien eines Objektes erzeugen und jede Kopie in einem anderen Rechenzentrum für die Dauer von zwei Jahre speichern. Zudem lassen sich mehrere Regeln in einer Policy hintereinanderschalten.
Der Speicherort einer Regel beschränkt sich nicht auf SGRID Nodes, sondern umfasst auch externe Cloud Storage Pools. SGRID erlaubt die Einrichtung von bis zu 10 Cloud Storage Pools, wobei ein Objekt immer nur in einem der Cloud Storage Pools gespeichert wird. Ein Cloud Storage Pool kann z.B. ein AWS S3 Bucket oder ein Azure Blob Container sein.
Ebenso kann das PoINT Archival Gateway (PAG) via S3 integriert werden. Das PoINT Archival Gateway ist ein S3 Objektspeicher, der Daten auf Tapes anstelle von Festplatten speichert. Ein großer Vorteil der Tape-Technologie sind die niedrigen Kosten pro GB. PAG eignet sich hervorragend zur redundanten Vorhaltung von Objekten und zur langfristigen Archivierung.
Ein ausgelagertes Objekt ist nach wie vor auf SGRID sichtbar. Als Speicherort wird jedoch der externe Bucket genutzt. Dabei gilt es zu berücksichtigen, dass SGRID ein Objekt nicht im nativen Format in einen Cloud Storage Pool verlagert. Entsprechend müssen Lesevorgänge stets über SGRID erfolgen. Mehr dazu am Ende dieses Artikels.
Um PAG in einer ILM Regel zu verwenden, muss zunächst ein entsprechender Cloud Storage Pool angelegt werden. Dies sind die notwendigen Schritte:
1. Melden Sie sich am StorageGRID Grid Manager an.
2. Wählen Sie im Menü unter „ILM“ den Punkt „Storage Pools“ aus.
3. Erzeugen Sie einen neuen Cloud Storage Pool mit Angabe von:
- Name des Ziels (Point Archival Gateway)
- Provider Type ist “Amazon S3”
- Als URI wird der FQDN und Port des PAG angegeben (HTTP oder HTTPS)
- Ziel-Bucket (muss zuvor auf PAG angelegt werden)
- Access und Secret Key
- Certificate Validation (abhängig vom eingerichteten Zertifikat)
Beim Speichern wird die Verbindung zum PAG geprüft und das SGRID legt im Ziel-Bucket ein Objekt mit der Bezeichnung „x-ntap-sgws-cloud-pool-uuid“ an. Dieses sog. Marker File wird zur Identifizierung des Pools genutzt.
Im Anschluss können neue ILM Regeln eingerichtet werden.
1. Wählen Sie im Menü unter „ILM“ den Punkt „Rules“ aus.
2. Nun können Sie den Namen, eine Beschreibung und eine Filterung konfigurieren. Die Regel kann sich z.B. ausschließlich auf einen bestimmten Mandanten beziehen oder den Bucket-Namen auf eine Zeichenfolge prüfen. Mittels des „Advanced Filtering“ lassen sich Bedingungen auf Objektebene definieren. Bspw. kann die Größe von Objekten geprüft werden oder Tags werden abgefragt.
3. Im nächsten Dialog kann zunächst die Referenzzeit konfiguriert werden. Standardmäßig ist „Ingest Time“ eingestellt. Möchte man „Last Access Time“ verwenden, so ist zu beachten, dass Änderungen keinen sofortigen ILM Vorgang anstoßen (lt. Dokumentation).
Nun werden die Speicherorte mit einer Zeitspanne angegeben. In unserem Beispiel werden alle Objekte für 365 Tage auf SGRID Nodes und parallel über PAG auf Tape, gespeichert. Die Speicherung auf dem PAG erfolgt jedoch zeitlich unbegrenzt.
Im „Retention Diagram“ wird die Auswahl grafisch veranschaulicht.
4. Abhängig von der Konfiguration wird abschließend das Verhalten beim Empfang neuer Objekte definiert. Zur Wahl stehen „Strict“, „Balanced“ und „Dual Commit“.
Wenn der Cloud Storage Pool und einer Regel angelegt sind, folgt die ILM Policy.
1. Wählen Sie im Menü unter „ILM“ den Punkt „Policies“ aus.
2. Klicken Sie auf „Create Proposed Policy“ und geben Sie anschließend einen Namen für die Policy und einen Grund für die Änderung ein. Nun wählen Sie eine oder mehrere der anlegten Regeln aus und sortieren diese. Regeln werden von oben nach unten abgearbeitet, zudem müssen Sie eine Standardregel auswählen. Speichern Sie die neue Policy.
3. Bevor man die neue ILM Policy aktiviert, kann man das Regelwerk testen. Wählen Sie hierzu „Simulate“ aus und geben Sie im Dialog ein existierendes Objekt an. Der Dialog zeigt, welche Regel auf das Objekt angewendet würde.
4. Über „Activate“ wird die neue Policy schließlich scharf geschaltet.
Von nun an werden Objekte, die den eingestellten Kriterien entsprechen, mittels des PAG auf Tape gespeichert.
Wie anfangs bereits erwähnt, lässt sich ein in einem Cloud Storage Pool abgelegtes Objekt nicht ohne StorageGRID lesen. Der nachfolgende Screenshot zeigt ein Beispiel. Links sehen Sie das Objekt Example.txt auf dem StorageGRID, rechts dazugehörig das Objekt bucket01.207B3AD7-A18B-44C4-9262-848ABB1B6940 im PAG. Das native Format wird also nicht beibehalten.
Bitte beachten Sie auch, dass die Multipart Upload Größe eines S3 Clients das Resultat im Zielordner beeinflusst. Schreiben Sie bspw. ein 80 MB großes Objekt mit einer Multipart Upload Größe von 5 MB auf das StorageGRID, so werden in den Cloud Storage Pool 15 Objekte mit je 5 MB geschrieben.
Wir freuen uns auf Ihr Feedback zum PoINT-Blog und zu diesem Beitrag. Kontaktieren Sie uns unter info@point-blog.de.