Neues Hierarchisches Datenmanagementsystem (HSM) für das DKRZ
Das DKRZ vergibt einen Fünfjahresvertrag für ein neues Hierarchisches Datenmanagementsystem (HSM) an Cristie Data. Die bereits vorhandenen 150 Petabyte an Klimamodelldaten werden innerhalb einer Woche automatisiert in das neue HSM übernommen. Das neue System wird die bereits vorhandenen 9 Bandbibliotheken mit mehr als 79.000 Stellplätzen sowie 90 LTO-Laufwerken verwalten und ermöglicht es ab Inbetriebnahme Mitte März 2021, jährlich bis zu 120 Petabyte an neuen Daten und bis über ein Exabyte an Gesamtdaten zu archivieren. Der offene Standard LTFS, eine S3-Schnittstelle und die von Christie Data konzipierte Speicherverwaltungslösung StrongLink verbessern die Zukunftssicherheit.
Herzstück des neuen Archivsystems ist die leistungsstarke metadatengesteuerte Speicherverwaltungslösung namens StrongLink von der Firma StrongBox Data Solutions (SBDS). Das von Cristie Data konzipierte Gesamtsystem setzt dabei auf StrongLink in Verbindung mit Servern und besonders leistungsfähigen OceanStor-Speichersystemen von der Firma Huawei, die als Zwischenspeicher für die zu speichernden Daten fungieren.
Mithilfe der StrongLink-Architektur ist es möglich, die bereits am DKRZ vorhandenen 150 Petabyte an Klimamodelldaten der vergangenen 30 Jahre vom bisher genutzten High Performance Storage System (HPSS) innerhalb von einer Woche automatisiert in das neue HSM zu übernehmen.
Das neue System verwaltet die bereits vorhandenen 9 Bandbibliotheken mit insgesamt 79.000 Stellplätzen und 90 LTO-Bandlaufwerken. Mit seinem 1 Petabyte großen Festplattencache erreicht das neue HSM eine Transferrate von 15 Gigabyte/s. Durch die Verwendung des offenen Standards LTFS (Linear Tape File System) für die Datenspeicherung auf den Magnetbändern können die Klimadaten zukunftssicher gespeichert werden und der Austausch der Medien mit anderen Institutionen vereinfacht werden. Außerdem können Klimadaten im neuen System mit ergänzenden Metadaten versehen und gespeichert werden, anhand derer sie dann leichter wiedergefunden werden können. Die in StrongLink enthaltene S3-Schnittstelle erweitert zudem erheblich die Möglichkeiten zur Bereitstellung von Datenzugängen auf Anwendungsebene.
Ab Mitte März 2021 mit Inbetriebnahme des neuen HSM können jährlich bis zu 120 Petabyte neu generierte Daten abgespeichert werden. Dank der Skalierbarkeit der gewählten Lösung kann die Gesamtkapazität über die kommenden Jahre an weiter steigende Anforderungen angepasst werden kann, so dass bis 2026 voraussichtlich eine Datenmenge von 500 Petabyte gespeichert wird. Prinzipiell erlaubt das Speicherkonzept, Datenmengen von über einem Exabyte (1.000 Petabyte) zu speichern und zu verwalten.
"Mit diesem neuen Archivsystem kann das DKRZ wichtige Datendienste für unsere Forschungsgemeinschaft erweitern, modernisieren und gleichzeitig nahtlos auf eine neue Plattform mit offenem Standard umsteigen, die mit unseren Anforderungen wachsen kann.", erläutert Prof. Thomas Ludwig, Geschäftsführer des DKRZ, und führt weiter aus: „Das neue HSM-System bietet eine solide Grundlage um sicherzustellen, dass die Forschenden kontinuierlich auf die kritischen Daten zugreifen können, die für die Klimamodellierung und verbesserte Klimaprojektionen erforderlich sind.“
Die Installation, Konfiguration und das Projektmanagement für das neue HSM-System am DKRZ übernimmt Cristie Data. Sie liefern außerdem die gesamte für das Projekt benötigte Hardware und verantworten das Service- und Integrationsmanagement.
„Das DKRZ ist ein wichtiger Partner in der Klimaforschung. Wir bei Cristie nehmen unsere Verantwortung gegenüber der Umwelt sehr ernst. Mit StrongLink greifen Klimaforscherinnen und –forscher auf der ganzen Welt auch in Zukunft schnell und verlässlich auf alle Daten zu. Mit Huawei als einen der Branchenführer für energieeffiziente Rechenzentrumslösungen leisten wir zusätzlich einen Beitrag für umweltfreundlichere Lösungen im Datacenter.“, freut sich Volker Wester, Geschäftsführer von Cristie Data.
Weitere Informationen:
https://www.dkrz.de/kommunikation/aktuelles/neues-hsm
Die semantisch ähnlichsten Pressemitteilungen im idw
