Eine Untersuchung von Forschern hat gezeigt, dass das integrierte Regel‑orientierte Datensystem iRODS in Kombination mit dem B2SAFE‑Modul von EUDAT die Netzwerkbandbreite zwischen zwei Supercomputing‑Standorten nahezu vollständig ausnutzen kann. Die Messungen wurden im Rahmen des LEXIS‑Plattform‑Projekts durchgeführt, das komplexe Arbeitsabläufe über geografisch verteilte Hochleistungs‑ und Cloud‑Rechnerumgebungen orchestriert.
Hintergrund und Zielsetzung
Moderne Daten‑Management‑Frameworks versprechen flexible und effiziente Handhabung von Daten und Metadaten über verschiedene Speicher‑Backends. Das Team wollte prüfen, ob diese Versprechen in der Praxis bei der Konstruktion eines Daten‑Backends für verteilte Workflows erfüllt werden, insbesondere hinsichtlich der Auslastung von Weitverkehrs‑Netzwerken.
Methodik und Testumgebung
Die Autoren richteten ein iRODS‑Backend mit dem B2SAFE‑Modul ein und verbanden es mit der Distributed Data Infrastructure der LEXIS‑Plattform. Zwei Supercomputing‑Standorte, die über ein Wide‑Area‑Network (WAN) verbunden sind, dienten als Testumgebung. Verschiedene Parameter wie Puffergrößen und Dateigrößen wurden systematisch variiert, um deren Einfluss auf die Transfer‑Performance zu ermitteln.
Ergebnisse der Netzwerkperformance
Die Messungen belegen, dass bei optimal konfigurierten Clients und geeigneten Dateigrößen die verfügbare Bandbreite zu über 90 % ausgenutzt werden kann. Kleinere Dateien und nicht angepasste Puffergrößen führten zu deutlich geringerer Auslastung, was die Bedeutung einer gezielten Optimierung unterstreicht.
Optimierungspotenziale
Die Analyse identifizierte mehrere Ansatzpunkte für weitere Verbesserungen, darunter die Feinabstimmung von Transfer‑Puffern, die Nutzung von Parallel‑Streams und die Anpassung von Authentifizierungs‑Workflows. Durch diese Maßnahmen ließe sich die Effizienz des Daten‑Transfers weiter steigern.
Bedeutung für föderierte Infrastrukturen
Die Ergebnisse zeigen, dass iRODS heute die Anforderungen für die Integration in föderierte Recheninfrastrukturen erfüllt, insbesondere wenn webbasierte Authentifizierungsverfahren wie OpenID Connect eingesetzt werden. Das System unterstützt zudem umfangreiche Online‑Dienste, die für moderne wissenschaftliche Workflows nötig sind.
Ausblick im EXA4MIND‑Projekt
Auf Basis dieser Erkenntnisse wird das Team im EXA4MIND‑Projekt weiter an der Optimierung datenintensiver Workflows arbeiten und verschiedene Systeme zur Verwaltung strukturierter und unstrukturierter Daten integrieren.
Dieser Bericht basiert auf Informationen von PLOS ONE, lizenziert unter Creative Commons BY 4.0 (Open Access). Wissenschaftliche Inhalte, offen zugänglich.