Das neue Mid-Range-RAID-System von Fujitsu im Kurztest

Aktuelles Thema: Fujitsu Eternus DX60/80 im Kurztest

Im März erhielten wir ein Demonstrationssystem der Eternus DX60 (mit 2x 4Gbit FC-Controller, 3 SAS und 4 Nearline-SAS-Platten) von Fujitsu. Fujitsu vereint nun alle Storage-Systeme unter dem einheitlichen Brand Eternus. Die DX60 bzw. DX80 ist der direkte Nachfolger der FibreCAT SX60/80. Auffälligste Änderung ist die Verwendung (z.B. unter Solaris Sparc) eines proprietären Mutlipfad-Drivers. Dieser ist beim Betrieb mit OSL Storage Cluster 3.1 jedoch nicht notwendig, wenn man die LUNs über alle Controller/Ports herausmappt. Das RAID-System fühlt sich wie ein active/active RAID-System an, ist es aber nicht wirklich. Dazu jedoch später.

In dieser Beschreibung möchten wir einen reinen Erfahrungsbericht unsererseits abgeben. Bitte achten Sie darauf, welche Funktionen und Features von Fujitsu freigegeben sind, damit Sie auch auf einen optimalen Support zählen können.

Kurz die wichtigsten Merkmale der Eternus DX80:

  • modulares, hochperformantes und hochverfügbares RAID-System (19"-Rackmontage)
  • verschiedene Ausführungen/Anschlusstechniken: Fibre-Channel (pro Controller 64 Hosts mit 8/4/2/1 Gbit/s), iSCSI (pro Controller 64 Hosts mit 1 Gbit/s), SAS (pro Controller 2 Hosts mit 3Gbit/s)
  • 1 Basis-Einheit (2HE) mit bis zu 2 Controller-Modulen, daneben bis zu 12x 3,5" oder 24x 2,5" Platten (iSCSI und SAS Ausführung nur mit 3,5" Basis-Einheit)
  • bis zu 9 Expansion-Shelfs (je 2 HE) für weitere Platten (max. 12x 3,5" oder 24x 2,5" je Shelf)
  • Nutzung von SAS-, Nearline-SAS-Festplatten oder SSDs (auch gemischt)
  • Administration via Web-Browser, CLI (telnet, ssh) oder Eternus SF Express Software
  • bis zu 8 Snapshots bei Standardkonfiguration, durch zusätzliche Lizenzen erweiterbar auf 1024
  • pro FC-Controller 2 FC-Ports (Geschwindigkeit bis zu 8 Gbit/s, Loop und Point-to-point Modus)
  • 2 GB Cache pro Controller
  • max. 120 TB Brutto-Kapazität (bei Komplettausbau mit 3,5" Platten und 9 Expansion-Shelfs)
  • redundante RAID-Controller, Lüfter und Netzteile (alle hot swappable)
  • Hot-Plug Festplatten
  • Hot-Spare-Fähigkeiten
  • Cache Protector nutzt Kondensator-Technologie (keine Akkus, damit kein Verschleiß und somit besserer Ausfallschutz)
  • Data Block Guard für permanent geprüfte Datenintegrität
  • Online RAID Migration - LUNs können von einem RAID-Set in ein anderes verschoben werden
  • Eco-Mode - Festplatten Spin-down Fähigkeiten (MAID mit individuellen Einstellmöglichkeiten)
  • Verschlüsselungsfunktionen von einzelnen Disks/LUNs

Die DX60 hat eine etwas spärlichere Ausstattung, fühlt sich aber prinzipiell gleich an:

  • verwendete CPU (DX80: 1.2 GHz; DX60: 800 MHz)
  • keine SSD-Unterstützung
  • weniger Cache (nur 1 GB pro Controller)
  • nur 1 Expansion-Shelf
  • maximal 32 Hosts (FC, iSCSI) pro Controller

Uns ging es neben dem ersten Funktionstest der Eternus DX80 insbesondere darum, die Integrierbarkeit dieses Storage-Systems in unsere Software-Lösung zu prüfen.

Gehäuse | Wartung + Geräuschentwicklung | Konfiguration | Eternus DX80 + Solaris | Eternus DX80 + OSL SC 3.1 | Snapshots | Fazit

Das Gehäuse

Die Eternus DX80 benötigt im 19" Rack nur 2 Höheneinheiten. Mit etwa 35 kg (im Vollausbau) pro Shelf ist sie zwar nicht gerade ein Leichtgewicht, kann dafür aber mit solider Verarbeitung glänzen. Überhaupt macht die Eternus DX80 einen professionellen Eindruck und braucht den Vergleich mit teureren RAID-Systemen nicht zu scheuen. Die Platten befinden sich hinter der abnehmbaren Abdeckung und sind in drei Reihen zu je vier Platten angeordnet. Beim 2,5" Modell sind die Platten vertikal nebeneinander eingeschoben. Somit sind bis zu 24 2,5" HDs pro Shelf verwendbar.


front.jpg

Gut sind die am linken Ohr angebrachten Status LEDs (Power, Ready, Fehler bzw. Ausfall, Cache, Identifizierung). Die Identifizierungs-LED kann via CLI oder Web GUI angeschaltet werden und ermöglicht so die schnelle Erkennung des richtigen Shelfs. Die Eternus DX80 kann schließlich mit bis zu 9 Expansion Shelfs erweitert werden. So behält man auch im RZ jederzeit den Überblick. Nimmt man die Abdeckung ab, so werden drei neue Schalter sichtbar. Mit dem Schalter "Auto PWR" auf "On" gestellt, wird die DX80 samt der angeschlossenen Shelfs automatisch bei Stromzufuhr angeschaltet. Die Default-Einstellung ist "Off". Mit dem Schalter "MODE SEL" ist es möglich, den Power Switch komplett zu deaktivieren. Die Default-Einstellung ist "On" und sollte auch so belassen werden. Interessant ist der mit "IP RST" beschriftete Tastschalter. Damit ist es möglich (beim Dual-Controller-Modell) den Master-Netzwerk-Controller auf den anderen Controller zu switchen (einmaliges Drücken des Schalters). Beim zweiten Mal (wenn innerhalb von 2 Sekunden nach dem ersten Drücken) wird die IP-Konfiguration komplett auf die Fabrik-Einstellung zurückgesetzt.

rear.jpg Die Rückseite der Eternus DX80 ist ganz den Controllern und PSUs überlassen. Sie bietet folgende Schnittstellen:
  • 1 x MNT-Port Ethernet (10/100/1000 Mbps mit Auto-Negotiation) pro Controller
  • 1 x RMT-Port Ethernet (10/100/1000 Mbps mit Auto-Negotiation) pro Controller
  • 1 x Expansion Port pro Controller (für den Anschluss von Expansion Shelfs)
  • 2 x FC Host-Ports (1/2/4 oder 2/4/8 Gbps) pro Controller (je nach Typ auch SAS oder iSCSI)
  • 2 PSUs mit den Lüftern
Daneben befinden sich weitere Status-LEDs auf der Rückseite, die jederzeit Aussagen über die Betriebsbereitschaft der Eternus DX80 zulassen.
Die MNT-Ports dienen dem Management der DX80 via GUI oder CLI. Bei einer Dual-Controller Variante werden alle Arbeiten an dem Master Controller erledigt. Über den Slave Controller ist es nur möglich zu monitoren oder eben den Master Controller umzusetzen. Der MNT-Port sollte im lokalen Netz erreichbar sein. Die optional nutzbaren RMT-Ports dienen dem Fernsupport aus anderen Netzen. Die alleinige Nutzung der RMT-Ports (ohne die MNT-Ports) ist nicht erlaubt.

Wartung und Geräuschentwicklung

Dank des modularen Aufbaus der Eternus DX80 sind alle auswechselbaren Teile, wie die Power Units, Controller und natürlich auch die Festplatten einfach und ohne Werkzeug austauschbar. Es hat sich anscheinend durchgesetzt, den Technikern im RZ das Leben nicht schwerer als nötig zu machen, sehr löblich.

Sehr positiv: Die Lüftergeräusche gehören zu den leisesten, die wir je bei RAID-Systemen erleben dürften und entsprechen in etwa denen eines in die Jahre gekommenen PCs.

Die Konfiguration

Die Eternus DX80 bietet insgesamt drei Möglichkeiten der Administration. Wie bei den meisten RAID-Systemen ist auch der Eternus DX80 ein Web-Interface spendiert worden. Dieses gestaltet sich prinzipiell übersichtlich. Leider war es uns nur möglich das Web-Interface zu betrachten, nicht jedoch Aktionen auszuführen. Trotz richtiger Einstellungen der Browser (getestet wurden Firefox 2.x und der Konqueror unter Solaris), froren diese bei Bestätigung einer Aktion (z.B. beim Erstellen von Volumes) ein. Erst nach dem erneuten Aufrufen der URL und dem folgenden Login, war das Web-GUI wieder verfügbar. Dies ist leider nicht sehr schön und sollte dringend verbessert werden.

Die zweite Möglichkeit zur Konfiguration besteht in einem Kommando-Interface (CLI - Command Line Interface), welches über die Ethernet-Schnittstelle via telnet oder ssh zu erreichen ist. Hier hat Fujitsu ganze Arbeit geleistet. Das CLI arbeitet wie gewünscht und ist hervorragend gelöst. Bei der praktischen Arbeit zeigen sich dann auch die überragenden Vorteile des CLI:

  • Aktionen lassen sich meist mit einer Anweisung vollführen (Volumes erstellen, FC-Topologie setzen, usw.)
  • Einfaches Anzeigen von System-Informationen (Vendor ID, Product ID, Port-WWNs, usw.) und Event-Logs
  • Klar gegliedertes Bedienkonzept; Unterstützung von Command Editing, Command Completion und Command History
  • Sehr gute Hilfe-Funktionen für die Kommandos, Kommandokategorien und allgemein
  • Existenz eines sehr ausführlichen PDF-Manuals
  • Zugriff über Telnet und SSH möglich
Als dritte von uns jedoch nicht geteste Möglichkeit bietet Fujitsu eine Management-Software für alle unterstützen Betriebssysteme an (Eternus SF Express). Auch damit lassen sich wohl alle Funktionen des RAID-Systems nutzen. Alles in allem ein sehr gutes Gesamtpaket, wenn das Manko mit dem Web-GUI noch behoben wird.

LUNs erzeugen

Das Erzeugen von Volumes/LUNs funktioniert mit der Eternus DX80 nach folgendem Muster: Als erstes wird ein sogenanntes RAID-Set angelegt, welche direkt auf die physisch vorhandenen Platten aufsetzt. Bei Erstellung des RAID-Sets wird bereits das gewünschte RAID-Level angegeben. Die Eternus DX80 unterstützt die RAID-Level 0, 1, 3, 5, 6, 10 und 50. Auf diesem RAID-Set werden dann die Volumes/LUNs angelegt. Die im RAID-System vergebene LUN entspricht dann auf dem Host auch der Disk-Nummer (LUN 4 ist dann c*t*d4). Anzumerken ist noch, daß ein RAID-Set und damit auch die Volumes/LUNs immer exklusiv einem Controller gehören. Nichtsdestotrotz ist ein Herausmappen über alle Ports aller Controller möglich und die LUNs sind auch bei Ausfall des "besitzenden" Controllers weiterhin verfügbar. Eine Besonderheit ist, dass die Erstellung der RAID-Sets innerhalb von Sekunden erledigt ist. Erst beim Anlegen von Volumes wird der RAID-Schutz aufgebaut, das Volume wird formatiert. Während der Zeit ist das Volume bereits verfügbar, wenn auch mit deutlich gedrosselter Performance.

FC-Topologien

Die Eternus DX80 unterstützt sowohl Point-to-point als auch Loop-Topologie für FibreChannel. Getestet haben wir bei Switch- und Direktanschluss jedoch hauptsächlich mit Arbitrated Loop (FC-AL Mode). Beim Switchanschluss wurde ein kurzer Funktionscheck mit Point-to-point durchgeführt, der erfolgreich verlief.

Active/active oder was jetzt?

Wie in der Einleitung angedeutet, fühlt sich die Eternus DX60/80 wie ein active/active System an. Da die RAID-Sets aber exklusiv einem RAID-Controller gehören, kann es kein echtes active/active System sein. Immer häufiger (besonders im Mid-Range) trifft man sogenannte ALUA-RAID-Systeme an. ALUA heisst nichts anderes als Asymmetric Logical Unit Access. Prinzipiell sind die Volumes also über alle Pfade sichtbar. Auch IO kann über alle Pfade gemacht werden. Es wird allerdings nach sogenannten optimierten und nicht optimierten Pfaden unterschieden.

Ein Beispiel: Es gibt eine LUN 4, die dem RAID-Controller 0 gehört. Herausgemappt ist die LUN aber über alle vier Ports (2 Ports/Controller). Wird diese LUN 4 nun über RAID-Controller 1 Port 0 angesprochen (nicht optimierter Pfad), ist die Leistung geringer als über Controller 0. Es findet aber auch kein Trespass statt, d.h. der "besitzende" Controller wird bei Zugriff auf diesen Pfad nicht automatisch geändert. Die Multipfad-Lösung sollte also präferiert über die optimierten Pfade der jeweiligen LUN gehen und nur bei Ausfall die nicht optimierten Pfade nutzen. Dies garantiert maximale Performance bei gleichzeitig maximalen Pfaden. Der OSL Storage Cluster Multipfad bietet diese Möglichkeit über die Verwendung der tgtcfg.

Eternus DX80 unter Solaris

Nach dem Anlegen von RAID-Sets und Volumes, folgt das Mapping. Wenn das erledigt ist und eventuelle FC-Switches korrekt konfiguriert sind, kann man hostseitig mit den LUNs der DX80 arbeiten.
Zuerst müssen allerdings die HBAs (Host Bus Adapter) konfiguriert werden, so dass die WWPNs des RAID-Systems gesehen werden. Bei Leadville-Stack-Treibern (Emulex, Qlogic oder Fujitsu) muss dafür nur ein cfgadm -al ausgeführt bzw. die Controller konfiguriert werden (cfgadm -c configure cno). Die weiteren notwendigen Einstellungen in den Treiber-Konfigurationsdateien entnehmen sie bitte den entsprechenden Dokumentationen. Fujitsu hat für alle untertstützten HBAs kleine Leitfäden veröffentlicht, die die notwendigen Treiber-Parameter beschreiben und Vorgaben machen.
Bei den lpfc-Treibern der Emulex-HBAs ist ein wenig mehr Arbeit erforderlich. So müssen dort die entsprechenden FCP-Bindings eingetragen werden. Zudem muss auch die /kernel/drv/sd.conf für jede LUN angepasst werden. Prinzipiell führen aber alle Möglichkeiten zum Erfolg.

Eternus DX80 und OSL Storage Cluster 3.1

Wenn die Eternus DX80 Volumes unter Solaris verfügbar sind, ist der größte Teil der Einbindung in OSL Storage Cluster 3.1 bereits geschehen. Ab Load 27 wird die Eternus DX80 automatisch integriert, ältere Versionen benötigen lediglich die Nachkonfiguration der Scan-Spezifikation unter /etc/dvsc/scancfg (Vendor ID: FUJITSU; Product ID: ETERNUS). Nach dem Anlegen der CCF und dem Inventarisieren der LUNs mittels dkadmin -u universe -ni (für EFI-Label dann -nie statt -ni verwenden) sind die Volumes für den Cluster bekannt (native) und stehen global zur Verfügung:

      # devtab -lvv        
      Running with clustername:                dx80
      Building device table:                   ok
      ...
      /dev/rdsk/c0t500000E0D0452786d0s1 | C1_P0 | sunEFI | | FUJITSU  | ETERNUS_DXL  | native  | pv | 0 | dx80  | d0       | default   | 
      /dev/rdsk/c1t500000E0D0452787d0s1 | C1_P1 | sunEFI | | FUJITSU  | ETERNUS_DXL  | native  | pv | 0 | dx80  | d0       | default   | 
      /dev/rdsk/c0t500000E0D0452707d0s1 | C0_P1 | sunEFI | | FUJITSU  | ETERNUS_DXL  | native  | pv | 0 | dx80  | d0       | default   | 
      /dev/rdsk/c1t500000E0D0452706d0s1 | C0_P0 | sunEFI | | FUJITSU  | ETERNUS_DXL  | native  | pv | 0 | dx80  | d0       | default   | 
      ...
      /dev/rdsk/c1t500000E0D0452706d1s1 | C0_P0 | sunEFI | | FUJITSU  | ETERNUS_DXL  | native  | pv | 0 | dx80  | ccf_dx80 | dvsys     | 
      /dev/rdsk/c0t500000E0D0452786d1s1 | C1_P0 | sunEFI | | FUJITSU  | ETERNUS_DXL  | native  | pv | 0 | dx80  | ccf_dx80 | dvsys     | 
      /dev/rdsk/c0t500000E0D0452707d1s1 | C0_P1 | sunEFI | | FUJITSU  | ETERNUS_DXL  | native  | pv | 0 | dx80  | ccf_dx80 | dvsys     | 
      /dev/rdsk/c1t500000E0D0452787d1s1 | C1_P1 | sunEFI | | FUJITSU  | ETERNUS_DXL  | native  | pv | 0 | dx80  | ccf_dx80 | dvsys     | 
      ...
      

Es sollte nun ein dvboot ausgeführt werden, damit die Physical Volumes aktiviert (attached) werden. pvadmin -lvv liefert dann:

      # pvadmin -lvv
      0 ccf_dx80 (ok) 4176828 blocks over 4 path(s)
        >[ 1] (ok) /dev/rdsk/c1t500000E0D0452706d1s1 
         [ 2] (ok) /dev/rdsk/c0t500000E0D0452707d1s1 
         [ 3] (ok) /dev/rdsk/c0t500000E0D0452786d1s1 
         [ 4] (ok) /dev/rdsk/c1t500000E0D0452787d1s1 
      0 d0 (ok) 209697723 blocks over 4 path(s)
        >[ 1] (ok) /dev/rdsk/c1t500000E0D0452706d0s1 
         [ 2] (ok) /dev/rdsk/c0t500000E0D0452707d0s1 
         [ 3] (ok) /dev/rdsk/c0t500000E0D0452786d0s1 
         [ 4] (ok) /dev/rdsk/c1t500000E0D0452787d0s1 
      

Auf diesen Physical Volumes kann nun ein Application Volume erstellt werden:

      # avadmin -lvv
      0 blase 20971520 of 20971584 blocks "simple" in 1 pieces, 32 block clusters
        [ 1] d0 [0...20971583]
      
Ergebnis: Die Integration der Eternus DX80 in den OSL Storage Cluster verlief absolut problemlos, sobald die Volumes/LUNs für den Host sichtbar waren. Auch das Solaris-eigene MPxIO funktionierte auf Anhieb mit der Eternus DX 60/80. Die Eternus DX80 kann also OSL SC Anwendern ohne weiteres empfohlen werden. Sie läßt sich einfach in vorhandene Umgebungen integrieren und liefert sehr gute Durchsätze.

Snapshots

Die DX-Serie von Fujitsu bietet eine Menge weiterer Copy-Features, die unter dem Begriff "Advanced Copy Management" zusammengefaßt werden. Die kleinen Systeme wie die DX60 bzw. DX80 beherrschen einen kleinen Teil davon und es soll nun das Thema Snapshots näher beleuchtet werden. Diese Technologie wird als "SnapOPC+" (OPC: One Point Copy) bezeichnet. Ohne weitere kostenpflichtige Lizenzen lassen sich mit der DX80 8 Snapshots von Volumes anlegen.

Snapshots sind eine virtuelle Kopie des Quell-Volumes. Dabei werden jedoch nicht wirklich Daten kopiert, ein Snapshot stellt eher einen Zeitpunkt dar und bietet die Möglichkeit das Quell-Volume wieder auf diesen Stand zurückzufahren. Tatsächlich werden für den Snapshot nur die Änderungen seit der Erstellung gespeichert. Dadurch ist der Platzbedarf entsprechend gering, wenn sich auf dem Volume nur wenig ändert. Für das Backup eines Fileservers ist diese Technologie also wie geschaffen. Bei starken Veränderungen bzw. viel Write-IO auf einem Volume, werden natürlich auch entsprechend große Änderungen gemacht. Die Nutzbarkeit für Datenbanken mit hohem Änderungsaufkommen ist dadurch sehr eingeschränkt.

Bei der DX80 werden für Snapshots sogenannte Snap Data Volumes (SDV) genutzt. Diese virtuellen Volumes haben eine physische und virtuelle Größe und müssen entsprechend angelegt werden. Zusätzlich ist es auch möglich Snap Data Pool Volumes zu definieren. Diese springen dann ein, wenn der physische Platz der SDVs ausgeht und haben nur eine physische Größe. Sie werden in Teilen zu 1GB (nicht einstellbar!) dem SDV "zugeschaltet", falls notwendig. Man bezeichnet diese 1GB Teile als SDPE (Snap Data Pool Element).

Das Erstellen von Snapshots erfolgt nach dem Muster:

  1. Einstellungen für Snapshots: Etwas umfangreicher aber notwendig sind die erforderlichen Konfigurationsschritte vor der Erstellung von Snapshots.
  2. Anlegen eins Snap Data Volumes: In diesem SDV werden dann die Änderungen gegenüber dem Quell-Volume geschrieben.
  3. Snapshot erstellen: Nun kann ein Snapshot von einem beliebigen Volume gezogen werden.
  4. Snapshot mappen: Soll der Snapshot auch von einem Host aus zugreifbar werden, muss natürlich ein Mapping für die Controller und Ports gemacht werden.

Die mit der Eternus DX80 gemachten Snapshots lassen sich auch sehr gut in den OSL Storage Cluster integrieren (m2slock). Es sind einige wenige Vorbereitungen erforderlich, die Einbindung funktioniert dann aber reibungslos und ist an Klarheit nicht zu übertreffen.

Fazit

Die Eternus DX80 von Fujitsu konnte überzeugen. Die guten bis sehr guten Durchsätze (Lesen/Schreiben max. 350/150 MB/s mit 3 Platten SAS-RAID-5 von 2 Hosts aus -> also 700/300 MB/s in Summe) bei kleiner Konfiguration machen Lust auf mehr.

Die vielen durchdachten Features wie das CLI, die Snapshots, die redundante Auslegung der Controller und PSUs, sowie die neuen Technologien Cache Protector, Data Block Guard, Online RAID Migration, der Eco-Mode, die Verschlüsselungsfunktionen und die Unterstützung der gängigsten RAID-Level macht die Eternus DX80 zu einem bedienerfreundlichen, modernen RAID-System für einen vernünftigen Preis.

Die modulare Auslegung und die Möglichkeit der gemeinsamen Bestückung mit SSDs, Nearline-SAS und SAS-Platten runden das Bild ab.

Zurück