Vergleichende Analys und Konzeption von Storage Area Networks für - PDF

Document Sample
Vergleichende Analys und Konzeption von Storage Area Networks für - PDF Powered By Docstoc
					                Fachhochschule Köln
                University of Applied Sciences Cologne

                07 Fakultät für Informations-, Medien- und
                Elektrotechnik, Studiengang Elektrotechnik/NT

                Institut für Nachrichtentechnik
                Labor für Datennetze




                Diplomarbeit


Thema:          Vergleichende Analyse und Konzeption von
                Storage Area Networks (SAN) für
                mittelständische Unternehmen




                Student :       Mirko Wiedemann
                Matr. Nr. :     11023876

                Referent :    Prof. Dr. Andreas Grebe
                Korreferent : Dipl.- Ing. (FH) Thomas Bader




Abgabedatum :   30. Juni 2005
Hiermit versichere ich, dass ich die Diplomarbeit selbständig angefertigt und keine anderen
als die angegebenen und bei Zitaten kenntlich gemachten Quellen und Hilfsmittel benutzt
habe.

_____________________
Mirko Wiedemann
Danksagung
Diese Diplomarbeit ist nach einer zweijährigen Anstellung als Werkstudent innerhalb der
IT-Abteilung der Firma Miltenyi Biotec GmbH entstanden.
Mein besonderer Dank gilt Herrn Prof. Dr. Grebe für die Ermöglichung und Durchsicht der
Diplomarbeit. Dies gilt ebenso für den mir gewährten Freiraum und die wohlwollende
Unterstützung während meiner Arbeit.
Herrn Dipl.- Ing. (FH) Bader danke ich für die freundliche Übernahme des Korreferates und
für die zahlreichen, lösungsorientierten Diskussionen.
Weiterhin danke ich den vielen Mitarbeitern der Miltenyi Biotec GmbH für die hilfreiche
Zusammenarbeit. Dabei möchte ich besonders die Herren Sacha Dannewitz und Soto
Papadopoulos hervor heben. Herr Dannewitz hat durch seinen Einsatz diese Arbeit erst
möglich gemacht und im Zusammenarbeit mit Herrn Papadopoulos geduldig alle meine
Fragen hilfreich beantwortetet.
Abschließend möchte ich mich bei meinen Eltern für Ihre Unterstützung während des
gesamten Studiums bedanken.
Inhaltsverzeichnis




Inhaltsverzeichnis


1. VORWORT – EINLEITUNG ................................................................................ 1
2. PROBLEMSTELLUNG – IST ZUSTAND ........................................................... 2
   2.1 DAS – DIRECT ATTACHED STORAGE ................................................................. 2
   2.2 NAS – NETWORK ATTACHED STORAGE ............................................................ 3
   2.3 BACKUP AND RECOVERY .................................................................................... 4
     2.3.1 Datensicherung ......................................................................................... 4
     2.3.2 Datenbanksicherung ................................................................................. 6
     2.3.3 Recovery .................................................................................................... 7
   2.4 AKTUELLE SITUATION........................................................................................ 7
     2.4.1 Beschreibung der Systemlandschaft ........................................................ 7
     2.4.2 aktuelle Probleme...................................................................................... 9
3. SPEICHERNETZWERK - STORAGE AREA NETWORK (SAN) ................. 14
   3.1 WAS IST EIN SAN ? .......................................................................................... 14
   3.2 VORTEILE EINES SAN ...................................................................................... 15
     3.2.1 Hochverfügbarkeit .................................................................................. 15
     3.2.2 Festplattenkapazität ................................................................................ 15
     3.2.3 Skalierbarkeit .......................................................................................... 15
     3.2.4 Leistungsfähigkeit ................................................................................... 16
     3.2.5 Management ............................................................................................ 16
     3.2.6 Software ................................................................................................... 17
     3.2.7 Snapshots und Clone ............................................................................... 17
     3.2.8 Backup und Recovery.............................................................................. 19
     3.2.9 Boot from SAN......................................................................................... 20
     3.2.10 Server- Konsolidierung......................................................................... 20
     3.2.11 Entfernung zwischen Servern und Storage .......................................... 20
   3.3 SAN KOMPONENTEN........................................................................................ 20
   3.4 SAN PREISGEFÜGE .......................................................................................... 21
4. TECHNOLOGIEBESCHREIBUNG ................................................................... 22
   4.1 DATENTRÄGERSTRUKTUREN ............................................................................ 22
   4.2 SCSI – SMALL COMPUTER SYSTEM INTERFACE .............................................. 23
   4.3 SATA – SERIAL ADVANCED TECHNOLOGY ATTACHMENT .............................. 25
   4.4 FIBRE CHANNEL ............................................................................................... 26
     4.4.1 Fibre Channel Topology ......................................................................... 26
        4.4.1.1 Point to Point....................................................................................... 26
        4.4.1.2 Arbitrated Loop (FC-AL) .................................................................... 27
        4.4.1.3 Fabric .................................................................................................. 28
     4.4.2 Fibre Channel Physical and Signaling Interface .................................. 30
        4.4.2.1 FC-0 Physikalische Schicht ................................................................. 30
        4.4.2.2 FC-1 Codierungsverfahren und Ordered Sets....................................... 35
        4.4.2.3 FC-2 Management und Informationsstruktur ....................................... 37
        4.4.2.4 FC-3 Common Service ........................................................................ 44
        4.4.2.5 FC-4 Protocol Mapping ....................................................................... 45
     4.4.3 Fibre Channel Arbitrated Loop.............................................................. 47


                                                                                                                               I
Inhaltsverzeichnis



        4.4.3.1 FC-AL: Loop- Adressierung ................................................................ 49
        4.4.3.2 FC-AL: Ordered Sets........................................................................... 50
        4.4.3.3 FC-AL: Loop Protokolle...................................................................... 50
        4.4.3.4 FC-AL: Besonderheiten beim Einsatz von FC- Arbitrated Loop .......... 53
     4.4.4 Vergleich FCP und FC-AL ..................................................................... 54
   4.5 RAID - REDUNDANT ARRAYS OF INEXPENSIVE DISKS ..................................... 55
     4.5.1 RAID- Level ............................................................................................. 55
        4.5.1.1 RAID- Level 0 - Striping ..................................................................... 55
        4.5.1.2 RAID- Level 1 - Mirroring .................................................................. 55
        4.5.1.3 RAID- Level 0 + 1............................................................................... 56
        4.5.1.4 RAID- Level 1 + 0............................................................................... 56
     4.5.2 RAID- Level mit Fehlerkorrektur ........................................................... 56
        4.5.2.1 RAID- Level 2..................................................................................... 57
        4.5.2.2 RAID- Level 3..................................................................................... 57
        4.5.2.3 RAID- Level 4..................................................................................... 57
        4.5.2.4 RAID- Level 5..................................................................................... 57
        4.5.2.5 RAID- Level 0 + 5 (50) ....................................................................... 58
        4.5.2.6 RAID- Level 51................................................................................... 58
        4.5.2.7 Weitere RAID- Level .......................................................................... 58
     4.5.3 Realisierung von RAID- Level................................................................ 58
     4.5.4 Hot Spare- Festplatte .............................................................................. 59
   4.6 DATEISYSTEME................................................................................................. 59
     4.6.1 NTFS - New Technologie Files System .................................................. 60
        4.6.1.1 MFT - Master File Table..................................................................... 60
        4.6.1.2 Metadaten............................................................................................ 60
        4.6.1.3 Datenspeicherverwaltung..................................................................... 61
     4.6.2 HFS - Hierarchical File System ............................................................. 62
        4.6.2.1 HFS+................................................................................................... 62
     4.6.3 UFS - Universal File System .................................................................. 62
     4.6.4 Journaling- Dateisysteme ....................................................................... 63
     4.6.5 Reiser- Dateisystem................................................................................. 63
   4.7 ISCSI - SCSI OVER IP...................................................................................... 64
     4.7.1 Encapsulation .......................................................................................... 64
     4.7.2 iSCSI- Verwaltung................................................................................... 65
        4.7.2.1 Namen und Adressierung..................................................................... 65
        4.7.2.2 Verbindungsmanagement .................................................................... 67
        4.7.2.3 Fehlerbehandlung ................................................................................ 68
        4.7.2.4 Sicherheit ............................................................................................ 68
     4.7.4 Geschwindigkeit und Übertragungsraten .............................................. 69
     4.7.5 Einsatzmöglichkeiten .............................................................................. 70
   4.8 VERGLEICH VON FC MIT ISCSI ....................................................................... 71
     4.8.1 Technischer Vergleich ........................................................................... 71
     4.8.2 Kosten Vergleich ..................................................................................... 72
        4.8.2.1 Anschaffungskosten............................................................................. 73
        4.8.2.2 Betriebskosten ..................................................................................... 73
     4.8.3 Fazit ......................................................................................................... 73
   4.9 FCIP ................................................................................................................ 74
   4.10 IFCP............................................................................................................... 74
5. SAN- MANAGEMENT ........................................................................................ 75



                                                                                                                                  II
Inhaltsverzeichnis



   5.1 END TO END- MANAGEMENT............................................................................ 75
   5.2 LUN- VERWALTUNG ........................................................................................ 77
     5.2.1 Zoning ...................................................................................................... 77
        5.2.1.1 Hardware Zoning................................................................................. 77
        5.2.1.2 Software Zoning .................................................................................. 77
     5.2.2 LUN- Masking............................................................................................ 77
   5.3 AUTOMATISCHES SAN- MANAGEMENT ........................................................... 78
   5.4 VIRTUALISIERUNG............................................................................................ 78
     5.4.1 Virtualisierung auf Controllerebene ...................................................... 79
     5.4.2 Umbrella Software .................................................................................. 79
     5.4.3 Inband- Virtualisierung .......................................................................... 79
     5.4.4 Out of Band- Virtualisierung .................................................................. 79
     5.4.5 Vor- und Nachteile der Virtualisierung ................................................. 79
   5.5 DESASTER RECOVERY ...................................................................................... 80
6. PERFORMANCE – MESSUNG UND ABSCHÄTZUNG .................................. 81
   6.1 MESSUNGEN AN EIGENEN, PRODUKTIVEN SYSTEMEN....................................... 82
     6.1.1 SAP- ERP Server ..................................................................................... 83
     6.1.2 Fileserver ................................................................................................. 85
     6.1.3 MS- Exchange Server.............................................................................. 90
     6.1.4 Messergebnisse........................................................................................ 92
     6.1.5 Fazit der Messungen ............................................................................... 92
   6.2 MESSUNGEN VON EXTERNEN QUELLEN ............................................................ 92
     6.2.1 Vergleich von FC mit iSCSI ................................................................... 92
7. PLANUNG UND KONZEPT ............................................................................... 95
   7.1 PLANUNG .......................................................................................................... 95
     7.1.1 Fragenkatalog zu den SAN- Anforderungen ........................................ 95
     7.1.2 Anforderungen der Miltenyi Biotec GmbH ........................................... 96
   7.2 KONZEPTENTWURF .......................................................................................... 97
     7.2.1 Stufe 1 – Einführung ............................................................................... 97
     7.2.2 Stufe 2 – Erweiterung ............................................................................. 98
     7.2.3 Stufe 3 – Desaster Recovery ................................................................... 99
     7.2.4 Stufe 4 – SAN in Außenstellen .............................................................. 100
8. HERSTELLERVERGLEICH - BEWERTUNG ............................................... 102
   8.1 TECHNISCHE KONZEPTE DER HERSTELLER ................................................... 102
     8.1.1 Technisches Konzept der EMC Clariion- Serie .................................. 103
        8.1.1.1 Grundkonzept .................................................................................... 103
        8.1.1.2 Storage- Gruppen .............................................................................. 104
        8.1.1.3 META- LUN..................................................................................... 104
        8.1.1.4 Technischer Aufbau........................................................................... 105
        8.1.1.5 Erweiterbarkeit .................................................................................. 106
     8.1.2 Technisches Konzept der HP EVA- Serie ............................................ 106
        8.1.2.1 Grundkonzept .................................................................................... 106
        8.1.2.2 VRAID.............................................................................................. 107
        8.1.2.3 Speicherplatzerweiterung................................................................... 107
        8.1.2.4 Redundant Storage Sets ..................................................................... 108
        8.1.2.5 Distributed Sparing............................................................................ 109
        8.1.2.6 Technischer Aufbau........................................................................... 109



                                                                                                                               III
Inhaltsverzeichnis



          8.1.2.7 Erweiterbarkeit .................................................................................. 111

   8.2 SOFTWARE, BENUTZERFREUNDLICHKEIT UND PREISGEFÜGE ........................ 111

       8.2.1 Software und Management der EMC- Clariion Serie ........................ 111
          8.2.1.1 Clariion- Software ............................................................................. 111

          8.2.1.2 Clariion Management ........................................................................ 112

       8.2.2 Software und Management der HP- EVA Serie .................................. 114
          8.2.2.1 EVA- Software.................................................................................. 114

          8.2.2.2 EVA Management ............................................................................. 114

   8.3 VERGLEICH DER BEIDEN KONZEPTE .............................................................. 115

       8.3.1 Vergleich Technik.................................................................................. 116
       8.3.2 Vergleich Software und Management .................................................. 117
       8.3.3 Vergleich Preisgefüge ........................................................................... 117

9. FAZIT – ERGEBNIS.......................................................................................... 119

10. LITERATURVERZEICHNIS ......................................................................... 121

11. ABKÜRZUNGEN UND GLOSSAR ................................................................ 123

   11.1 ABKÜRZUNGEN ............................................................................................. 123

   11.2 STICHWORTVERZEICHNIS............................................................................. 125




                                                                                                                           IV
Kapitel 1. Vorwort - Einleitung




1. Vorwort – Einleitung


Als Abschluss des Studiums der Nachrichtentechnik-Informationsverarbeitung an der
Fachhochschule Köln, soll im Rahmen dieser Praxis-Diplomarbeit geklärt werden, ob sich
aus technischer Sicht eine Anschaffung eines Storage Area Network für die Firma Miltenyi
Biotec GmbH rechtfertigt.


Die fachliche Betreuung wurde von Herrn Prof. Dr. Andreas Grebe als Erstprüfer und Herrn
Dipl.-Ing. (FH) Thomas Bader als Zweitprüfer übernommen.


Das Unternehmen Miltenyi Biotec GmbH wurde 1989 von Dipl.-Phys. Stefan Miltenyi in
Bergisch Gladbach gegründet.
Nach innovativen Entwicklungen zur magnetischen Zellseparation und erfolgreicher
Markteinführung diverser Produkte, ist das Unternehmen mittlerweile Weltmarkführer in
diesem Bereich. Aktuell werden weltweit ca. 800 Mitarbeiter in dreizehn Niederlassungen
beschäftigt.


Dieses rasche Wachstum spiegelt sich auch in der Entwicklung der zu verwaltenden,
elektronischen Datenvolumen wieder und stellt die IT-Abteilung vor nicht unerhebliche
Probleme.
Laut Marketingabteilungen diverser EDV-Hardware Hersteller bietet ein Storage Area
Network die technischen Möglichkeiten, um dieser Probleme Herr zu werden. Eine
Anschaffung ist allerdings auch sehr kostspielig.


Im ersten Teil dieser Diplomarbeit soll erklärt werden, was
     -    ein Storage Area Network ist.
     -    welche Vorteile es bietet.
     -    auf welchen Technologien es basiert.


Im zweiten Teil soll ein Konzept für das mittelständige Unternehmen Miltenyi Biotec
GmbH entwickeln werden und schlussendlich soll abgeschätzt werden, ob die hohen
Investitionen in ein SAN gerechtfertigt sind.


Im Hause Miltenyi erhebt man den Anspruch, die im Einsatz befindlichen Technologien
auch komplett zu verstehen. Darum wurde der technischen Teil auch sehr ausführlich
bearbeitet.




                                                                                           1
Kapitel 2. Problemstellung – Ist Zustand




2. Problemstellung – Ist Zustand

Die zentrale Systemlandschaft der Firma Miltenyi Biotec GmbH (im folgenden Text nur
noch Miltenyi genannt) umfasst in Bergisch Gladbach mittlerweile 27 physikalische Server.
Auf ihnen hat sich eine Datenvolumen von ca. 4 TByte angesammelt. Die Verwaltung eines
solchen Volumens bringt mit den herkömmlichen Methoden einige Probleme mit sich, z. B.
ist das Plattenfassungsvermögen einiger Server erreicht und das ursprüngliche
Backupkonzept ist an seiner zeitlichen- und kapazitiven Grenze.
Im folgenden Kapitel werden diese herkömmlichen, im Einsatz befindlichen
Speicherverwaltungsmethoden vorgestellt und es wird die Systemlandschaft bei der Firma
Miltenyi mitsamt ihren Problemen beschrieben.



2.1 DAS – Direct Attached Storage

Bisher ist in den Servern der Firma Miltenyi die Speicherverwaltungsmethode DAS (Direct
Attached Storage) im Einsatz. Wie der Name schon sagt, hat jeder Server seine eigenen,
internen Festplatten direkt am Controller angeschlossen. Die Kombination aus Festplatten
und Controller nennt man auch Subsystem oder Speichersubsystem. Auf den Platten legt
der Server sein Betriebssystem und die zu verwaltenden Daten ab.

                Client               Client               Client                                  Client



                                                                           .....



                                                          LAN




                                                                   .....
                         Server                           Server                               Fileserver

             Daten                             Daten                                Daten      NAS- Server
                                                                                               (s. u.)


           Subsystem                          Subsystem                            Subsystem

            Abbildung 1: Schema eines Netzwerkes mit Einsatz von DAS


Die Clients greifen über das lokale Netzwerk (LAN) auf die einzelnen Server zu. Diese
stellen Dienste zur Verfügung und speichern Daten auf ihren internen Festplatten ab.




                                                                                                             2
Kapitel 2. Problemstellung – Ist Zustand



Vorteile von DAS:
   - In der einzelnen Anschaffung ist ein Server der DAS einsetzt preiswert.
   - einfache Konfiguration und Installation

Nachteile von DAS:
    - Server „verbrauchen“ die zur Verfügung stehenden freien Festplattenkapazitäten
       unterschiedlich schnell.
    - In einer Serverlandschaft nutzen einige Server nur einen kleinen Teil ihres
       Plattenplatzes, wobei andere schnell ihrere maximale Kapazität erreicht haben und
       deshalb mit neuen Platten nachgerüstet werden müssen. Dadurch entsteht ein hoher
       ungenutzter Speicheranteil (White Space).
    - Die Aufrüstung der Festplattenkapazitäten erfordert Downtime des Servers, d. h.:
       Dienste sind nicht verfügbar.
    - Das Speichermanagement ist sehr schwierig, besonders wenn viele Server betrieben
       werden. Das erhöht zwangsweise den Administrationsaufwand und dadurch die
       Kosten. Das      Marktforschungsunternehmen Gartner hat ermittelt, dass das
       Kostenverhältnis von Hardware- zu Administrationskosten bei 1:3 liegt.
       [4man-stman]
    - Jeder Server benötigt Reserveplattenplatz und seine eigenen Hot Spare-Platten1,
       dass erhöht den White Space zusätzlich.
    - Nur selten ist das Speichersubsystem redundant ausgelegt, so dass es oft einen
       Single Point of Failure (SPOF) gibt.
    - Mit DAS lässt sich nur die klassische Backup-Lösung realisieren (s.u.).
       Das kann wie bei Miltenyi dazu führen, dass durch das steigende Datenvolumen die
       Backup- und Recoveryfenster an ihre Grenzen stoßen. Für das Wochenend-Backup
       stehen ca. vierzig Stunden zur Verfügung. Für das Recovery eines wichtigen,
       produktiven Servers nach einem Totalausfall sollte ein halber Tag (4- 5 Stunden)
       ausreichen.
[adaptec_sanl]



2.2 NAS – Network Attached Storage

Network Attached Storage stellt zentralisierten Speicherplatz innerhalb eines Netzwerks zur
Verfügung. Dafür wird im LAN ein NAS-Server bereitgestellt, auf dessen internen Platten
Daten gespeichert werden.
NAS nutzt vorhandene Hardware als Speicher- und Netzwerkkomponente und bietet File-
Sharing zwischen verschiedenen Betriebssystemen an. Es unterstützt nur Schreib- und
Lesezugriffe auf Dateiebene (File- I/O), d. h. es können immer nur ganze Dateien gelesen
oder geschrieben werden. [san_S.29] [itwissen_nas]




1
        Hot Spare- Platte: Ersatzplatte, die bei Ausfall einer produktiven Platte „einspringt“.
        Nähere Erklärung in Kapitel 4.5.4



                                                                                                  3
Kapitel 2. Problemstellung – Ist Zustand



                       Client


                                                                      Anwendung
                                                   Client
                                                                        Netzwerk
                                                   NAS-               Dateisystem
                                                   Server
                                                                        Speicher
                    Fileserver

           Daten     NAS- Server



        Subsystem

Abbildung 2: Schema des NAS-Aufbaus


Ein Fileserver ist ein klassisches NAS-Device.



2.3 Backup and Recovery

Der Einsatz von DAS schränkt die Möglichkeiten eines zentralen Backups stark ein. In der
Regel befindet sich dabei im LAN ein dedizierter Backup-Server, der die zu sichernden
Daten entweder auf Festplatten oder Tapes speichert.
Auf den Servern läuft ein Backup-Agent der mit dem Backup-Server kommuniziert und die
zu sichernden Daten über das LAN an den Backup-Server schickt.

Schrittweiser Ablauf eines Backupjobs:
    1. Der Backup-Server fordert mit Hilfe des Backup-Agenten die zu sichernden Daten
        des produktiven Servers (Application Server) über das LAN an.
    2. Der Application Server übergibt die zu sichernden Daten an den Agenten..
    3. Die zu sichernden Daten werden über das LAN zum Backup-Server transferiert.
    4. Der Backup-Server speichert die erhaltenen Daten auf seine Sicherungsmedien.
[adaptec_sanl]

Durch das ständige Wachsen der Datenbestände benötigt die Sicherung immer mehr Zeit
um die Daten auf Sicherungsmedien zu schreiben. Da ein Server während der Sicherung nur
sehr eingeschränkt zur Verfügung steht, ist man darauf bedacht die Sicherungsdauer so kurz
wie möglich zu halten.



2.3.1 Datensicherung

Um Dateien von einem Server zu sichern gibt es mittlerweile verschiedene Ansätze. Einige
davon greifen dabei auf das Archivierungsflag zurück.



                                                                                             4
Kapitel 2. Problemstellung – Ist Zustand



Jede Datei hat ein Archivierungsflag. Wird sie neu angelegt oder verändert, so wird es
gesetzt.
Sicherungsarten:


     -    Vollständiges Backup
          Alle Dateien werden gesichert und das Archivierungsflag wird zurück gesetzt um
          anzuzeigen, dass die Datei gesichert wurde.
          Vorteil: Zusammenhängender Datensatz
          Nachteil: durch komplette Sicherung hohes Zeit- und Volumenaufkommen
     -    Inkrementelles Backup
          Der Bezugspunkt ist hier immer das letzte Backup. Alle Daten, die sich seit der
          letzten Sicherung (egal ob Voll- oder inkrementelles Backup) geändert haben
          (Archivierungsflag ist gesetzt) werden gesichert. Dabei wird das Archivierungsflag
          zurück gesetzt um anzuzeigen, dass die Datei gesichert wurde.




           Abbildung 3: Schema eines inkrementellen Backups [storitback_backup]


          Vorteil: Das Sichern geht schnell
          Nachteil: Beim Restore müssen alle inkrementellen Backups seit dem letzten
          Vollbackup nacheinander zurückgespielt werden. Dies gestaltet den Restore sehr
          zeitaufwendig.
     -    Differentielles Backup
          Hier ist das letzte Vollbackup der Bezugspunkt. Alle Daten die sich nach dem
          letzten Vollbackup geändert haben (Archivierungsflag ist gesetzt), werden
          gesichert.
          Um dies zu gewährleisten, wird nach der Sicherung das Archivierungsflag nicht
          zurück gesetzt. Erst das nächste vollständige Backup setzt das Flag wieder zurück.




           Abbildung 4: Schema eines differentiellen Backups [storitback_backup]


          Vorteil: Schneller als Vollbackup



                                                                                               5
Kapitel 2. Problemstellung – Ist Zustand



       Nachteil: Jedes Backup ist größer als der Vorgänger, höheres Datenaufkommen als
       beim inkrementellen Backup
   - System State Backup
       Sichert in einer Windows 2000 Umgebung nur die System spezifischen Daten, z.B.
       Registry, System Boot Dateien, Active Directory Services Datenbank,
       Domaincontroller Dienste und das SYSVOL-Verzeichnis.
       Vorteil: Kurzer Zeitaufwand
       Nachteil: Ein Restore ist alleine nicht lauf fähig, benötigt das vorherige
       Betriebssystem.
   - Copy Backup
       Alle ausgewählten Dateien werden gesichert, wobei das Archivierungsflag dabei
       nicht verändert wird. Kommt häufig für eine Sicherung außerhalb des
       Sicherungskonzeptes zum Einsatz.
       Vorteil: Anwendbar zwischen Vollbackup und inkrementellem Backup.
       Nachteil: Das Archivierungsflag wird nicht zurück gesetzt, so dass nachfolgende
       Differentielle- und Inkrementelle Backups die Daten mitsichern würden und so ein
       großes Volumen entsteht.
[whelp_backup]



2.3.2 Datenbanksicherung

Die Sicherung von Datenbanken (DB) ist nicht so einfach wie die Sicherung von Dateien.
Eine Datenbank kann schnell mehrere Gigabyte groß werden und dabei nur aus einer Datei
bestehen. Zudem können sich bei einer produktiven Datenbank Inhalte während des
Backups ändern. Um diese Problem zu umgehen gibt es zwei Backupmethoden für
Datenbanken:
    - Offline Backup
         Bei Offline Backup wird die Datenbank herunter gefahren und im Offline-Mode
         kopiert. Das hat aber zur Folge, dass sie für die Dauer des Kopiervorgangs nicht
         erreichbar ist.
    - Online Backup
         Beim Online Backup läuft die Anwendung weiter und steht den Usern zur
         Verfügung. Allerdings muss die Datenbank dafür Sorge tragen, dass ab dem
         Startpunkt und bis zum Ende der Sicherung keine Daten innerhalb der Datenbank
         verändert werden. Lesen aus der DB ist weiterhin möglich, aber Änderungen
         werden nicht in die DB, sondern in einen gesonderten Bereich (Logfile,
         Transaktionlog) geschrieben und mit der DB verpointert. Ist die Sicherung
         abgeschlossen, werden die zwischen gespeicherten Daten über die Pointer zurück in
         die DB geschrieben.
         Während des Online Backup sinkt die Performance der Anwendung durch den
         hinzu gekommenen Aufwand merklich. Je länger das Backup dauert, ums so mehr
         sinkt die Performance zusätzlich, denn die Transaktionlogs werden immer größer.
[storitback_onback]




                                                                                             6
Kapitel 2. Problemstellung – Ist Zustand




2.3.3 Recovery

Durch die unterschiedlichen Backup Varianten ist es möglich die Dauer einer Sicherung
recht klein zu halten. Allerdings ist die Backupzeit nicht mit der Recoveryzeit gleich zu
setzten. Schreiboperationen dauern immer länger als Leseoperationen.
Außerdem muss im Falle eines Datenverlustes erst ein Vollbackup zurück gespielt werden
um danach die Daten mit Hilfe der inkrementellen oder differentiellen Sicherungen wieder
auf den aktuellsten Stand zu bringen. Liegt das letzte Vollbackup eine Weile zurück, kann
das Recovery eine beachtliche Zeit in Anspruch nehmen.



2.4 Aktuelle Situation

Die Probleme, die DAS mit sich bringt, treten auch im vollen Umfang bei der Firma
Miltenyi Biotec auf. Die Daten wachsen überproportional schnell, besonders der Fileserver
(NAS-Device) läuft regelmäßig mit Daten voll, wo hingegen manche andere Server nur
40% ihrer Festplattenkapazität beanspruchen. Die Aufrüstung von Kapazitäten kostet Geld,
Downtime und administrativen Aufwand. Das Backup- und ganz besonders das
Recoveryfenster erfüllen nicht mehr die an sie gestellten Anforderungen.
In der nahen Vergangenheit sind vermehrt Speichersubsysteme von Servern ausgefallen und
haben zu Datenverlusten, erheblicher Downtime und großem Arbeitsaufwand der
Administratoren geführt.



2.4.1 Beschreibung der Systemlandschaft

Miltenyi Biotec betreibt mittlerweile weltweit 13 Niederlassungen unterschiedlicher Größe.
Die Netzwerkstruktur ist sternförmig um die Firmenzentrale in Bergisch Gladbach und die
dortigen Server aufgebaut.
Zwei Domaincontroller bilden den Kern des Netzwerkes, sie kommunizieren über VPN-
Verbindungen2 mit den Domain-Controllern in den Niederlassungen. Die Regionen
Nordamerika, Asien, sowie die Niederlassungen in Teterow und Köln verfügen über eigene
Exchange-Server, alle anderen Standorte werden über den zentralen Exchange-Server in
Bergisch Gladbach abgewickelt.
Auch die produktiven SAP-Systeme stehen nur zentral in Bergisch Gladbach.

Durch das weltumspannende Netzwerk und die verschiedenen Zeitzonen arbeiten nur
zwischen Samstagmorgens 3.00 Uhr und Sonntagabends 23.00 Uhr keine User auf den
Maschinen. In dieser Zeit läuft aber das Backup, so dass Ausfallzeiten besonders kritisch


2
        VPN- Verbindung: Virtual Privat Network, stellt eine sichere Verbindung zwischen zwei
        Endpunkten durch das Internet her.



                                                                                                7
Kapitel 2. Problemstellung – Ist Zustand



sind und Wartungsarbeiten im Voraus gut geplant werden müssen. Effektiv haben die
Server etwa 3 Stunden in der Woche „Leerlauf“.

Aktuell sind ca. 27 physikalische Server im Einsatz.
Anbei eine Liste der wichtigsten Server:
   - 2x Domaincontroller
        HP NetServer LP 2000: 1 GHz; 512 MByte RAM, 32 GByte Festplattenkapazität

     -    MS-Exchange Server
          HP NetServer LC 2000: 2x 800 MHz; 3,5 GByte RAM; 410 GByte
          Festplattenkapazität;
          ca. 700 Postfächer

     -    SAP-ERP (Enterprise Ressource Planing)
          HP Proliant 380: 2x 3 GHz; 7,8 GByte RAM; 270 GByte Festplattenkapazität;
          ca. 100 User

     -    SAP-HR (Human Ressources)
          HP Proliant 380: 2x 2,4 GHz; 2 GByte RAM; 140 GByte Festplattenkapazität;
          ca. 15 User

     -    Fileserver, NAS-Device
          HP NetServer LH 3000: 2x 800 MHz; 2,2 GByte RAM; 1,2 TByte
          Festplattenkapazität

     -    VMWare-Hosts 1
          HP NetServer LH                  4r: 4x   800   MHz; 3,8   Gbyte RAM; 240   Gbyte
          Festplattenkapazität.

     -    VMWare-Host 2
          HP Proliant 370: 2x 3,4 GHz; 4 GByte RAM; 700 GByte Festplattenkapazität

     -    VMWare-Host 3
          HP Proliant 370: 2x 3,4 GHz; 4 GByte RAM; 700 GByte Festplattenkapazität

     -    Backup-Server
          HP NetServer E 800: 2x 1 GHz; 800 MByte RAM; 2,2 TByte Festplattenkapazität;
          Tapelibrary mit 8 Ultrium-Tapes und einem Cleaning-Tape, jedes fasst
          komprimiert 200 GByte; Backup-Software: Veritas Backup Exec 8.6




                                                                                              8
Kapitel 2. Problemstellung – Ist Zustand




2.4.2 aktuelle Probleme

Plattenplatz
Insgesamt verfügen die wichtigen, produktiven Server heute über ca. 3000 GByte
Datenvolumen. Den größten Anteil davon belegt der Fileserver, der im August 2004 mit
einem zusätzlichen, externen Disk-Enclosure3 um 120 GByte erweitert wurde. Anfang Mai
2005 war die zusätzliche Kapazität schon wieder verbraucht und er wurde noch einmal um
500 GByte auf 1,2 TByte erweitert.
Mit Stand vom 07.06.2005 sind von den gesamten 3 TByte ca. 1,8 TByte belegt. Das
entspricht einer freien Kapazität von etwa 1,2 TByte oder 40 %.
Zusätzlich zu den ca. 3 TByte beinhaltet der Backup-Server ein 2,2 TByte großes
Diskarray, da diese aber nicht im produktiven Einsatz sind, werden sie auch nicht bewertet.



                                   Entwicklung des gesamten Speicherplatzes


                     3000



                     2500


                     2000
          Gigabyte




                     1500



                     1000


                      500



                       0
                            27.01.05       23.02.2005      29.03.2005       05.05.2005   07.06.2005

                                                belegter Speicher   freier Speicher


      Abbildung 5: Entwicklung des gesamten Speicherplatzes


Das Datenwachstum der wichtigsten Server wurde seid Anfang 2005 protokolliert. Dabei
fiel auf, dass der Fileserver ein über proportional hohes Wachstum aufweist.




3
        Disk- Enclosure: einzelner Rack- Einschub für Festplatten, der an einen Server angeschlossen wird
        um die Aufnahme weiterer Platten zu ermöglichen.



                                                                                                            9
Kapitel 2. Problemstellung – Ist Zustand




                                 Entwicklung des Speicherplatzes auf dem Fileserver



                     1200


                     1000


                      800
          Gigabyte




                      600


                      400


                      200


                       0
                             05




                                          05




                                                     05




                                                                 05




                                                                               05




                                                                                             05




                                                                                                        05
                            1.




                                         20




                                                    20




                                                                20




                                                                              20




                                                                                            20




                                                                                                       20
                            .0




                                      2.




                                                3.




                                                              4.




                                                                           4.




                                                                                       5.




                                                                                                   6.
                        27




                                     .0




                                                .0




                                                            .0




                                                                          .0




                                                                                      .0




                                                                                                   .0
                                    23




                                               29




                                                           05




                                                                         28




                                                                                    05




                                                                                                  07
                                                     belegter Speicher    freier Speicher


       Abbildung 6: Entwicklung des Speicherplatzes des Fileservers


Bei Betrachtung der Abbildung 6 fällt auf, dass das Datenwachstum zwischen April und
Mai stagniert. Dies ist auf umfangreiche Löschmaßnahmen von MP3-Files im Monat April
zurück zu führen.


In den ersten drei Monaten des Jahres 2005 verringerte sich das freie Volumen des
Fileservers um ca. 80 GByte, das entspricht ca. 12% des damaligen gesamt Volumens von
716 GByte. Rechnet man diese Entwicklung auf ein Jahr hoch, so liegt das Wachstum in 12
Monaten bei ca. 320 GByte.
Berücksichtigt man die ständig wachsende Dateigröße und das Wachstum der Firma, so
wird mit hoher Wahrscheinlichkeit der Anstieg weit über 320 GByte Daten liegen. Das
würde wiederum bedeuten, dass die aktuell hinzugefügten freien 500 GByte sehr
wahrscheinlich innerhalb eines Jahres wieder verbraucht sein werden.
Aktuell sind im Fileserver intern zwölf Festplatten und noch einmal zwölf Festplatten in
einem zusätzlichen, externen Disk Enclosures verbaut. Der interne 4 Kanal SCSI-Controller
erlaubt noch den Anschluss von einem weiteren externen Enclosure. Danach ist die
maximale Ausbaustufe des Servers erreicht.


Backup und Recovery
Aktuell kommt die Backup-Software Veritas Backup Exec 8.6 zum Einsatz.
Der Backup-Server steht räumlich getrennt vom Serverraum in einem Nebengebäude und
ist über Gigabit LAN angebunden. Er verfügt über ein externes Disk Enclosure mit 2,2
TByte Fassungsvermögen und über eine HP Tapelibrary in dem max. neun Ultrium Tapes
Platz haben. Bei einem der Tapes handelt es sich um ein Cleaning-Tape.



                                                                                                             10
Kapitel 2. Problemstellung – Ist Zustand



Immer Samstags wird zum einen ein Vollbackup der Server auf insgesamt 8 Ultrium Tapes
in der Library geschrieben und zum anderen ein System State Backup auf ein einzelnes
Tape geschrieben. Das Vollbackup benötigt dabei ca. zwei Tage wobei das System State
Backup nur sieben Stunden dauert. Auf das Plattenarray werden täglich differentielle
Backups abgespeichert. Nach ca. drei Wochen werden sie dann mit den aktuellen
Sicherungsdaten wieder überschrieben.

Aktuell haben die zu sichernden Daten des Vollbackups ein Volumen erreicht, das die 8
Tapes der Library nicht mehr fassen können. Entweder verzichtet man auf das Cleaning-
Tape, wo von HP aus Gründen der Zuverlässigkeit aber stark abrät, oder man wechselt
während des Backup-Prozesses die Tapes. Das ist aber keine saubere Lösung, denn das
Wechseln kann vergessen werden oder die losen Bänder werden verlegt.

Außerdem läuft das Vollbackup leider nicht immer störungsfrei durch, so dass nicht 100%
sicher gestellt werden kann, dass man im Notfall auf einen aktuellen Datensatz zurück
greifen kann.
Theoretisch geht man davon aus, dass ein komplettes Recovery etwas länger dauert wird
als ein Vollbackup, sprich ca. 2 Tage. Dies kann aber im schlimmsten Fall einen
Datenverlust von 6 Tagen bedeuten. Müssen noch die differentiellen Sicherungen zurück
gespielt werde, können schnell weitere Tage zur Dauer hinzu kommen.

Server Crashs
In der nahen Vergangenheit haben sich die Ausfälle von verschiedenen Servern erhöht.
Jedes mal war an den Ausfällen maßgeblich das Speichersubsystem beteiligt.

     -    Herbst 2003: SAP-ERP
          vermutlich RAID-Controller Cache defekt und dadurch inkonsistente Datenbank
          Downtime: 2-3 Tage, immenser Arbeitsaufwand von Seiten der Administratoren
     -    Frühjahr 2004: Softwareverteilungs-Server
          IDE RAID-Controller hat die RAID-Konfiguration verloren, kompletter
          Datenverlust
          Downtime: mehrere Tage
     -    Februar 2005: Exchange-Server
          Festplatte defekt, nach dem Rebuild waren einige Datenbanken inkonsistent, durch
          Handarbeit wieder mühsam hergestellt. Insgesamt sehr zeitaufwendig.
          Downtime: 1-2 Tage
     -    18.04.05: Exchange-Server
          Das logische Laufwerk das die Datenbanken speichert hat sich unmounted.
          Downtime: ca. 5 h
     -    18.04.05: VMware-Host 2
          RAID-Controller hat die RAID-Konfiguration verloren
          Downtime: ca. 4 h
          Verluste: Blackberry-Server
     -    10.05.05: VMware-Host 2
          Totalausfall des Speichersubsystems



                                                                                             11
Kapitel 2. Problemstellung – Ist Zustand



          Virtuelle Server wurden auf andere Systeme verteilt oder abgeschaltet
          Downtime: bis Ersatzgerät im Einsatz war ca. 14 Tage

Allerdings muss man dazu sagen, dass die Ausfälle immer nur HP NetServer betrafen. Mit
den neueren HP Proliant Servern gab es bisher noch keine Probleme.

Der gravierenste Ausfall in der nahen Vergangenheit betraf den SAP-ERP Server mit 2-3
Tagen Downtime. Leider kann man nicht genau beziffern, welche Kosten dieser Ausfall
verursacht hat. Die Admins haben rund um die Uhr gearbeitet und nach Lösungen gesucht,
während das komplette Buchungssystem lahm lag.
Mittlerweile ist der alte SAP-Server durch einen HP Proliant ersetzt worden.

Postfachgröße des Exchange-Servers
Die Postfächer auf den Exchange-Server erreichen teilweise die Größe von mehreren
Gigabyte. Das erschwert das Backup und ganz besonders das Recovery von einzelnen
Postfächern. Ganz zu schweigen von der Suche nach einzelnen, bestimmten E-Mails.


Gesetzliche Anforderungen an die Archivierung
Die immer umfangreicher werdende Digitalisierung von Geschäftsprozessen hat die
Gesetzgebung veranlasst, Regelwerke zur Archivierung von Unternehmensdaten zu
verfassen.
Aktuelle Regeln:
    - Grundsätze zum Datenzugriff und zur Prüfung digitaler Unterlagen (GDPdU)
        Sind seit dem 01.01.2002 in Deutschland gültig und regeln die Verpflichtungen der
        Unternehmen zur digitalen Archivierung von digital erzeugten, steuerlich relevanten
        Unterlagen.
    - Sarbanes-Oxley-Act (SOX)
        Seit Sommer 2002 in den USA gültig und beschreibt die Haftung von Managern für
        die Jahresabschlüsse börsenorientierter Unternehmen. Zudem stellt es detaillierte
        Anforderungen an ein funktionierendes, internes Kontrollsystem bei
        Finanzprozessen. Obwohl es eine US-Regelung ist, gilt es auch für internationale
        Unternehmen mit Schnittstellen in die USA.
        Im Rahmen der achten EU-Direktive soll eine vergleichbare Regelung ab Januar
        2006 auch in Europa in Kraft treten.
    - Basel II
        Diese, ab Januar 2006 gültige, Regelung normiert die Voraussetzungen für Kredite.
        Je besser eine Bonitätsprüfung ausfällt, je kleiner ist das Risiko der Bank und
        dadurch verbessern sich die Kreditkonditionen für den Kreditnehmer. Um ein gutes
        Rating zu erhalten, muss der Kreditnehmer über Systeme und Prozesse verfügen,
        die die Verfügbarkeit aller Rating-relevanten Prozesse sicherstellen. Dies erfordert
        hohe Anforderungen an die IT-Systemlandschaft.
    - International Financing Standards (IFRS)
        Ab 2005 müssen in nahezu allen börsenorientierten Unternehmen der EU
        Mitgliedstaaten einheitliche Rechnungslegungsverfahren (die IFRS) eingeführt



                                                                                               12
Kapitel 2. Problemstellung – Ist Zustand



       werden. Ziel ist es, eine Transparenz und Vergleichbarkeit von Konzernabschlüssen
       zu erlangen.
[tgs_01/2005]

Die Analyse der genauen Anforderungen der oben genannten Richtlinien würde den
Rahmen dieser Diplomarbeit überschreiten.

Auch wenn im Moment noch kein zwingender Handlungsbedarf besteht, werden diese
Regeln und Anforderungen auf kurz oder lang Realität werden und spezielle Anforderungen
an die IT-Landschaft eines Unternehmens stellen.
Bisher ist die Umsetzung der oben genannten Regeln bei Miltenyi noch nicht in Planung.
Die Vergangenheit zeigt aber, dass sich das sehr schnell ändern kann und um auf diesen
Fall vorbereitet zu sein, sollte man sich heute schon mit umfassenden
Archivierungsmöglichkeiten vertraut machen (siehe Kapitel 3.2).




                                                                                           13
Kapitel 3. Speichernetzwerk – Storage Area Network




3. Speichernetzwerk - Storage Area Network (SAN)

In diesem Kapitel soll erklärt werden was ein Storage Area Network ist, welche Vorteile es
bietet, aus welchen Komponenten es besteht und wie sich der Anschaffungspreis eines SAN
zusammensetzt.



3.1 Was ist ein SAN ?

Im Gegensatz zu DAS ist es innerhalb eines SANs möglich, Server ohne internes, fest
angeschlossenen Subsystem zu betreiben. Alle Server greifen auf ein zentralisiertes,
unabhängiges Storagedevice zu.

                Client             Client               Client                        Client


                                                                     .....


                                                       LAN



               Server                         Server                         Server

                                                                     .....



                                                       SAN



                                                        Daten



                                                     Storagedevice

           Abbildung 7: Schema eines Storage Area Netzwerk


Mit Hilfe von spezieller Hardware und speziellen Protokollen kommunizieren die Server
mit dem Storage. Dabei findet die Übertragung der Daten vom Server zum Storage auf
Block-Ebene statt. Dabei werden einzelne Datenblöcke übertragen, wodurch es möglich ist,
große Datenmengen mit hoher Geschwindigkeit zu transferieren.
Für einen Server ist das SAN völlig transparent, für ihn sieht es so aus, als hätte er Zugriff
auf eine interne Festplatte. [san]




                                                                                                 14
Kapitel 3. Speichernetzwerk – Storage Area Network




3.2 Vorteile eines SAN

Wie man in vielen Werbetexten nachlesen kann, werden SANs mit großem finanziellem
Einsparpotenzial beworben. Allerdings gibt es bis heute keine genaue Methode wie man
den Return of Investment (ROI) eines SANs messen kann. [sguide_sanvor]
Die vielen „weichen Faktoren“ werden von System zu System unterschiedlich bewertet. An
dieser Stelle wird nur aufgezählt, welche Vorteile die Trennung des Speichers von der
Hardware bietet:



3.2.1 Hochverfügbarkeit

Aktuelle Storagedevices sind intern völlig redundant ausgelegt, so dass es keinen Single
Point of Failure (SPOF) mehr gibt. In Kombination mit einer redundant ausgelegten
Infrastruktur zum Anschluss der Server, lässt sich eine hohe Verfügbarkeit erzielen und die
Ausfallzeiten fast gänzlich ausmerzen.

Hochverfügbarkeitslösungen (99,99%) lassen sich mit zwei räumlich getrennten
Storagedevices realisieren. Die beiden Geräte werden unter einander verbunden und die zu
speichernden Daten werden automatisch gespiegelt. So kann selbst ein komplettes Device
ausfallen (z.B. Serverraumbrand) und es steht immer noch ein produktives System zur
Verfügung.



3.2.2 Festplattenkapazität

Die Festplattenkapazitäten liegen in einem SAN zentral und es wird nur noch eine oder
maximal zwei Hot Spare-Platten benötigt, anstatt eine in jedem Server. Dadurch verringert
sich der ungenutzte Plattenplatz (White Space).
Der Plattenplatz von Servern lässt sich je nach Betriebssystem im laufenden Betrieb
erhöhen und ein Datenwachstum kann recht einfach abgefangen werden.
Win 2000 verarbeitet eine solche Erweiterung im laufendem Betrieb, hingegen manche
Linux Derivate dazu einen Reboot benötigen



3.2.3 Skalierbarkeit

Sollte ein Storagedevice durch Wachstum an seine Kapazitivengrenzen stoßen, so lassen
sich die meisten im laufendem Betrieb auf leistungsstärkere Versionen upgraden.
Wichtig ist zu prüfen, ob die zu verwendenden Geräte untereinander sauber kommunizieren
können (z. B. Switch mit Serveradapter), denn trotz umfassender Standards gibt es
zwischen den Herstellern immer noch Kompatibilitätsprobleme. [san_S.35]




                                                                                              15
Kapitel 3. Speichernetzwerk – Storage Area Network



3.2.4 Leistungsfähigkeit

Aktuell ist ein SAN für einen Server der schnellste Weg, um mit einem anderen Server oder
dem Storage zu kommunizieren. Es bietet hohen Datendurchsatz und schnelle
Antwortzeiten. [san_S.35]


3.2.5 Management

In einem Speichersubsystem verursacht die Hardware schon lange nicht mehr den
Hauptanteil der Gesamtkosten. Die Kosten pro Gigabyte sinken stetig, wobei die Kosten für
die Administration und Pflege proportional mit dem Datenwachstum steigen.
Durch die zentrale Verwaltung des SANs verringert sich der Administrationsaufwand und
dadurch auch die entstehenden Kosten. Selbst äußerst komplexe SANs mit mehreren
Storagedevices und einer Vielzahl von Servern lassen sich recht einfach verwalten.

Studien:
Das Marktforschungsunternehmen Gartner hat ermittelt, dass das Kostenverhältnis von
Hardware- zu Administrationskosten bei 1: 3 liegt. [4man-stman]
Eine McKinsey Studie aus dem Jahr 2001 hat gezeigt, dass die Gesamtkosten bei DAS ca.
84 Cent/ MByte und bei einem SAN nur ca. 38 Cent/ MByte betragen. Das Ergebnis ist
heute sicherlich nicht mehr so aussagekräftig, denn der Preis für SCSI-Festplatten ist sehr
stark eingebrochen. Allerdings sollte die Tendenz der Personalkosten/ MByte heute noch
gültig sein. [sguide_sanvor]

Insgesamt verteilten sich die Kosten 2001 wie folgt:

                   Gesamtkosten von Speichersystemen in Cent/ MByte im Jahr 2001

              90
                                 84 Cent
              80            6
                                                                   Installation
              70           13
                                                                   Netzwerk- Hardware
              60

                           26                                      Software
   Cent/ MB




              50

                                           38 Cent
              40                                                   Backup Hardware
                                                           2
                                                4
              30                                           3
                                                     10            Storage Subsystem
              20           39
                                                     15            Manpower
              10

               0
                                                      5

                          DAS                        SAN


Abbildung 8: Vergleich der Gesamtkosten in Cent/ MByte von DAS und SAN im Jahr 2001
[sguide_sanvor]



                                                                                              16
Kapitel 3. Speichernetzwerk – Storage Area Network



Bei der Minimierung des ständig wachsenden Administrationsaufwand ist spezielle, SAN-
basierende Software behilflich.



3.2.6 Software

Mit der richtigen Software kann ein SAN seine Stärken erst richtig ausspielen:

    -    Storage Ressource Management (SRM)
         Ermöglicht die Verwaltung der Speicherressourcen, dazu zählt:
           -     Reports und Trendanalysen zur Planung des Speicherwachstums
           -     Festplatten Quotas
           -     Fileblocking: definierte Dateitypen dürfen nicht gespeichert werden (mp3)
           -     Monitoring der Volumenentwicklung
    -    Hierarchisches Speichermanagement (HSM)
         Daten, die bestimmte Kriterien erfüllen (Alter, das letzte Mal geändert, mp3, Video)
         müssen nicht auf schnellen, teuren Festplatten liegen. Sie kann man auf langsamere,
         preiswerte Platten auslagern oder auf Tape weg sichern.
         HSM hat auch einen positiven Effekt auf das Backup, denn das Volumen der
         produktiven Daten auf den schnellen Festplatten wird möglichst klein gehalten und
         verringert dadurch das Backupfenster.
    -    Information Lifecycle Management (ILM)
         ILM ist ein komplexer Prozess um Daten zu bewerten und an Hand ihrer
         „Wichtigkeit“ zu verwalten. Geschäftskritische Daten werden höher eingestuft als
         private E-Mails. Anhand dieser Einstufung können dann definierte Prozesse
         eingeleitet werden wie mit den Daten verfahren werden soll.
         ILM ist noch recht neu und es gibt eine Menge verschiedener Ansätze zu dem
         Thema.
    -    E-Mail Archivierung
         Das ständig steigende E-Mail Aufkommen wird ein immer ernsteres Problem, denn
         geschäftsrelevante Mails müssen dauerhaft archiviert werden und bei Bedarf auch
         wieder gefunden werden. Heute ist es noch oft so, dass die Mails in riesigen
         Posteingangsfächern oder pst-Files verloren gehen. Spezielle Software hilft der
         Lage Herr zu werden.



3.2.7 Snapshots und Clone

Snapshots
Bei einem Snapshot fertigt man eine Momentaufnahme einer produktiven Festplatte zu
einem definierten Zeitpunkt an. Dazu muss zuerst freier Speicherplatz, in der Größe des
Volumes von dem der Snapshot erstellt werden soll, reserviert werden.
Werden nach dem Snapshot-Zeitpunkt Daten auf der Platte geändert, schreibt der Controller
die alten Daten erst auf den vorher festgelegten Speicherplatz und aktualisiert danach den
produktiven Satz. Diese Änderung wird zeitgleich in einer Matrix festgehalten um später



                                                                                                17
Kapitel 3. Speichernetzwerk – Storage Area Network



nach zu vollziehen, welche Daten verändert wurden. Die Daten, die nicht geändert werden,
sind mit dem Snapshot verpointer, so dass man einen kompletten Datensatz erhält.

Beispiel:
Zum Zeitpunkt T wird ein Snapshot einer Festplatte erstellt und der freie Speicherplatz
dafür reserviert. Ändert sich danach der Sektor y des produktiven Systems, schreibt der
Controller erst den Inhalt des ursprünglichen Sektors y auf den freien Speicherplatz y`,
vermerkt in der Matrix, dass Sektor y verändert wurde und aktualisiert dann den
produktiven Datensatz. Existiert der Snapshot schon eine Weile und der Sektor y soll noch
einmal geändert werden, erkennt der Controller anhand der Matrix, dass y` schon im
Snapshot vorhanden ist und überschreibt y auf der produktiven Platte.
Aus der Kombination Snapshot-Daten, Matrix und produktive Daten, erhält man den
Datensatz zum Snapshot-Zeitpunkt T. [storitback_backpdf]

                             n                                                               n
                                                      ursprüngliche Daten y`
                             y                                                               y`
   Neue Daten y


                             x                                                               x`
                             1                                                               1

                                  Festplatte                                      Snapshot

                                                      1               x   .....
                                                                          .....
                                                     .....
                                                     .....




                                                                  y               n

                                                     Sektor- Matrix
Abbildung 9: Schema eines Snapshots


Snapshots eignen sich besonders zur Datensicherung. Durch sie lässt sich ein Backup einer
Festplatte ohne merkliche Performanzeinbußen und innerhalb eines sehr kurzen Zeitfensters
realisieren. Die Anwendung muss für eine kurze Zeit (ca. 10s pro 500 GB) in den Backup-
Mode geschaltet werden um den Snapshot zu erstellen. Danach kann der Snapshot ohne
Zeitnot gesichert werden. [storitback_backpdf]
Beispiel: Alle Sektoren die in der Matrix nicht vermerkt sind, werden von der
ursprünglichen Festplatte gelesen. Diejenigen Sektoren die markiert sind, ließt der Backup-
Agent vom Snapshot.

Clone
Ein Clone ist ein 1:1 Abbild eines Datensatzes zu einem definierten Zeitpunkt. Dazu wird
der Datensatz auf einen freien Speicherbereich kopiert.
Clone benötigen zwar mehr Zeit um auf einer Festplatte erstellt zu werden, beschleunigen
dann aber durch die hohe Transferleistung der Festplatten das Recovery merklich



                                                                                                  18
Kapitel 3. Speichernetzwerk – Storage Area Network



3.2.8 Backup und Recovery

Backup und Recovery
Die SAN-Struktur erlaubt es durch den Einsatz von Snapshots und Clonen von den
herkömmlichen Backupmethoden abzurücken.
Dabei gibt es mittlerweile verschiedene Ansätze:

    -  Backup von Snapshots
       Im laufendem Betrieb erstellt man einen Snapshot von den zu sichernden Daten.
       Von dort kann man sie nun ohne Zeitnot auf Tape sichern.
    - Backup from Disk to Disk to Tape
       Die zu sichernden Daten werden von den teuren und schnellen Fibre Channel-
       Platten auf preiswertere und langsamere SATA4-Platten gesichert (Clone). Das
       bringt besonders beim Recovery Geschwindigkeitsvorteile, denn die Daten stehen
       sofort produktiv zur Verfügung. SATA-Platten sind aber nicht für den 24/7
       Dauerbetrieb ausgelegt, so dass zur dauerhaften Sicherung und auch um die
       Sicherungsdaten räumlich zu trennen, die Daten von den SATA-Platten ohne
       Zeitnot auf Tapes gesichert werden sollten.
    - Tapeless Backup
       Hier wird derselbe Ansatz gefahren wie bei dem vorher beschriebenen Disk to Tape
       Backup, nur das hier auf die Archivierung auf Tapes verzichtet wird. In kleinen
       Unternehmen mag das evtl. noch ausreichen, bei größeren Systemen ist dies aber
       nicht zu empfehlen.
    - Serverless Backup
       Es gibt keinen dedizierten Backup-Server mehr. Die Backup-Clients verfügen über
       eine so hohe „Intelligenz“, dass sie autark den Serverdienst mit übernehmen. Dabei
       kommt noch eine Load-Balancing Funktion zum Einsatz, so dass immer nur
       derjenige Server Daten sichert, der am wenigsten ausgelastet ist.
    - LANless Backup
       Wenn alle Devices (Server, Tapelibary) am SAN angeschlossen sind, kann bei
       einem Backup auf die Kommunikation übers LAN verzichtete werden.
[stormag_backup]

Geschwindigkeitsvorteil von Tapes im SAN
Der Magnetkopf eines Tapedrive ist theoretisch in der Lage 28 MByte/sec (Faktor 1: 2
komprimiert) auf ein Medium zu schreiben. Wird das Tape an einen Server über Ultra-
SCSI5 angeschlossen erreicht es aber selten mehr als 3 bis 5 MByte/sec. Schließt man so ein
Tape direkt am SAN über Fibre Channel an, so kann es Werte um 20 MByte/sec erreichen.
[san_S.143]




4
        SATA: Serial Advanced Technology Attachment; Festplattenbus , siehe Kapitel 4.3
5
        Ultra-SCSI: Ultra-Small Computer System Interface; Festplattenbus, siehe Kapitel 4.2



                                                                                               19
Kapitel 3. Speichernetzwerk – Storage Area Network



3.2.9 Boot from SAN

Da ein Server im SAN komplett festplattenlos ist, liegt auch sein Betriebssystem mit dem
Bootblock auf dem Storagedevice.
Trotz des Vorteils, dass das SAN gegenüber den meisten internen Server-Subsystemen
redundant ausgelegt ist, stößt Boot from SAN bei vielen Administratoren auf Ablehnung.
Darum findet man auch sehr oft SANs, in denen die Server ihr Betriebssystem auf internen
Platten speichern und nur die zu verarbeitenden Daten auf dem Storagedevice ablegen.



3.2.10 Server- Konsolidierung

In der Regel sind in einer Serverumgebung nie alle Server ausgelastet, so dass es sich
anbietet mit entsprechender Software mehrere Server zu virtualisieren und auf einem
Hostsystem laufen zu lassen. Das hat neben der Einsparung von physikalischen Maschinen
den zusätzlichen Effekt, dass man die Server komplett von der Hardware trennt. Dadurch
können bei Hardwareproblemen die virtuellen Server rasch auf einen anderen, redundanten
Host ausweichen.
In einem SAN wird zusätzlich der Storage vom Server getrennt, so dass die Virtualisierung
erhebliche Sicherheitsvorteile bietet.



3.2.11 Entfernung zwischen Servern und Storage

Die maximale Entfernung zwischen zwei Geräten in einem SAN hängt stark vom
Verbindungsmedium und der Transfergeschwindigkeit ab. Ohne weiteren technischen
Aufwand sind Strecken von bis zu 10 km möglich. (siehe Kapitel 4.4.2). [storitback_san]



3.3 SAN Komponenten

Hier soll ein kurzer Überblick über die einzelnen Komponenten gegeben werden, die
notwendig sind, um SAN zu betreiben.


    -    Switche / Directoren
         Switche und Directoren bilden die kommunikative Basis des SANs. An ihnen
         werden alle Teilnehmer angeschlossen. Durch ihre eingebaute Intelligenz sorgen sie
         für eine schnelle, reibungslose Kommunikation unter den Teilnehmern.
         Directoren haben die selbe Aufgabe wie ein Switch, sie sind nur auf größere
         Umgebungen ausgerichtet. Sie besitzen eine höhere Portanzahl, sind komplett
         redundant und verfügen über eine noch höhere Intelligenz für das Paketrouting
         innerhalb eines großen SANs als Switche.




                                                                                              20
Kapitel 3. Speichernetzwerk – Storage Area Network



    -    Router
         Anders als im Netzwerkbereich übersetzten Router innerhalb eines SANs zwischen
         zwei Speicherprotokollen, z.B. Fibre Channel auf iSCSI. [san_S.157]
    -    Gateways
         Gateways dienen als Verbindung in ein öffentliches Netz (WAN). Zwei SANs
         können damit durch ein WAN gekoppelt werden. [san_S.157]
    -    Bridges
         Bridges bilden die Schnittstelle zwischen zwei Protokollen. In einem SAN
         übersetzten sie üblicherweise Fibre Channel in LAN-Protokolle. [san_S.158]
    -    Host Bus Adapter (HBA)
         HBAs sind in einem Slot des Servers oder Storage montiert. Sie sind das Bindeglied
         zum SAN. Dabei gibt es gerade bei den Lichtwellenleitern unterschiedlichste
         Stecker die bei der Verkabelung beachtet werden müssen.
         Ein Server sieht den HBA als SCSI-Controller mit angeschlossenen Festplatten. Die
         ganze SAN-Struktur ist für ihn transparent. [san_S.155]
    -    Storage Devices
         Storage Devices stellen zentrale Speicherkapazitäten für die Server zur Verfügung.
         Eine ausführliche Betrachtung folgt im Kapitel 8. Herstellervergleich. [san_S.155]



3.4 SAN Preisgefüge

Obwohl es schwer ist von den Herstellern im Vorfeld genaue Preise zu erlangen, kann man
die grobe Faustregel aufstellen, dass sich die Anschaffungskosten eines SAN im Midrange-
Bereich in ca. drei gleich große Teile aufteilen lassen:

    1. Infrastruktur
       Darin sind enthalten: SAN-Switche, HBAs, Kabel, etc.
    2. Storagedevice
       Darin sind enthalten: Redundanter Controller und Festplatten
    3. Software
       Werksseitig statten die Hersteller ihre Storagedevices leider immer nur mit einer
       rudimentären Managementsoftware aus. Benötigt man noch Zusatzfunktionen wie
       Snapshots oder SRM, so muss man sie teuer dazu kaufen.

Besonders bei den Storagedevices sind große Preisunterschiede möglich, denn dort hängt
der Preis einzig und allein davon ab, was für Rabatte der jeweilige Hersteller dem Kunden
einräumt. Die Höhe des Rabats kann durch viele Gründe beeinflusst werden:
Der Hersteller will einen neuen Kunden gewinnen oder evtl. sogar abwerben, oder sein
Quartalsziel erreichen.

Fakt ist außerdem, dass man bei einer SAN-Neuanschaffung die besten Paketpreise
bekommt. Es kann sich durchaus lohnen, ein Feature, das aktuell noch nicht benötigt wird
direkt mit zu bestellen, denn ist man erst einmal Kunde, muss man die späteren
Preisvorgaben des Herstellers bedingungslos akzeptieren.



                                                                                              21
Kapitel 4. Technologiebeschreibung




4. Technologiebeschreibung

Will man den vollen Funktionsumfang eines SANs verstehen und möchte man bei
Problemen eine Fehlersuche selber durchführen, ist es wichtig die Komponenten mit den
jeweiligen Technologien, auf denen ein SAN basiert, zu begreifen. Um dies zu erreichen
wird in diesem Kapitel auf die Techniken eines Speichersubsystems näher eingegangen.

Begonnen wird dabei auf der untersten Ebene, der Festplatte. Im Anschluss daran werden
Verbindungstypen vorgestellt mit denen Festplatten angeschlossen werden (SCSI, SATA
und Fibre Channel). Um Festplatten zu verwalten und eine gewisse Fehlertoleranz zu bieten
kommen RAID-Systeme zum Einsatz. Auf diese Hardwarekomponenten setzt dann das
Dateisystem auf.

Gesondert davon, werden noch Technologien vorgestellt, die den Transport von
Festplattenbussignalen über ein IP-Netz ermöglichen. Begonnen wird dabei mit iSCSI. Da
iSCSI im Midrange-Bereich Fibre Channel den Rang ablaufen soll, werden diese beiden
Technologien mit einander verglichen. Zu guter Letzt werden FCIP und iFCP vorgestellt,
die beiden Protokolle ermöglichen das Übertragen von Fibre Channel-Kommandos über ein
IP-Netz.



4.1 Datenträgerstrukturen

Ein Datenträger, hier eine Festplatte, besteht aus einer oder mehreren Magnetscheiben auf
der man an sich noch nichts speichern kann. Um dies zu ermöglichen, wird der Datenträger
Hard- und Softwareseitig strukturiert:

Sektoren und Cluster
Ein Sektor ist die Basiseinheit einer Festplatte, in der Regel 512 Byte groß.
Logisch gruppierte Sektoren bilden einen Cluster.

Partition und Datenträger
Logische Unterteilung eines Datenträgers in die ein Dateisystem installiert wird.

Boot-Sektor
Erster Sektor einer Festplatte der Infos über das Dateisystem und den Bootstrap-Code (zum
laden des Dateisystems) enthält.

BIOS-Parameterblock (BPB)
Ein Teil des Boot-Sektors, der spezifische Dateisysteminformationen enthält.

Dateizuordnungstabelle FAT (File Allocation Table)
Tabelle für diejenigen Cluster, die Dateien enthalten.
FAT16 = 16Bit, FAT32 = 32Bit



                                                                                            22
Kapitel 4. Technologiebeschreibung



Masterdateitabelle MFT (Master File Table)
Objektorientierte Datenbank die vom New Technologie File System (NTFS) verwendet
wird, mit ihr werden Dateien und Verzeichnisse verwaltet. (siehe auch unten)

Verzeichnisse
Index für Dateinamen, der dazu dient, das Dateisystem hierarchisch zu strukturien.

[w2k S.849]



4.2 SCSI – Small Computer System Interface

Der SCSI-Standard ist ein paralleler Bus mit 8- oder 16 Bit-Busbreite. Er stellt eine
Schnittstelle mit hohen Übertragungsraten für Computer Peripherie, wie z.B.: Festplatten,
CD- und DVD-ROM, Scanner, etc., zur Verfügung. Das Protokoll, das SCSI zugrunde liegt,
wird auch für Fibre Channel, Firewire und ATAPI verwendet. [ekomp_scsi] [inbus_scsi]

SCSI wurde 1986 von ANSI standardisiert und wird ständig weiter entwickelt.
Bei professionellen Storagelösungen kommen praktisch nur SCSI-Festplatten zum Einsatz.
Sie sind schnell und besonders langlebig und daher erste Wahl in Servern, RAID-
Verbunden und SANs.

Initiatoren und Targets
Man unterscheidet bei SCSI zwischen zwei Typen von Geräten, den Initiatoren und den
Targets. Eine Datenübertragung geht immer von einem Initiator aus. Deshalb bildet in
einem Server der SCSI-Controller den Initiator ab, denn er beginnt eine Transaktion.
Festplatten stellen intern die Targets da. Sie teilen ihren Speicherplatz in Logical Units
(LUN) auf. [tecc_scsi]

Eigenschaften:
   - Da es sich um einen Bus handelt, müssen beide Enden terminiert werden. (aktiv
       oder passiv)
   - Das Protokoll teilt alle Geräte in Klassen ein, für jede Klasse gibt es
       unterschiedliche Befehlsgruppen.
   - Da es keinen Adressbus gibt, muss jeder Teilnehmer direkt angesprochen werden,
       so    dass      jeder    Teilnehmer     eine      feste ID   bekommen        muss.
       Der Controller hat standardmäßig die ID 7.
   - Jeder Teilnehmer darf so schnell Daten übertragen wie er kann. Der limitierende
       Faktor ist die Transferleistung des Busses. (s.u.)
   - Tagged Command Queueing:
       Der Festplattencontroller puffert Lese-und Schreibzugriffe und sortiert sie so um,
       dass die Wege des Lese/ Schreibkopfes optimiert werden und die Zugriffszeiten
       sich verbessern. (siehe Kapitel 4.3 SATA, Geschwindigkeit)
   - Übertragungsarten:
       asynchron



                                                                                             23
Kapitel 4. Technologiebeschreibung



      Anstelle eines Bustaktes kommen bei der asynchronen Übertragung Start- und
      Stop- Bits zum Einsatz
       synchron
      arbeitet mit Bustakt und Handshake, bietet bessere Signalqualität als asynchron.
   - Betriebssarten des Busses:
      SE-Single Ended
      Bis Ultra-SCSI im Einsatz, ab 40 MByte/sec zu störanfällig.
      LVD – Low Voltage Differential
      Ab Ultra-2-SCSI wurde die Höhe des Signalpegels gesenkt und dadurch das
      Rauschen gemindert, so dass höhere Kabellängen erzielt werden können
      HVD – High Voltage Differential
      Altes Verfahren mit hohem Signalpegel. Wurde durch LVD ersetzt.
   - Hot Plug In:
      Bietet die Möglichkeit Festplatten in einem RAID-Verbund im laufendem Betrieb
      wechseln zu können. Muss aber vom Controller und den Platten unterstützt werden.
   - Insgesamt sind 15 Geräte ansprechbar, die aber noch einmal in bis zu 256
      Untergeräten unterteilt sein dürfen, so genannte LUNs (Logical Unit Number).
[ekomp_scsi][inbus_scsi]

Übersicht der SCSI-Arten:
       SCSI-Typ                 Datenrate     Busbreite   max. Buslänge   Kabel     Geräte

         SCSI-1                5 MByte/sec           8        6m          50polig     8

  SCSI-2, Fast SCSI           10 MByte/sec           8        3m          50polig     8

 SCSI-2, Wide SCSI            20 MByte/sec           16       3m          50polig    16

 SCSI-3, Ultra SCSI           20 MByte/sec           8        3m          68polig    4/8

       SCSI-3,
                              40 MByte/sec           16       3m          68polig    5-8
   Ultra Wide SCSI

     Ultra-2 SCSI             80 MByte/sec           8        12 m        68polig     8

    Ultra-3 SCSI,                 160
                                                     16       12 m        68polig    16
    Ultra-160 SCSI              MByte/sec

        Ultra-320              320 Mbyte.            16       12 m        68polig    16

Tabelle 1: Übersicht SCSI [wiki_scsi] [ekomp_scsi]




                                                                                             24
Kapitel 4. Technologiebeschreibung




4.3 SATA – Serial Advanced Technology Attachment

Serial ATA ist ein serieller Bus, der eine Schnittstelle mit hohen Übertragungsraten für
Computer Peripherie zur Verfügung stellt. Aktuell wird es hauptsächlich verwendet um
Festplatten mit dem Prozessor (CPU) zu verbinden.
SATA wurde aus dem parallelen ATA6, “oder“ auch IDE7, weiter entwickelt und überträgt
Daten nun nicht mehr in 16-Bit Worten sondern seriell, Bit für Bit. Durch die
Weiterentwicklung besitzt SATA drei Vorteile, die die Festplatten auch für
Storagelösungen interessant machen:

         - Geschwindigkeit
           Aktuell wird SATA II schon mit 300 MB/sec betrieben und der Standard für
           600 MB/sec ist beschlossen. Außerdem wurde „Native Command Queuing“
           integriert. Ähnlich wie bei SCSIs „Tagged Command Queuing“ (s.o.), werden
           Festplattenkommandos vom Controller zwischen gespeichert und so umsortiert,
           dass der Weg des Schreib/ Lesekopfes optimiert wird und so eine bessere
           Zugriffszeit zustande kommt.
       - Verkabelung
           Bei der parallelen Übertragung ist das Kabel, um Laufzeitunterschiede zu
           vermeiden, recht kurz. Bei SATA hingegen kann das Kabel mehrere Meter lang
           sein. Hinzu kommt, dass das 7-adrige serielle Kabel, im Gegensatz zum 80-
           adrigen parallelen Kabel, einfacher zu verlegen ist und die Belüftung des
           Gehäuses erleichtert.
       - Hot Plug In
           SATA-Festplatten können in Verbindung mit einem unterstützendem
           Betriebssystem (BS) im laufenden Betrieb des Busses getrennt werden. Das ist
           besonders in Server-RAIDs ein wichtiges Feature.
[wiki_sata] [ekomp_sata]

Einsatzgebiet
Früher waren IDE-Festplatten langsam und nur für den Einsatz in PCs konzipiert.
Heute hat sich das Einsatzgebiet gewandelt. Zwar reichen SATA-Platten bei der
mechanischen Belastung immer noch nicht an SCSI-Platten heran und darum wird
weiterhin davon abgeraten auf ihnen wichtige, produktive Daten dauerhaft zu speichern.
Aber durch die oben genannten Änderungen kommen sie heute vermehrt in hierarchischen
Speicherlösungen für Snapshots und für „Backup to Disk to Disk to Tape“ zum Einsatz.




6
       ATA: Advanced Technology Attachment
7
       IDE: Integrated Drive Electronics



                                                                                           25
Kapitel 4. Technologiebeschreibung




4.4 Fibre Channel (FC)

Fibre Channel ist eine eigenständige Netzwerktechnik und wurde ausschließlich für
schnelle Datenübertragungen entwickelt. Dabei bietet es die Möglichkeit verschiedene
Protokolle (SCSI, ESCON8, SNMP9, etc) zu übertragen.
Hauptsächlich wird FC zum Transport von SCSI 3-Paketen eingesetzt. Da es auch
Festplatten mit FC-Anschlüssen gibt, wird es auch als direkte Verbindungsmöglichkeit
zwischen CPU und Peripherie angesehen. Dabei überträgt es in diesem Fall „nur“ SCSI-
Signale.

Genau genommen ist FC eine Mischung aus Bus und Netzwerk und vereinigt die Vorzüge
beider Technologien miteinander. FC kommt, wie bei Bussen üblich, mit wenig Overhead
aus und bietet eine schnelle, serielle Verbindung zwischen den Teilnehmern. Aus der
Netzwerktechnik wurde die große Anzahl von verwaltbaren Endgeräten und die hohe
Flexibilität übernommen. [ordix]

Wenn eine hoch performante Datenkommunikation zwischen CPU und Peripherie gefordert
ist, wie z.B. in Storage Area Networks, wird heute Fibre Channel eingesetzt. Es ist die
einzige Verbindungstechnologie die eine garantierte, hohe Bandbreite liefert und an der
man eine Vielzahl von Geräten betreiben kann. [apple_fc]

Mit der Entwicklung von Fibre Channel wurde im Jahr 1988 begonnen. 1994 wurde FC
dann durch ANSI standardisiert und verfügt heute über eine hohe „Marktreife“. [san]



4.4.1 Fibre Channel Topology

Fibre Channel stellt drei Modele zur Verfügung um Geräte mit einander zu verbinden.

4.4.1.1 Point to Point

„Point to Point“ ist ein einfaches Verfahren um nur zwei Teilnehmer miteinander zu
verbinden. Durch zwei unidirektionale Leitungen wird ein bidirektionaler Link hergestellt.
Dabei steht für beide Richtungen die volle Bandbreite von maximal 4 GByte/sec zur
Verfügung,. Typischerweise wird es eingesetzt um einzelne Server am Storage
anzuschließen.




8
       ESCON: Datenübertragungsprotokoll mit dem vorzugsweise Datenspiegelungen von Festplatten
       innerhalb lokaler Rechner durch geführt werden. [wiki_escon]
9
       SNMP: Simple Network Messaging Protocol



                                                                                                  26
Kapitel 4. Technologiebeschreibung




                        Server
                                                                        Storage

                     Abbildung 10: Aufbau einer Point to Point Verbindung


4.4.1.2 Arbitrated Loop (FC-AL)

Fibre Channel Arbitrated Loop ist eine unidirektionale, schleifenartige Verbindung von bis
zu 127 Teilnehmern.
Will ein Initiator, in der Regel ein Server, Daten in die Loop senden, so muss er ein
Auswahlverfahren, die so genannte Arbitrierung, gewinnen. Ausgehend von dem Initiator,
werden die Daten so lange von Teilnehmer zu Teilnehmer geschickt, bis der Empfänger,
Receiver, erreicht worden ist. Nach dem Erhalt der Daten bringt der Receiver eine
Bestätigung für den Sender in die Schleife. [san S.37]




                       Server A
                                                                        Storage




                       Server B                                   Server C

                     Abbildung 11: Aufbau eines Arbitrated Loop


Zur Datenübertragung stellt FC-AL den beiden kommunizierenden Partnern für die Dauer
der Korrespondenz die maximale Bandbreite von 4 GByte/sec zur Verfügung. Im Schnitt
müssen sich aber alle Teilnehmer der Loop die Bandbreite teilen, so dass bei einer hohen
Anzahl von Geräten der effektive Durchsatz sinkt. Bedingt durch dieses Handicap ist es
nicht ratsam viele Devices in einer Loop zu betreiben, statt dessen sollte ein Switch-Fabric
eingesetzt werden. [san S.38]

Ein großer Nachteil der Loop ist, dass sie komplett ausfällt, wenn sie an einer Stelle
unterbrochen wird.

Eine genauere Beschreibung von Fibre Channel Arbitrated Loop folgt im Abschnitt: 4.4.3.



                                                                                               27
Kapitel 4. Technologiebeschreibung



4.4.1.3 Fabric

Fibre Channel Fabrics basieren auf mindestens einem zentralen Switch an dem alle
Teilnehmer eines SAN angeschlossen werden. Ein Switch ist eine aktive
Netzwerkkomponente und routed die Datenpakete in Echtzeit zwischen Sender und
Empfänger.
Wird ein Teilnehmer an einem Switch angeschlossen, so baut sich zwischen den beiden
eine Point to Point-Verbindung (s.o.) auf und beide können untereinander mit voller
Bandbreite kommunizieren. [san S.39]
Die großen Vorteile von Fabrics sind, dass die Übertragungsraten unter den Teilnehmern
nicht aufgeteilt werden und das die Möglichkeit besteht, sehr viele Teilnehmer mit einander
zu verbinden. Bei einer großen Anzahl von Teilnehmern im Fabric ist es möglich, mehrere
Switches hintereinander zu schalten (kaskadieren) oder sie über spezielle Ports zu verbinden
und dadurch aus mehreren Switchen auf der logischen Ebene ein Großes zu erstellen.

Ein Switch ließt bei einem erhaltenen Frame nur die Absender- und Zieladresse aus, ohne
aber den Inhalt des Frames zu interpretieren. Das hat Geschwindigkeitsvorteile und
ermöglicht einen universellen Einsatz. [san S.39]

                     Server           Server                                               Server   Server




                                               A   B   C    D   E   F   G   H
                                                                                     T
                                                                                SELEC ED
                                                                                  -
                                                                                ON LINE




                                                                        Switch



                                                                                                    ==




                                                           Storage

                   Abbildung 12: Aufbau eines Fabrics mit nur einem Switch
Aus Gründen der Übersichtlichkeit stellt eine Anschlussleitung zwei physikalisch getrennte
Leitungen da.

Innerhalb eines SAN unterscheidet man zwischen zwei Übertragungsarten:

    1. Verbindungslose Übertragung
       Aktuell wird von fast allen Host Bus Adaptern nur die verbindungslose Übertragung
       unterstützt, so dass sie in der Praxis wesentlich häufiger anzutreffen ist.



                                                                                                             28
Kapitel 4. Technologiebeschreibung



       Hierbei werden keine Bandbreiten reserviert und auch keine Routen festgelegt. Die
       Wahl des Weges durch das Fabric wird von der Netzintelligenz der Switches
       geregelt.
       Die Übertragungsgeschwindigkeiten des Fabric hängt von den Fähigkeiten der
       Switch-Backplanes ab. Ihre Datendurchsätze muss ausreichen, um die Summe aller
       Übertragungen        der   einzelnen      Ports  abzudecken      (Non-Blocking).
       Herrscht im SAN nicht viel Traffic, wird den Datenpaketen eine hohe Bandbreite
       zugewiesen        und    bei     vermehrten     Datenaufkommen       wird     die
       Übertragungsgeschwindigkeit aufgeteilt. Das hat zur Folge, dass das Fabric immer
       sehr effektiv genutzt wird. Bei hohem Datenaufkommen werden aber alle
       Verbindung gleich behandelt, so dass Anwendungen mit einer hohen Priorisierung
       durch weniger hoch priorisierte ausgebremst werden können. [san 43]
    2. Verbindungsorientierte Übertragung
       Hierbei wird einer Verbindung zwischen einem Server und Switch oder zwischen
       zwei Servern ein fest vorgeschriebener Weg mit einer garantierten Bandbreite zu
       gewiesen. Dazu gibt es nochmals zwei Möglichkeiten:
       Connection
       Hierbei werden alle Ressourcen einer logischen Verbindung zur Verfügung gestellt.
       Man nennt es auch eine „dedizierte Verbindung“. Zwei Ports kommunizieren mit
       voller Bandbreite untereinander. [san S.40]
       Circuit
       Da viele Applikationen die volle Bandbreite von bis zu 400 MByte/sec gar nicht
       ausnutzen können, weißt man ihnen im Vorfeld nur einen Teil der Bandbreiten zu.
       Die verbleibenden Anteile können dann noch von anderen Applikationen genutzt
       werden. Deshalb spricht man auch von einer „virtuellen Verbindung“ (virtual
       circuit). [san S.41]

In der Praxis ist es allerdings noch nicht möglich auf den Typ der Verbindung Einfluss zu
nehmen, da dafür die Geräte die Service Klasse 1 unterstützen müssten. (siehe FC-2: Class
of Service) Zum heutigen Zeitpunkt wird das aber noch von keinem „Open System“
Hersteller unterstützt. [san S.43]

Redundanz
In einem Fabric lässt sich recht leicht der Single Point of Failure (SPOF) eliminieren indem
man die Switche und die Adapter in den Servern doppelt auslegt.




                                                                                               29
Kapitel 4. Technologiebeschreibung




4.4.2 Fibre Channel Physical and Signaling Interface

Das “Fibre Channel Physical and Signaling Interface“ wird im allgemeinen auch nur als
Fibre Channel Protokoll (FCP) bezeichnet. Es beschreibt, wie SCSI-Befehlssätze auf Fibre
Channel angewendet werden. [itwissen_fc]

Die wesentlichen Funktionen in einem SAN sind auf dem Fibre Channel Protokoll
begründet. In ihm sind die physikalischen Schnittstellen und die einzelne Schichten des
Protokolls definiert. FCP ist ähnlich dem OSI-Model aufgebaut, es besteht aus 5 Schichten:
FC 0 bis FC 4. [san S.51] [sib_fc]

                                          FC-4 Protokoll Mapping
                                          FC-3 Common Services
                                     FC-2 Management und Info-Struktur
                                           FC-1 Codierungung
                                         FC-0 Physikalische Schicht
                                Abbildung 13: FC Protokoll Stack


Fibre Channel legte mit seinem ersten Standard die Übertragungsgeschwindigkeit auf 100
MByte/sec Nutzdaten (tatsächlich übertragen: 1065 Mbit/sec, siehe unten) fest. Mittlerweile
gibt es Erweiterungen für das Protokoll, in denen die Übertragungsgeschwindigkeiten auf
200 MByte/sec bzw. 400 MByte/sec definiert werden. Flächendeckend sind heute Devices
mit 200 MByte/sec Standard. [san S.36]
Host Bus Adapter mit 400 MByte/sec gibt es schon länger am Markt, aber die ersten
Speichersubsysteme und Festplatten, die auch 400 MByte/sec übertragen können, wurden
jetzt erstmals zur CeBit 2005 vorgestellt.

4.4.2.1 FC-0 Physikalische Schicht

Fibre Channel „Level 0“ (FC-0) ist die unterste Schicht des FC-Protokolls. Hier werden
Schnittstellen, Übertragungsmedien und Verbindungstypen definiert.

FC-0: Schnittstellen

Knoten und Ports
 „In der Fibre Channel-Terminologie wird ein kommunizierendes Gerät, also
z. B. die PCI-Karte (HBA) in einem Server, als Knoten bezeichnet. Ein Knoten hat
mindestens einen, kann aber auch durchaus mehrere Ports besitzen.“ [san S.54]

Port Liste
Innerhalb eines Fibre Channels findet Kommunikation immer über Ports statt.



                                                                                              30
Kapitel 4. Technologiebeschreibung



Dabei sind aber Ports nicht gleich Ports. Je nach Aufgaben gibt es verschiedene Port-Typen.
Die Tabelle bildet die definierten Port-Typen ab.


     Port-Typ                                      Funktion
                     Bridge_Port ist ein Port, welcher eine Schnittstelle zwischen einem
       B_Port        Fibre Channel „Switched Fabric“ und einem „Nicht-Fibre-Channel-
                     Netzwerk“ (LAN, MAN oder WAN) herstellen.
                     Expansion_Port ist der Port eines Switches, an dem ein anderer Switch
       E_Port
                     angeschlossen wird.
                     Fabric_Port ist der Port eines Switches, an dem ein Knoten via Point to
       F_Port
                     Point-Topologie angeschlossen wird.
                     Fabric_Loop_Port ist der Port eines Switches, an dem ein Knoten via
      FL_Port
                     Fibre Channel Arbitrated Loop-Topologie angeschlossen wird.
                     Generic_Port ist der Port eines Switches, der entweder als Node_Port
       G_Port
                     oder als Expansion_Port genutzt werden kann.
                     Node_Port ist ein Port, an dem ein anderer Knoten via Point to Point-
       N_Port
                     Topologie angeschlossen wird.
                     Node_Loop_Port ist der Port eines Knotens in einer Fibre Channel
      NL_Port
                     Arbitrated Loop.
                     Translation_Port ist ein Port, der eine Kommunikation zwischen einer
      TL_Port
                     Private Loop und einem Switch ermöglicht.
                     Universal_Port ist ein Port, an dem alle anderen Port-Typen
       U_Port
                     angeschlossen werden können.
  Tabelle 2: FC-Portliste; [san S.55]


Für die Skalierbarkeit eines FC-SANs spielen die E_Ports die wichtigste Rolle.
Von ihnen ist es abhängig, wie viele Switche in der Zukunft noch angeschlossen werden
können. Bei der Planung ist auf sie besonders zu achten, denn zwischen Switches
verschiedener Hersteller bestehen immer noch Kompatibilitätsprobleme. [sguide_fcs]

Namen (WWN)
Jeder Knoten hat einen fest zugewiesenen, 64 Bit langen, auf der Welt einzigartigen Namen
(vergleichbar mit MAC-Adresse). Dieser Name kann vom Anwender/ Administrator nicht
verändert werden. Daher stammt auch die Bezeichnung „World Wide Name (WWN)“. Wie
der Knoten, so besitzt auch jeder Port seinen einmaligen 64 Bit langen Namen, den „World
Wide Port Name (WWPN)”.

Adressen
Der 64 Bit Schlüssel des Ports auf einem Knoten wird nicht zur Adressierung genutzt, denn
sie würde den Header eines FC-Pakets unnötig aufblähen. Für das Framerouting wurde
extra eine 24 Bit Adresse für Hochgeschwindigkeitsnetze optimiert, die so genannte
„N_Port-ID“. Anhand dieser Port-Adresse können 16 Millionen Geräte innerhalb eines
SANs adressiert werde.



                                                                                               31
Kapitel 4. Technologiebeschreibung



Jedes Gerät, das in einem Fabric an einem Switch angeschlossen wird, logged sich an
diesem ein, führt einen „FLOGI (Fabric Login)“ durch und erhält dann vom Switch
dynamisch, die einzigartige 24 Bit Port-Adresse. Für die Adressenvergabe in einem Fabric
ist immer ein Switch verantwortlich. Es unterhält eine Matrix in die alle vergebenen 24 Bit
Schlüssel der angeschlossenen Geräte verzeichnet sind. Durch den so genannten „Simple
Name Server (SNS)“ wird außerdem für die Korrelation zwischen der Port-ID und dem
WWN gesorgt. [san S.56]

Die automatische Adressvergabe bringt zwei Vorteile mit sich:
    1. Eine fehlerträchtige Adressvergabe durch den Menschen wird vermieden.
    2. Es wird eine große Flexibilität beim Hinzufügen, Entfernen oder Auswechseln von
        Komponenten im SAN erreicht.
[san S.55]

Die 24 Bit lange Port-Adresse setzt sich aus drei 8 Bit großen Blöcken zusammen: Domain,
Area und Port

                                       24- Bit- Port- Adresse
              Bits 23- 16                    Bits 15- 08            Bits 07- 00
               Domain                           Area                   Port
  Tabelle 3: Aufbau von Port-Adresse [san]


Domain:
In diesem Bereich stehen die Adressen der Switche. Da einige Adressen reserviert sind,
stehen nur 239 zur Verfügung, so dass auch nur max. 239 Switche in einem SAN adressiert
werden können.

Area:
Hier werden die F- bzw. FL_Ports adressiert die an einem Switch angeschlossen sind,
insgesamt 256.

Port:
Die angeschlossenen N- bzw. NL_Ports werden hier adressiert.

„Der Vorteil dieser Adress-Aufteilung liegt in der höheren Performance begründet, die ein
Switch auf diese Weise beim Framerouting realisieren kann. Enthält der Header eines
Frames eine Domain-Adresse, kann es sich dabei nur um ein anderes, im SAN befindliches,
Switch handeln. Die Simple Name Server-Funktion des Switches kennt den Port (oder die
Ports, sofern mehrere Pfade angeschlossen sind), über den dieser Switch erreicht werden
kann, und routed den Frame an einen passenden Port weiter, ohne die komplette 24 Bit-
Adresse ausgelesen haben zu müssen. Sind mehrere Switches in einem SAN vorhanden,
wird die komplette Adresse erst von dem Switch gelesen, an dem der Empfänger
abgeschlossen ist.“ [san S.57]




                                                                                              32
Kapitel 4. Technologiebeschreibung



FC-0: Übertragungsmedien
FC kann sowohl mit Kupfer- als auch mit Glasfaserkabeln betrieben werden. Obwohl
Glasfaserkabel (LWL - Lichtwellenleiter) wesentlich teurer sind und dabei nicht so
widerstandsfähig gegen mechanische Einflüsse sind, wird der Großteil der angeschlossenen
Geräte nur optisch verbunden.
Der größte Vorteil von Glasfaser ist die höhere Reichweite von bis zu 10 km gegenüber 30
m bei Verbindung über Kupferkabel, was nur gering über der SCSI- Reichweite (25 m)
liegt.
Zur Datenübertragung nutzt FC entweder ein Kupferkabel mit zwei Adernpaaren oder zwei
Glasfaser-Adern. Dadurch erreicht es Fullduplex. [ordix]

FC-0: Verbindungstypen
Der Großteil der FC-Kommunikation wird über optische Medien übertragen. Dabei wird
zwischen zwei Verbindungstypen unterschieden: Singlemode und Multimode.

Allgemein besteht ein Glasfaserkabel im wesentlichen aus zwei Schichten, dem Core
(Kern) und der Claddingschicht. Beide bestehen aus Quarzglas (SiO2), wobei durch den
Core das Licht (Informationen) gesendet wird. Das Cladding hat die Aufgabe das Licht im
Core zu halten. [san S.60]

Multimode
Bei Multimode kommt Glasfaserkabel mit einem Durchmesser von 50 mm oder 62,5 mm
und einem Laser mit 780 nm Wellenlänge zum Einsatz. Dabei ist die optische Brechzahl (n)
des Cores (nc) größer als die des Mantels/ Claddings (nm). Da hier nc > nm ist, wird das Licht
je nach Einfallswinkel (cos) unterschiedlich an der Grenzschicht reflektiert/ gebrochen und
so kommen unterschiedliche Wege zustande auf denen sich das Licht durch das Kabel
bewegt. Ein Lichtbündel, das in das Kabel eintritt, tritt durch die vielen Reflektionen/
Brechungen als mehrere Lichtbündel aus. Das führt zu einer wesentlichen Einschränkungen
in der max. Entfernung und der Übertragungsgeschwindigkeit:

Je länger das Kabel, desto mehr Reflektionen/ Brechungen treten auf und daher ist
Multimode nicht für sehr lange Übertragungsstrecken geeignet (max. 500 m). Gleichzeitig
kann es zu Laufzeitunterschieden kommen. So kann es z. B. vorkommen, dass das zweite
Bit eines Signals das Erste überholt und es so zu Fehlinformationen innerhalb des Signals
kommen kann. Dabei spricht man von Modemdispersion. [san S60]

                                     Cladding
                                                          Core


          Signal
                                      Lichtwellenleiter

   Abbildung 14: Multimode [san]


Singlemode



                                                                                                 33
Kapitel 4. Technologiebeschreibung



Für größere Entfernungen kommt Singlemode zum Einsatz. Hier für wird ein
Glasfaserkabel mit 9 mm Coredurchmesser und ein Laser mit 1.300 nm Wellenlänge
verwendet. Durch den geringen Durchmessers des Cores breitet sich das eingespeiste
Lichtbündel praktisch nur als eine Lichtwelle aus. Da diese Welle nur parallel zur Achse
des Cores läuft, können keine Reflektionen entstehen. [san S.61]

                                          Cladding
                                                                   Core


          Signal
                                     Lichtwellenleiter

 Abbildung 15: Singlemode [san]


Übertragungsraten
Auf den ersten Blick sind die Übertragungsraten von Fibre Channel etwas verwirrend. Da
werden gerne 100 MByte/sec mit 1 Gbit/sec gleich gesetzt.
Allerdings muss man dabei beachten, dass die 100 MByte „reine“ Nutzdaten sind und das
die 1065 MBit die „tatsächlichen übertragenden“ Daten sind.
Wenn 100 MByte pro Sekunde übertragen werden, sind das 800 MBit pro Sekunde. Fibre
Channel codiert (siehe nächsten Abschnitt) aber die zu übertragenden Daten und dabei
werden aus 8 Bit, 10 Bit. Das heißt, dass aus 800 MBit Nutzdaten pro Sekunde tatsächlich
1000 MBit Übertragungsdaten werden. Dazu muss noch ein Overhead von 65 Bit gerechnet
werden und man erhält die Gesamtmenge von 1065 MBit. [san S.47]

                                                                 8b/10b
         100 MByte                    800 MBit                  Codierung             1065 MBit
           Daten                       Daten                 + 65 Bit Overhead          Daten


                   100 MByte Nutzdaten                       1065 MBit Übertragungsdaten

     Abbildung 16: Schema der Übertragungsraten


Entfernungen – Übertragungsraten
Je nach Geschwindigkeit und Übertragungsmedium variieren die Entfernungen erheblich.

                                                                          max. Geschwindigkeit
       Medium            Kern Æ            max. Entfernung
                                                                            (pro Richtung)
        Kupfer                                       47 m                        100 MBit/sec
      Glasfaser           50/ 62,5
                                                     2 km             1 GBit/sec nur bis ca. 100 m
      multimode             mm
      Glasfaser
                           9 mm                      10 km                        1 GBit/sec
     Single mode
  Tabelle 4: Entfernungstabelle [ordix]




                                                                                                     34
Kapitel 4. Technologiebeschreibung




Open Fibre Control (OFC)
Das Licht eines Class-1-Lasers mit Wellenlänge von 780 nm ist für das menschliche Auge
nicht sichtbar, aber stark genug um das Auge zu verletzten. Damit mit einem abgezogenen
Kabel das Auge nicht verletzt wird, erkennt OFC das die Verbindung zwischen den Ports
offen ist und schaltet die Laser ab. [san S.62]

4.4.2.2 FC-1 Codierungsverfahren und Ordered Sets

Fibre Channel Level 1 definiert das Übertragungs-Protokoll, die Codierung- Decodierung
und eine Fehlerkorrektur. [hsi_fco]

FC-1: 8b/10b- Umsetzung
Fibre Channel transportiert Informationen in Frames. Um diese mit besseren
Übertragungseigenschaften verarbeiten zu können, werden sie mit der von IBM
entwickelten 8b/ 10b Umsetzung codiert. Dabei werden 8 Bit-Daten in ein 10 Bit-Character
umgewandelt. Vier solcher 10 Bit großen „Transmission Characters“ werden zu einem
„Transmission Word“ zusammengefasst.

Bei der Umsetzung werden die fünf „hinteren“ Bits mit einem 5b/ 6b-Decoder codiert, um
danach die ersten 3 Bits mit einem 3b/ 4b-Decoder zu codieren und an das Ergebnis der 5b/
6b-Codierung an zuhängen.
Die Aufspaltung in zwei Schritte vereinfacht die interne Logik und erhöht die Performance.
Die Decodierung findet in umgekehrter Reihenfolge statt. [san S.66]

Beispiel: Die 8 Bits 0101 1001 werden per 8b/ 10b- Decoder verschlüsselt:


                                                             8- Bit
                                     0       1       0               1       1       0       0       1


                                          3b/4b
                                                                         5b/6b Decoder
                                         Decoder




                                 0       1       0       1       1       0       0       1       1       0



                                 1       0       0       1   1       0           0       1       0       1

                                                     10- Bit Characters

                               Abbildung 17: Schema eines 8b/ 10b Umsetzter




                                                                                                             35
Kapitel 4. Technologiebeschreibung



Auf den genauen Aufbau der beiden verwendeten Decoder soll hier nicht weiter
eingegangen werden.

Die 8b/ 10b Umsetzung stellt folgende Funktionen zur Verfügung:
    -   Es werden „Special-Transmission-Words“ generiert, oder auch „Ordered Sets“, die
        für Kontroll, Signal- und Übertragungsfunktionen genutzt werden. [san]
    -   Die 10 Bit-Charakter sind weitestgehend gleichspannungsfrei und enthalten
        genügend Taktinformationen, um die Übertragungsstationen untereinander zu
        synchronisieren. [itadmin_ab10b]
    -   Übertragungsfehler werden mit eine Sicherheit von 10-12 erkannt, d.h. ein Bit von
        einer Trillion ist falsch. Auf große Systeme umgerechnet (z.B. Banken) wird alle 16
        min ein falsches Bit übertragen. [san]
    -   Eine ausreichende Übertragungsdichte. [san]
Diese Vorteile erkauft man sich aber mit 25% Overhead.

FC-1: Running Disparity
Als Disparity bezeichnet man den Unterschied in der Anzahl der Bits in einem Character.
Diesen macht sich FC zu nutze um Übertragungsfehler zu erkennen.
Mit 8 Bits können nur 256 verschiedenen Zustände abgebildet werden. Da aber mit 10 Bits
1024 Zustände generieret werden können, ist es möglich nur die jenigen Kombinationen zu
verwenden, die folgende Strukturen und alle möglichen Kombinationen daraus aufweisen:
    -  vier Nullen und sechs Einsen (00001 11111)
    -  fünf Nullen und fünf Einsen (00000 11111)
    -  sechs Nullen und vier Einsen (00000 01111)
Jede andere Gewichtung der Bits lässt auf einen Übertragungsfehler schließen. Es wird
noch auf weitere Anomalien in den Bitfolgen reagiert, aber auf sie soll hier nicht weiter
eingegangen werden. [san S.66]
Beispiel: Kommt an einem Port ein Transmission Word mit der Bitfolge 11111 11111 an,
so weiß das Switch, dass der Frame korrupt ist.

FC-1: Ordered Sets
Alle Informationen werden bei FC in “Transmission Words“ übertragen. Ein „Word“
besteht aus vier 10 Bit großen „Transmission Characters“. Einige dieser „Words“ werden
genutzt um Kontroll- und Signalfunktionen zu übernehmen, sie werden „Ordered Sets“
genannt. Der erste Charakter eines Ordered Sets wird “K28.5” genannt und beginnt mit dem
Wert (00111 11010). Die restlichen drei Character bestimmen die Funktion des Ordered
Sets. [san] [reco_fc]
Dabei unterscheidet man 3 Typen von Sets:

    1. Frame Delimiter
       Über den „Start of Frame“ (SOF) kann der Empfänger-Port erkennen, wann ein
       Frame beginnt. Der SOF ist Vorraussetzung, dass der Empfänger Daten auch
       wirklich empfangen und verarbeiten kann. Zudem bestimmt der Delimiter welche
       „Class of Service“ mit dem Frame verbunden ist. Der „End of Frame“ (EOF) zeigt
       das Ende eines Frames an. [san S.73] [hsi_fco]



                                                                                              36
Kapitel 4. Technologiebeschreibung



    2. Primitive Signals
       Sie werden benutz um Events und Aktionen anzuzeigen. Insgesamt gibt es 16
       Primitive Signals, die beiden wichtigsten:
       Fill Words/ IDLE
       Werden ausgegeben, wenn ein Port im Leerlauf ist, also weder sendet noch
       empfängt. Fill Words ermöglichen eine Synchronisation zwischen Sender und
       Empfänger und ist nur in „Point to Point“- und „Fabric“ Topologien zu finden.
       Receiver Ready
       Zeigt an, dass der Empfänger seinen Buffer geleert hat und bereit ist, neue Frames
       zu empfangen. [san S.74] [hsi_fco]
    3. Primitive Sequences
       Zeigen den Status an und werden so lange übertragen, bis sich der angenommene
       Zustand ändert. Insgesamt gibt es 4 Primitive Sequences:
       Not Operational (NOS)
       Wird von einem Port ausgesendet, um anzuzeigen, dass er einen Link-Fehler
       entdeckt hat, bzw. der Empfänger offline ist.
       Offline (OLS)
       Der Port leitet den Offline-Zustand ein oder startet das Link-Initialisierungs-
       Protokoll oder empfängt und erkennt die NOS-Sequenz.
       Link Rest (LR)
       zeigt einen Link Rest an
       Link Reset Response (LRR)
       Wird von einem Port ausgesendet, der einen Link Rest erkannt hat.
       [san S.75] [his_fco]

4.4.2.3 FC-2 Management und Informationsstruktur

FC-2 kümmert sich um die Kontrolle und das Management der gelieferten Informationen.
Dabei kommen folgende Mechanismen zum Einsatz:
Login Session, Frame, Sequence, Exchange, Flusskontrolle und Class of Service

FC-2: Login Session
Um zwischen zwei FC-Ports Daten auszutauschen, muss zwischen selbigen als aller erstes
eine „Login Session“ durch geführt werden. Dazu werden über bestimmte Frames
Informationen, „Common Service Parameter“, über die kommunizierenden Ports
ausgetauscht.
Die Parameter hängen davon ab, ob es sich um einen Anmeldevorgang an einem Switch/
Fabric (Fabric Login, FLOGI), oder um einen Port to Port Login (Port Login, PLOGI)
handelt. Insbesondere werden hier Infos über die Höhe der garantierten „Buffer to Buffer
Credits“ und über die Arten des „Classes of Service“ ausgetauscht.

    -    Fabric Login (FLOGI)
         Schließt man einen Port das erste Mal an einem Switch an, schickt er einen FLOGI-
         Login-Frame an die dafür reservierte Standardadresse xFFFFFE. Jedes Switch
         erkennt die Frames, die an diese Adresse gesendet werden als Login und schickt



                                                                                             37
Kapitel 4. Technologiebeschreibung



         einen Accept zusammen mit einer neuen 24-Bit-Port-Adresse, auf Basis der
         Domain-, Area- und Port-Regeln (s.o.), an den Port zurück.
         Bei einer späteren, erneuten Einwahl, z.B. nach Trennung der Verbindung, schickt
         der Port seine vorher, durch das Switch, erhaltene 24-Bit-Port-Adresse an die
         Adresse xFFFFFE und das Switch erkennt den Port wieder als aktiv. Nach einem
         erfolgreichen Login am Switch muss trotzdem noch ein PLOGI durch geführt
         werden um die Kommunikation zwischen zwei N_Ports zu gewährleisten.
         Außerdem werden dabei die „Buffer to Buffer Credits“ ausgetauscht und die
         „Classes of Service“ festgelegt (s.u.). [san S.77] [reco_fc]
    -    Port Login (PLOGI)
         Damit Node_Ports (N_Ports) unter einander kommunizieren können, führen sie,
         ähnlich wie bei FLOGI, einen N_Port Login durch. Dabei legen sie die „Classes of
         Service“ fest und tauschen die „Buffer to Buffer Credits“ aus. [san S.77]
         „Beide Arten des Login sind beständig. Sofern es keinen Grund gibt, dieses
         aufzugeben, bleiben alle Ports eingelogged, selbst wenn keine Daten zu übertragen
         sind.“ [ordix]

Simple Name Server
Der Simple Name Server ist im Switch integriert und registriert alle am Switch
angeschlossenen Geräte. Er basiert auf einer Datenbank in der alle N_Ports, Port Namen
(WWN), Port Identifier (24-Bit-Fabric-Adresse) und „Classes of Service“ des Fabrics
verwaltete werden. Er hat immer die Adresse xFFFFFC.

Distributed Name Server
In größeren Fabrics, in dem mehrere Switche kaskadiert sind, wird die Name-Server-
Funktion über alle Switche verteilt. So wird gewährleistet, dass alle angeschlossenen Ports
bekannt sind. [san S.80]

FC-2: Frames
Wie bei vielen anderen Protokollen auch, verpackt Fibre Channel Datenpakete in Frames.
Ein Frame kann max. 2148 Byte groß sein, wobei auf den Payload max. 2112 Byte
entfallen. Fibre Channel unterscheidet zwischen zwei Arten von Frames:
    -   Type-0 (FT-0), „Link Controll Frame“
        Sie besitzen keine Bytes im Datenfeld und dienen nur als Bestätigungs-, Busy- oder
        Reject- Zeiger
    -   Type-1 (FT-1), Datenframe
        Dienen zur Datenübertragung, wobei im Datenfeld bis zu 2112 Bytes übertragen
        werden können.
[san S.85]




                                                                                              38
Kapitel 4. Technologiebeschreibung




               Frame - 2148 Bytes

                                       Frame                 Datenfeld

  Start of Frame Delimiter
                                       Header                2112 Byte




                                                                                                                   End of Frame Delimiter
                                                                                     CRC - Error Check
                                       24 Bytes

                                        R_CTL




                                                                                                         4 Bytes


                                                                                                                                            4 Bytes
                             4 Bytes

                                          D_ID
                                          S_ID
                                         TYPE     Optional
                                         F_CTL                           Payload
                                        SEQ_ID    Header                 2048 Byte
                                        DF_CTL     64 Byte
                                       SEQ_CNT
                                         OX_ID
                                         RX_ID
                                       RLTV_OFF


Abbildung 18: Schema eines FC-Frame [hsi_fco] [fc_ansi]


Ein Frame setzt sich zusammen aus:

Start of Frame Delimiter (SOF)
Der “Start of Frame Delimiter” zeigt den Anfang eines Frames an. Dabei wird in ihm
vermerkt wie viele Frames in der Sequenz noch folgen. [san]

Frame Header
Der Header ist 24 Byte lang und enthält Kontroll- und Adress- Informationen über den
Frame. Er ist so aufgebaut, dass immer nur möglichst wenig Informationen ausgelesen
werden müssen um den Frame schnell an sein Ziel zu bringen (s.o.). Der Header ist wie folg
aufgebaut:
    -  Routing Control Field (R_CTL)
       identifiziert die Kategorie des Frames, z.B. „Link Service Request“, „Link Service
       Reply”, oder “Link Control Frame” mit dazugehöriger “Link Control” Funktion
    -  Destination_ID (D_ID)
       Adresse des Ziel-Ports auf Basis von Domain-, Area- und Port-Regel
    -  Source_ID (S_ID)
       Adresse des Start-Ports auf Basis der Domain-, Area- und Port-Regel
    -  TYPE
       ”The TYPE field shall be 0x08 for all frames of SCSI FCP Sequenzes.” [fc_ansi]
    -  Frame Control (F_CTL)
       enthält verschiedene Kontrollinformationen in Bezug auf den Frame, z.B. stehen
       hier Infos über den Exchange (s.u.), Verschlüsselung, Komprimierung und
       besonders über die Sequenz /en
    -  Sequence_ID (SEQ_ID)
       identifiziert die Frames innerhalb einer Sequenz
    -  DF_CTL
       Indiziert den optionale Header, wird bei FCP aber nicht benötigt.
    -  Sequenz Counter (SEQ_CNT)
       Indiziert die Frames innerhalb einer Sequenz.



                                                                                                                                                      39
Kapitel 4. Technologiebeschreibung



    -   Originator_Exchange_ID (OX_ID)
        enthält die Port_ID, welcher den Datenaustausch (Exchange) gestartet hat
    -   Responder_Exchange_ID (RX_ID)
        enthält die Port_ID, welcher den Exchange empfängt
    -   Relative_Offset (RLTV_OFF)
        enthält den “Relative Offset Wert”, der benutzt wird um Daten einer Sequenz
        wieder zusammen zu fügen, auch wenn noch nicht alle Frames beim Empfänger
        angekommen sind. Ein „Data Pointer“ zeigt an, an welcher Stelle der Sequenz die
        Daten des Frames stehen müssen. Durch die Größe des Feldes von 32 Byte ist die
        Größe einer Sequenz auf 232 Byte, ca. 4 GByte, begrenzt. Überschreitet die zu
        übertragende Datenmenge die Sequenzgröße, wird direkt eine zweite gestartet.
[fc_ansi]

Datenfeld
Das Datenfeld enthält die zu übertragenen Transmission Words (s.o.) und hat eine variable
Größe von 128 bis 2112 Byte. Dies ist ein Kommpromis zwischen großen Frames, die die
Multiplexing-Fähigkeit verschlechtern und kleinen Frames, die zu viel Overhead
generieren. Zudem enthält es einen optionalen Header und 3 Füllbytes.
Laut FC-Restrektionen muss der Payload einem Vielfachen von vier entsprechen. Sollte das
nicht der Fall sein, nutzt man die Füllbytes um die Restriktion zu erfüllen. [san]

CRC – Error Check
Der „Cyclic Redundancy Check“ überprüft, ob die Daten des Headers und des Datenfeldes
korrekt übertragen worden sind.
„Einer bestimmten Bitmenge werden zusätzliche Bits zugeordnet. Diese Zusatzdaten
enthalten einen Restwert, der bei einer Division der ursprünglich zu übertragenden Daten
mit einem bekannten Zahlenwert entstanden ist. Beim Empfang der Daten gibt der Restwert
über aufgetretene Fehler Aufschluss und ermöglicht zum Teil auch eine vollständige
Fehlerkorrektur.“ [crc]

End of Frame Delimiter (EOF)
Der “End of Frame Delimiter” zeigt das Ende eines Frames an.
Da nirgendwo die tatsächliche Größe eines Frames vermerkt ist, muss er durch den EOF
beendet werden. Wurde er nicht richtig übertragen, fordert der Port den Frame erneut an.
[san S.84]

FC-2: Sequenz
Sequenzen sind eine Zusammenfassung von Frames. Frames können bis zu 2112 Byte
Nutzdaten „Payload“ transportieren. Um aber auch Datenmengen zu transferieren die
größer sind als der Payload, zerlegt man sie in 2112 Byte große Blöcke und verschickt sie in
mehreren Frames. Um zu gewährleisten, dass auch alle Frames den Empfänger erreichen,
fasst man die einzelnen Frames (max. 65.536) zu einer Sequenz zusammen. So können
max. 138 MByte pro Sequenz zu übertragen werden.
Die Frames werden beim Sender in einen Buffer geladen (siehe Buffer to Buffer Credit),
vom Port zerlegt und an den Empfängerport gesendet. Dieser setzt die Blöcke in seinem



                                                                                               40
Kapitel 4. Technologiebeschreibung



„Reasembly Buffer“ wieder zusammen und prüft, ob die Daten fehlerfrei sind. Um bei
beliebiger Ankunft der Frames das Zusammensetzen zu ermöglichen, erhält jeder Frame
einen „Sequenz_Counter“ (SEQ_CNT).
Ein Port kann mehrere Sequenzen gleichzeitig betreiben. Um die Frames der verschiedenen
Sequenzen eindeutig zuordnen zu können, erhält jeder Frame noch eine „Sequenz_ID“
(SEQ_ID). Anhand dieser beiden Kennungen kann der Empfänger-Port die übermittelten
Daten wieder zusammen setzten und nach der vollständigen Übertragung an die oberen
Layer weiter reichen. [san S.83] [ordix]


FC-2: Exchange
Fibre Channel Exchange ist ein Mechanismus, der bei der Datenübermittlung zwischen
zwei N_Ports gestartet wird um die Übertragung zu steuern und zu überwachen. Die
Kontrollmechanismen oder auch „Information Units“, werden dabei vom „Upper Level
Protocol“, z.B.: SCSI, TCP/IP, etc. vorgegeben.
Ist zwischen zwei Ports ein Exchanges etabliert, werden Sequenzen übermittel.
Das „Upper Level Protocol“ legt den Anfang des Exchanges fest und ein Port sendet als
„Exchange_Originator“       die     erste   Sequenz      zum     Empfänger-Port,  dem
„Exchange_Responder“.
Eine Sequenz muss immer erst komplett abgearbeitet sein bevor die nächste übertragen
wird. Da ein Exchange Daten nur unidirektional vom Originator zum Responder senden
kann, wird nach dem Senden die Kontrolle über den Exchange dem Responder übertragen,
damit er dem Originator eine Antwort schicken kann. Ist die Kommunikation zwischen den
beiden N_Ports beendet, wird auch der Exchange direkt beendet.


                                                                    N_Port
                                                                   Responder

                                                                   Sequenz 1

                                                                    Frame 1
                                     Informationsfluß




                                                                   Frame n-1
                                                        Exchange




                                                                    Frame n



                                                                   Sequenz 2

                                                                    Frame 1

                                                                    Frame 2


                                                                    N_Port
                                                                   Originator

                             Abbildung 19: Schema eines Exchange




                                                                                          41
Kapitel 4. Technologiebeschreibung



Durch Multiplexing kann ein N_Port mehrere Exchanges gleichzeitig nutzen. Während ein
Link inaktiv ist, kann er sich mit einem anderen Link beschäftigen. Dadurch wird eine sehr
effiziente Nutzung des Ports gewährleistet.
Die Anzahl der Exchanges pro Port wird nur durch das „Upper Level Protocol“ begrenzt.
Bei der Nutzung von mehreren Exchanges gleichzeitig muss darauf geachtet werden, dass
die jeweiligen Exchanges richtig identifiziert werden. Dazu wird vom Originator dem
Exchange eine „Originator_Exchange_ID“ (OX_ID) zugewiesen. Die OX_ID steht im
Header eines jeden Frames. Erhält der Responder den ersten Frame und damit die erste
OX_ID, weißt er dem Exchange eine „Responder_Exchange_ID“ (RX_ID) zu. Eine RX_ID
im Zusammenspiel mit einer OX_ID erlauben eine genaue Zuweisung das Exchange zu
einem bestimmten Prozess. [san S.81]

FC-2: Flusskontrolle
Bei FC findet der Datenaustausch über Ports statt. Der Sender lädt die Daten in seinen
Puffer (Buffer), zerlegt sie in Frames und schickt die Frames als Sequenz an den
Empfänger. Beim Empfänger wird der Weg in umgekehrter Reihenfolge bestritten. Damit
auch Frames übertragen werden könne während der Empfänger einen Frame gerade in
seinen Buffer schreibt, besitzt er mehrere Buffer. Der Empfänger bestätigt nicht jeden
erhaltenen Frame, denn dann würde der Sender die meiste Zeit mit warten auf
Bestätigungen verbringen. Sattdessen kommt der „Buffer to Buffer Credit“ zu Einsatz.
[san S. 97]

Buffer to Buffer Credit
“Buffer to Buffer Credit” ist ein Kontrollmechanismus auf Verbindungsebene, er steuert die
Übertragung zwischen zwei direkt mit einander verbundenen Ports (N_Port mit F_Port oder
zwischen zwei N_Ports).
„Der Buffer to Buffer Credit wird während des Login-Prozesses kommuniziert. Die Ports
teilen sich gegenseitig mit, wie groß ihr Credit ist. Das garantiert der jeweiligen anderen
Seite, eine bestimmte Anzahl von Frames in den Buffer schreiben zu können. Somit
überträgt der sendende Port mehrere Frames, meistens fünf, an den Empfänger mit dem
Wissen, dass diese auch aufgenommen werden können, ohne das der Absender eine
Bestätigung erhält. Dafür wird vorausgesetzt, dass der Buffer to Buffer Credit immer
Größer Null ist. Fibre Channel untersagt aus diesem Grund eine Buffergröße von Null.“
[san S. 98]
Der Sender subtrahiert die gesendeten Frames an den Empfänger von derem Buffer to
Buffer Credit bis er den Wert Null erreicht hat. Der Sequenz Responder sendet nach jedem
verarbeiteten Frame einen Ordered Set: „Receiver Ready“ (R_RDY) an den Sender zurück.
Der Sender erkennt anhand des R_RDY, dass der Empfänger einen Frame verarbeitet hat
und addiert zum Buffer to Buffer Credit wieder „Eins“ hinzu. R_RDY ist ein Special-
Character der keine Infos über den gerade verarbeiteten Frame enthält und der nur zwischen
zwei direkt angeschlossenen Ports ausgetauscht wird. [san S. 98]

Flusskontrolle über die Grenzen von zwei Ports hinweg nennt sich:




                                                                                              42
Kapitel 4. Technologiebeschreibung



End to End Credit
Der End to End Credit (EE_Credit) funktioniert ähnliche wie der Buffer to Buffer Credit,
nur das er hier zwischen dem Source_Port und dem Destination_Port ausgetauscht wird
(N_Port zu N_Port).

    Server A                                                                                                  Server B


                                        FC- Switch A                           FC- Switch B
                             HE WLETT                               HE WLETT
                             PACKARD                                PACKARD




             Buffer to Buffer Credit              Buffer to Buffer Credit               Buffer to Buffer Credit




                                                       End to End Credit

    Abbildung 20: Schema der FC-Flusskontrolle


FC-2: Class of Service
Um den unterschiedlichen Anforderungen der Applikationen gerecht zu werden, bietet FC
verschiedene Möglichkeiten Frames zu übertragen. Z.B. braucht ein Tape-Backup über die
gesamte Zeit eine gleichbleibend hohe Übertragungsrate und bei transaktionsorientierten
Anwendungen ist der bestätigte Empfang besonders wichtig.
Um diese Anforderungen abzudecken wurde in FC verschiedene „Classes of Service“
(COS) implementiert. Jede Class beschreibt dabei eine Auswahl am übertragungsrelevanten
Attributen.
Class 5 ist dabei für spätere Anwendungen reserviert. Allerdings wird in der Praxis von den
meisten Herstellern nur Class 3 und eingeschränkt Class 2 unterstützt. [san S.100]




                                                                                                                         43
Kapitel 4. Technologiebeschreibung



Durch FC definierte Service-Classes:
  Class       Eigenschaft
   Class 1         Zwischen zwei Node_Ports wird eine Verbindung fest aufgebaut. Die
                   Kommunikation ist leitungsorientiert. Es steht die gesamte Bandbreite
   Dedicated       zur Verfügung, so dass über diese Ports keine andere Kommunikation
   Service
                   stattfinden kann. Über die gesamte Distanz wird die gleiche
                   Übertragungsgeschwindigkeit genutzt. Es wird nichts gepuffert. Die
                   Reihenfolge von Frames bleibt erhalten. Diese Konfiguration ist für
                   Voice- oder Video-Anwendungen zweckhaft.
   Class 2         Dieser Service ist vergleichbar mit TCP/lP. Die einzelnen Frames werden
                   unabhängig versendet und können verschiedene Wege durch das Fabric
   Multiplex       zurücklegen, weshalb keine Reihenfolge garantiert werden kann.
   Service
                   Quittungsmechanismen stellen sicher, dass keine Frames verloren gehen.
                   Einzelne Switches können die Frames puffern, so dass unterschiedliche
                   Leitungsgeschwindigkeiten genutzt werden.
   Class 3         Dieser Service ist vergleichbar mit UDP. Es werden keine
   Datagram        Quittungsmechanismen genutzt. Ansonsten entspricht dieser Service dem
   Service
                   Multiplex Service.
   Class 4         Dieser Service ist leitungsorientiert und entspricht weitestgehend dem
   Virtual         Class 1 Service. Es wird jedoch nur ein Teil der Bandbreite genutzt. Dies
   Circuit
                   ermöglicht einerseits garantierte Zustellzeiten und außerdem höhere
   Fractional
   Bandwidth       Flexibilität, da ein Port viele dieser Kommunikationen gleichzeitig
                   durchführen kann.
   Class 5         Diese Art Service ist noch nicht definiert. Es ist nicht abzusehen, ob dies
                   nachgeholt wird.
   Class 6         Es kann durch einen Frame eine Gruppe von Node_Ports erreicht
   Multicast       werden. Die entsprechenden Node_Ports müssen zuvor in der Gruppe
                   angemeldet sein und der Fabric muss Multicast unterstützen.
  Tabelle 5: FC-Service Classes [ordix]


Class F
Während sich Class 1- 6 mit der Übertragung zwischen zwei „Endpunkten“ beschäftigt,
definiert Class F die Kommunikation zwischen Switchen in einem Fabric. Vereinfacht
könnte man sagen, es handelt sich um „Class 2 für Switche“.
Class F überträgt relevante Informationen über die „Inter Switch Links“ und nutzt dabei nur
den E_Port und B_Port (s.o.). Das garantiert eine Kommunikation zwischen zwei Switchen
auch dann, wenn beide nicht die selben Class of Service unterstützen. Z.B. wenn in ein
bestehendes Fabric ein neues Switch von einem anderen Hersteller integriert wird.
[san S.113]

4.4.2.4 FC-3 Common Service

Derzeit gibt es für die vierte Schicht des Fibre Channel Protokolls keine Definitionen für
wesentliche Funktionen. Daher gibt es auch keine Standards oder ANSI-Projekte für diese



                                                                                                 44
Kapitel 4. Technologiebeschreibung



Schicht. Dennoch gibt es einige Funktionen die zwar logisch auf FC-3 operieren, aber auf
FC-2 standardisiert sind:

Datenverschlüsselung
Grade bei größeren Entfernung, z.B. außerhalb von Unternehmensgrenzen, macht
Verschlüsselung Sinn. FC-4 reicht dabei die Daten an FC-3, diese verschlüsselt sie und gibt
sie an die unteren Schichten weiter. Auf der Empfängerseite läuft der Zyklus in
umgekehrter Reihenfolge ab. [san S.114]

Datenkomprimierung
Um das Datenvolumen vor der Übertragung zu verringern, verfügt FC über eine eigens
implementierte Datenkompression. [san S.115]

Data Striping
Die Daten werden über mehrere Ports gleichzeitig übertragen, so dass sich die
Übertragungsraten addieren. FC-3 zerlegt dazu die Daten, verteilt sie in verschiedenen
Sequenzen auf unterschiedliche Ports und setzt sie auf der Empfängerseite wieder
zusammen. [san S.115]

Multipathing
Hierbei werden mehrere Pfade in einem Fabric zu einer Gruppe zusammen gelegt. Das hat
den Vorteil, dass sich die Latenzzeiten verringern, denn die Wahrscheinlichkeit, dass ein
Knoten „besetzt“ ist, verringert sich mit zunehmender Anzahl an Pfaden. [san S.116]

Datenspiegelung
FC-3 generiert hierbei zwei oder mehr identische Kopien der zu übertragenden Daten und
übermittelt sie auf verschiedenen Wegen an den Responder. Da die Mehrzahl der Hosts die
Spiegelung auf Betriebssystemebene durchführen, ist die Spiegelung noch kein Standard.
[san S. 117]

4.4.2.5 FC-4 Protocol Mapping

FC-4 ist die oberste Protokollschicht und stellt die Schnittstelle den „Upper Level“-
Protokollen (ULP), z.B. SCSI, ESCOM und, zur Verfügung, um den „Transportservice“ der
unteren FC-Schichten zu nutzen. Dabei setzt FC-4 zwischen den einzelnen ULPs und FC-3
um. Die unteren Schichten müssen „verstehen“, was die Informationseinheiten der
unterschiedlichen ULP`s zu bedeuten haben und was sie bei dem Empfänger bewirken
sollen. Da jedes ULP seine eigenen Informationseinheiten besitz, ist es wichtig, dass FC
jede einzeln abbilden kann. Wenn es das nicht kann, kommt es zu Fehlern im Mapping, was
die Nutzung von FC beeinträchtigt oder sogar ausschließt.




                                                                                              45
Kapitel 4. Technologiebeschreibung




              Upper Level Protokoll            SCSI        ESCOM              SNMP




                                            FC Protokol   FC Single
                Fibre Channel - 4                                            FC Simple
                                             for SCSI3       Byte
                Protokoll Mapping                                             Network
                                            (SCSI-FCP)    Command
                                                                            Management
                                                             Set
                                                                            (FC-SNMP)
                                                           (FC-SB)



                Common Service                            FC Layer 3


                 Frame Struktur
                                                          FC Layer 2
                 Class of Service


                 Verschlüsselung
                                                          FC Layer 1
                  Ordered Sets


              Physikalische Schnittstelle                 FC Layer 0




           Abbildung 21: Schema der FC- Schichten


Zudem wird in FC-4 auch festgelegt, welche Classes of Service genutzt werden, denn einige
Upper Level-Protokolle benötigen garantierte Bandbreiten oder bestätigte Frames um
ordnungsgemäß arbeiten zu können. [san S. 118]

Die am weitesten entwickelte und am häufigsten eingesetzte Schnittstelle zwischen einem
ULP und den Transportschichten ist SCSI-3. Für das Host System ist die FC-Funktionalität
im FC-Host Bus Adapter (HBA) und in derem Treiber implementiert, so dass das BS und
der Diskmanager eine FC-Festplatte als ein SCSI adressierbares Speichermedium erkennen.
Fibre Channel ist für die Upper Level Protokolle und das BS völlig transparent.
[informit_fc]

Fibre Channel Sichtweisen:

              User                                               D:\Daten

              Operating System                                   SCSI Bus/ Target/ LUN

              Fibre Channel                                      Destination ID/ LUN

              Abbildung 22: Schema der FCP-Sichtweisen [san]




                                                                                            46
Kapitel 4. Technologiebeschreibung



4.4.3 Fibre Channel Arbitrated Loop

Fibre Channel Arbitrated Loop (FC-AL) ist in seiner Entwicklung jünger als Fibre Channel
Protokoll (FCP), allerdings in seiner Funktion und in seiner Topologie eingeschränkter.
Funktionen wie Zoning (siehe Kapitel 5.2), Simple Name Server oder Routing werden nicht
unterstützt, weshalb FC-AL-Geräte wesentlich preiswerter sind als FCP-Geräte.
Arbitrated Loop füllt die Lücke zwischen „Point to Point“-Verbindungen und den teuren
Fabrics.
FC-AL ist ringförmig aufgebaut und die Kommunikation läuft nur in eine Richtung. In
einem Ring/ Loop können 126 Geräte mit bis zu 400 MByte/sec untereinander
kommunizieren, allerdings müssen sich alle die Bandbreite unter einander teilen. Da immer
nur zwei Teilnehmer gleichzeitig Daten miteinander austauschen können, muss vor jeder
Übertragung ausgehandelt, „arbitriert“ werden, welche Teilnehmer untereinander
kommunizieren dürfen. Allerdings produziert das ständige Arbitrieren einen Overhead der
die Leistung reduziert. [sguide_fcal]

FC-AL überträgt Daten in Frames und fasst Frames zu einer Sequenz zusammen (s. FCP).
Jede Übertragung endet mit einem „End of Frame Delimiter“. Zwischen den einzelnen
Frames in einer Sequenz werden noch zusätzliche Fill Words „IDLE“ übertragen.
[san S.126]
In schnellen Storagedevices werden in der Regel die Festplatten über Arbitrated Loop an
den internen Controller angeschlossen. Da in einem Subsystem nur ein Initiator, nämlich
der Controller, vorhanden ist, entfällt die Arbitrierung, so dass die Performance nicht
beeinträchtigt wird.
Initiatoren sind immer „aktive“ Geräte (Server, Controller), eine Festplatte würde nie von
sich aus Daten an einen anderen Teilnehmer in der Loop schicken. [san S.123]
Stellt der Server A eine Anfrage an ein Disksubsystem B, was über FC-AL an ihn
angeschlossen ist, so wandert die Information vom Server-Port (Transmitter) durch alle
Ports, die auf dem Weg zum Receiver-Port (Empfänger) liegen. Da es hier kein Routing
gibt, wird so gewährleistet, dass alle angeschlossenen Geräte untereinander kommunizieren
können.

                            Server A                                 Subsystem A
                                                                             Port 1
                             Port 1




                            Server B                                 Subsystem B
                                                                             Port 1
                             Port 1




                          Abbildung 23: Schema einer Arbitrated Loop [san]



                                                                                             47
Kapitel 4. Technologiebeschreibung



Das zeigt aber auch ein Problem auf: Wird eine Verbindung in der Loop unterbrochen oder
ein Port ausgeschaltet, so ist in der Loop keine Kommunikation mehr möglich.
Um dieses Problem zu umgehen, wird die Loop mittels eines Hub aufgebaut, der die
Funktion „Port Bypass Circuit“ (PBC) unterstützt. Fällt ein Port aus, so bemerkt der Hub,
dass kein FC-Signal mehr anliegt und leitet das Signal an den nächsten Teilnehmer weiter.
Trotz Ausfall eines Teilnehmers bleibt die Loop funktionsfähig. [san S.123]

                        Server A                  Hub                  Subsystem A


                                                PBC
                          Port 1




                                                                             Port 1
                                                      PBC




                        Server B                                       Subsystem B


                                                PBC




                                                                             Port 1
                          Port 1




                                                      PBC




                       Abbildung 24: Schema einer AL mit HUB das Port Bypassing unterstützt [san]


Hubs verfügen nur über eine geringe Portdichte, um aber auch eine Vielzahl von Geräten
anschließen zu können, besteht die Möglichkeit Hubs zu kaskadieren. Der erste und der
letzte Hub der Kaskade verbrauchen jeweils einen Port, Hubs dazwischen benötigen zwei
Ports. Diese Port Anzahl muss bei der Planung berücksichtigt werden, denn sie werden von
der gesamt Anzahl von 127 abgezogen.

Wie auch bei FCP unterscheidet man bei FC-AL zwischen Singlemode (bis 10 km
Entfernung) und Multimode (bis 500 m Entfernung). Allerdings sollte man die
Signallaufzeit beachten wenn man mehrer Ports über weite Entfernungen mit einander
verbinden will.
Beispiel: Für 10km benötigt das Signal 50 Mikrosekunden (5 Nanosekunden pro Meter).
Für die Strecke vom Hub zum Port und zurück wären das schon 100 Mikrosekunden.
Liegen zwischen den beiden kommunizierenden Geräten noch einige andere, dann addieren
sich die jeweiligen Laufzeiten (Schleife) schnell zu einem Time-Out, obwohl das Signal
noch nicht mal beim Empfänger angekommen ist. [san S.125]




                                                                                                    48
Kapitel 4. Technologiebeschreibung



4.4.3.1 FC-AL: Loop- Adressierung

Die Adressierung von FC-AL basiert auf der Adressierung von FCP. Es kommen auch hier
die 24 Bit lange Domain, Area und Port-Adressen zum Einsatz (s.o.).

                                     24- Bit- Port- Adresse
              Bits 23- 16                  Bits 15- 08                Bits 07- 00
               Domain                         Area                       Port
  Abbildung 25: Aufbau der Port-Adresse [san]


Fibre Channel Arbitrated Loop Physical Adress
„Fibre Channel Arbitrated Loop Physical Adress“ (AL_PA) ist die 8 Bit lange
Portbezeichnung. Sie wird durch den 8b/ 10b-Konverter verschlüsselt und es entstehen 134
Bitfolgen mit neutralem Disparity (Verhältnis von Nullen zu Einsen ist gleich, s. o.). Sieben
der 134 Bitfolgen sind intern zur Verwaltung reserviert, so dass 127 Bitfolgen für die
Adressierung verwendet werden können. [san S.126]

Private Loop
Handelt es sich nur um eine einzelne Loop, so spricht man von einem „Private Loop“ und
die Felder/ Bytes für Domain und Area sind mit dem Hex-Wert „00“ versehen. Geräte die
nur FC-AL unterstützen besitzen nur einen L_Port und werden Private Loop Devices
genannt. [sguide_fcal]

Public Loop
Ist die Loop über ein Switch an einem Fabric angeschlossen spricht man von einer „Public
Loop“. Die Werte für Domain und Area werden dann vom Switch zugewiesen, so können
die Teilnehmer aus dem Fabric auch die Loop über das Switch erreichen.
Um in der Loop aber auch mit dem Fabric kommunizieren zu können, muss der Teilnehmer
beide Protokolle beherrschen. Das bedeutet, dass er über einen NL_Port verfügen muss.
[san S.126] [sguide_fcal]

Emulated Loop
Um Private Loop Devices mit ihrem L_Port trotzdem die Kommunikation in einem Fabric
zu ermöglichen, setzten einige FC-Switche intern zwischen FCP und FC-AL um. Diese
Umsetzung ist aber leider vom Hersteller abhängig. [sguide_fcal]
Da die Unsetzung von Hersteller zu Hersteller unterschiedlich ist, gibt es auch verschiedene
Bezeichnungen: Fibre Channel Arbitrated Loop Adress Translation, Emulated Private Loop
oder Quick Loop.

Prioritäten
FC-AL vergibt eine „Priorität“ mittels der AL_Pa`s, der physikalischen Adresse jedes
Teilnehmers. Je niedriger der Hex-Code und damit die AL_PA, desto höher ist seine
Priorität bei der Arbitrierung. Hängt ein Switch in der Loop, so hat es immer den Hex-Wert
„00“ und damit die höchste Priorität, womit es immer die Arbitrierung gewinnt. Dadurch ist



                                                                                                49
Kapitel 4. Technologiebeschreibung



sichergestellt, dass das Switch einen schnellen Zugriff auf die Loop bekommt, um sich
danach wieder den „Fabric-Pflichten“ zuwenden zu können. Nach dem Switch bekommen
die Server die höchsten Prioritäten zu gewiesen. [san S.130]

4.4.3.2 FC-AL: Ordered Sets

Auch FC-AL arbeitet mit Ordered Sets und nutzt sie um die Loop zu verwalten und um die
Arbitrierung sowie das Öffnen und Schließen der Loop zu steuern. Die Funktionen teilen
sich auf in:

FC-AL Primitive Signals
Kümmern sich um die Arbitrierung und um das Öffnen und Schließen der Loop um nach
gewonnener Arbitrierung auch tatsächlich Daten senden zu können.
Hat ein Port die Arbitrierung gewonnen, öffnet er die Loop um mit anderen Teilnehmern zu
kommunizieren. Das „OPN“-Signal enthält dabei die Destination_ID (AL_PD) des
Empfängers und die Source_ID (AL_PS) des Absenders. Zudem wird noch angezeigt, ob er
in Half- oder Full- Duplex arbeiten kann. [san S.131]

FC-AL Primitives Sequences
Fibre Channel Arbitrated Loop nutzt drei Primitive Sequences:
    1. LIP- Loop Initialization
        LIP “Loop Initialization Primitive Sequence” wird zur Initialisierung der Loop
        eingesetzt. Insgesamt gibt es fünf verschiedene LIB`s für verschiede Portzustände.
        Z.B.: Port ist neu in der Loop und hat noch keine AL_PA
    2. LBP- Loop Port Bypass
    3. LPE- Loop Port Enable
[san S. 132]

4.4.3.3 FC-AL: Loop Protokolle

Loop-Initialisierung
Die Loop-Initialisierung ermöglicht es neuen Teilnehmern (z.B. ein ausgeschalteter Server
wird eingeschaltet) in der Loop an der Kommunikation teilzunehmen. Zudem werden über
die Initialisierung die AL_PA`s vergeben, Topologie-Wechsel bekannt gemacht und
eventuelle Loop-Fehler aufgedeckt. Eine Initialisierung dauert, abhängig von der
Teilnehmeranzahl, nur wenige Millisekunden. Es wird garantiert, dass keine AL_PA
doppelt vorkommt damit keine Adresskonflikte entstehen.
Eine Loop-Initialisierung wird durch Ordered Sets angestoßen, wobei auf den Port-Zustand
eingegangen wird (s.o.).

Ablauf einer Initialisierung:
Um eine Initialisierung zu starten, sendet ein Port eine Anzahl von LIP`s aus. Die
nachfolgenden Knoten unterbrechen ihre aktuellen Prozesse und wechseln in den
„Arbitrated Loop Open Initialize State“ (Open-Init). Die LIP`s laufen so lange durch die
Loop, bis sich alle angeschlossenen Ports im Open-Init-Zustand befinden.



                                                                                             50
Kapitel 4. Technologiebeschreibung



Durch den Open-Init muss nun ein „Loop Initialization Master“ bestimmt werden. Der
Master soll für die Adressvergabe kurzzeitig die Kontrolle über die Loop über nehmen.
Dies geschieht mit Hilfe der Unterroutine des Open-Init, dem LISM (Loop Initialization
Select Master Procedure). Nach dem jeder Port in den Open-Init-Zustand gewechselt hat,
sendet er sein LISM aus. Der setzt sich aus seinem 64 Bit World Wide Port Name (WWPN)
und seiner Port Type Information (“00“ für ein Switch und „EF“ für alle anderen Ports)
zusammen. Die nachfolgenden Teilnehmer der Schleife vergleichen die erhaltenen
Informationen mit ihren eigenen Daten. Handelt es sich bei den empfangenen Daten um ein
Switch, so sendet der Port die LISM des Switches anstelle seiner eigenen aus. Ist die
empfangene LISM aber von einem anderen Port, so vergleicht er den numerischen Wert der
WWPN. Der LISM mit der niedrigen WWPN wird fort an weiter geschickt. Ähnlich wie
bei AL_PA wird hier eine Priorität eingerichtet. Der Port mit der niedrigsten WWPN besitzt
die höchste Priorität und dessen LISM wird weiter gesendet. Die Prozedur läuft so lange,
bis ein Port seine eigene LISM zurück bekommt, denn das ist das Zeichen, dass er der Port
mit der höchsten Priorität ist und er dadurch der Loop Master ist.
Hat ein Port festgestellt, dass er der Loop Master ist, beginnt er sofort mit der Übertragung
der Ordered Sets. Er signalisiert, dass die Wahl zum Loop Master abgeschlossen ist und
dadurch tritt die Initialization in die nächste Phase. [san_S.133]

Der Loop Master gibt nun nach einander vier Frames heraus, die alle möglichen und
zulässigen AL_PA`s enthalten. Nimmt ein Frame eine Adresse aus diesen Pools, so setzt er
den Adress-Indikator der gewählten Adresse von 0 auf 1. Damit ist gewährleistet, dass es
keine Mehrfachbelegung gibt. Jeder Frame ist für eine bestimmte Gruppe an Ports
zuständig, so dass nach dem vierten Frame jeder Port eine 24 Bit Adresse hat.

    1. Im ersten Frame ist die „Loop Initialization Fabric Address“ (LIFA) enthalten. Alle
       Ports die vorher einem Public-Loop zugeordnet waren, dürfen sich die Adresse
       „heraus nehmen“, die sie auch vorher schon hatten.
    2. Nach dem der erste Frame beim Loop Master wieder angekommen ist, schickt er
       den Frame mit der „Loop Initialization Previous Address“ (LIPA) in die Schleife.
       Jetzt dürfen sich alle Teilnehmer eine AL_PA zuweisen, die vorher eine „Private
       Loop“ Adresse besessen haben. Wurden zwei Loops durch ein Hub (hot cascaded)
       verbunden, kann es passieren, dass zwei Ports die gleiche Adresse hatten. Dadurch,
       dass jeder Port, wenn er eine Adresse aus dem Pool genommen hat, den Adress-
       Indikator auf 1 setzt, erkennt der nachfolgende Port, dass seine ursprüngliche
       Adresse vergeben ist und er auf den nächsten Frame warten muss.
    3. Als nächstes kommt Frame Nr. 3 mit der „Loop Initialization Hard Address“
       (LIHA). Dieser ist für die Teilnehmer bestimmt, die Ihre Adresse fest über Jumper
       zugewiesen haben, z.B.: Festplatten.
       Ist die Adresse bereits vergeben, muss er auch auf den nächsten Frame warten.
    4. Der letzte Frame gilt der „Loop Initialization Soft Address“ (LISA). Hier werden
       alle Teilnehmer bedient, die in den voran gegangenen Frames keine Adresse
       erhalten haben. Dies gilt auch für einen neuen Server. Da er vorher weder eine
       Public- noch eine Private Adresse besessen hat, muss er sich aus dem Restpool
       bedienen.



                                                                                                51
Kapitel 4. Technologiebeschreibung



Wenn LISA, der letzte der vier Frames, wieder bei dem Loop Master angekommen ist,
besitzt jeder Teilnehmer eine AL_PA. Darauf hin beendet Arbitrated Loop den
Initialisierungsprozess in dem der Loop Master einen „Close“ Ordered Set heraus schickt.
Dadurch verlassen die Ports den Open-Init Zustand und der Loop Master verliert seine
privilegierte Rolle. [san S.133]

Loop Initialization Report Position
Fibre Channel Arbitrated Loop-2 (FC-AL2) stellt noch weitere Funktion zur Verfügung.
Mit ihr ist es möglich, die genaue Position eines Teilnehmers in der Loop zu bestimmen.
Das erleichtert die Auswertung der Loop und kann die Performance verbessern. Leider
unterstützen noch nicht alle Hersteller diese Funktion. [san S. 136]

NL_Port Login
Nach der Initialisierung wissen die Server in der Loop zwar welche Adressen vergeben
sind, aber sie wissen noch nicht was sich dahinter verbirgt. Dazu sendet im Anschluss an
die Initialisierung jeder Server einen PLOGI (s.o.) an alle 126 möglichen Port-Adressen.
Darauf antworten die Targets, die den PLOGI akzeptieren, mit einen Bestätigungsframe
(ACC). [san S.137]

Arbitrierung
Um Daten in der Loop übertragen zu könne, muss ein Teilnehmer die Arbitrierung
gewinnen. Erst danach kann er die Verbindung mit dem gewünschten Gegenüber auf
nehmen.
Möchte ein NL_Port Daten übertragen, ersetzt er alle Fill Words „IDLE“ durch das
Primitive Signal ARB(x). In dem Ordered Set ARB(x) ist die AL_PA des „Arbitrators“
enthalten. Jeder nachfolgende Port schickt anstelle des „IDLE“ das ARB(x) weiter. Kommt
der Frame wieder unverändert an dem NL_Port an, hat er die Arbitrierung gewonnen und
geht in den „ARB-WON“-Zustand über.
Wollen mehrere Teilnehmer gleichzeitig Daten übertragen, gewinnt der Port mit der
höchsten Priorität (s.o.). Dazu vergleicht der Port die im ARB(x) enthaltene AL_PA mit
seiner eigenen und schickt die Adresse mit der jeweilig höheren Prio weiter. Erhält er mit
dem nächsten ARB(x) seine eigen AL_PA, so hat er die Arbitrierung gewonnen und
beginnt zu senden.
Ein ARB(x) kann auch gesendet werden, wenn schon ein anderer Teilnehmer die Loop zur
Übertragung nutzt. [san S. 138]

Fairness-Prozess
Damit auch Ports mit einer niedrigen AL_PA die Chance haben Daten zu übertragen, wurde
der Fairness-Prozess in die Arbitrierung integriert. Dazu wird das Primitive Signal
ARB(F0) genutzt.
Gewinnt ein Port die Arbitrierung, setzt er seine „Fairness-Variable“ auf „0“ und kann
dadurch erst einmal nicht mehr an der Arbitrierung teilnehmen. Solange er Daten überträgt,
sendet er anstelle der IDLE-Words den Ordered Set ARB(F0) und Ports die selber Daten
übertragen wollen senden ARB(x) aus. Ports die nicht senden wollen, leiten das ARB(x)
oder das ARB(F0) einfach nur weiter.



                                                                                             52
Kapitel 4. Technologiebeschreibung



Will ein Port selber senden, so vergleicht er die AL_PA aus dem ARB(F0) mit seiner
eigenen. Da sie ja die niedrigste Priorität hat, gewinnt er, löscht den ARB(F0) und schickt
ein ARB(x) mit seiner AL_PA weiter. Der ursprüngliche Port, der noch Daten sendet und
von dem das ARB(F0) kommt, erkennt, dass noch ein anderer Port Daten zustellen will. Da
er aber noch nicht fertig ist, löscht er seinerseits das ARB(x) und sendet ein ARB(F0), so
lange bis er seine Übertragung abgeschlossen hat. Wird kein ARB(F0) mehr gesendet,
erhält der zweite sendewillige Port sein eigenes ARB(x) zurück und geht in den „ARB-
WON“-Zustand über. Dabei ändert er seine „Fairness-Variable“ auf „0“, wodurch er erst
einmal nicht mehr an einer Arbitrierung teilnehmen kann.
Durch diesen Mechanismus bekommen alle Ports, gestaffelt nach Priorität, die
Möglichkeiten Daten in die Loop zu übertragen. Haben alle Ports die Übertragungen
abgeschlossen, wird in der Loop wieder „geidled“. Sobald ein Port das Fill Word „IDLE“
erhält, setzt er seine Fairness-Variable zurück auf 1 und darf wieder an der nächsten
Arbitrierung teilnehmen. [san S. 139]

Der einzige Port in einer Loop, der die Fairness-Regel außer acht lassen darf, ist der
FL_Port eines Switch, der eine Verbindung zwischen einer Loop und einem Fabric darstellt.
Das ist sinnvoll, denn das Switch ist für eine schnellst mögliche Zustellung der Daten
zuständig. Dabei wäre es sehr hinderlich, wenn der ganze Verkehr im Switch auf eine
Arbitrierung warten müsste. [san S. 138]

Buffer To Buffer Credit
Da FC-AL eine Schleife ist, ist es schwierig eine Flusskontrolle aufzubauen. Jeder
Bestätigungsframe muss durch die ganze Schleife und würde so bei den folgenden Ports
wieder eine Bestätigung hervorrufen. Der Overhead würde die ohne hin schon langsame
Schleife noch stärker belasten.
Aus diesem Grund gibt es für FC-AL ein alternatives „Buffer to Buffer Management“
Model. Im Gegensatz zu Point to Point oder Fabric-Umgebungen wird bei AL davon
ausgegangen, dass der BtB-Credit 0 ist. [san S.140]

4.4.3.4 FC-AL: Besonderheiten beim Einsatz von FC- Arbitrated Loop

Den direkten Vergleich gegen FCP verliert FC-AL recht deutlich. Trotzdem hat es auf
Grund seines einfachen Aufbaus und der geringen Kosten ein Anwendungsgebiet.
Man muss sich vor dem Einsatz nur über ein paar Dinge klar werden und abwägen was man
machen möchte und ob FC-AL dazu geeignet ist.
Ein paar Fragen helfen bei der Entscheidungsfindung:
    -  Welche Arten von Geräten sollen in die Loop und welche davon sind Initiatoren
       (z.B. Server)
    -  Wie viele Geräte sollen in die Loop?
    -  Soll ein Public- oder ein Private-Loop zum Einsatz kommen und welchen Typ
       unterstützen die Geräte?
    -  Welche Bandbreite benötigen die einzelnen Applikationen?
    -  Sind größere Entfernungen zu überbrücken
    -  Soll das System einer Hochverfügbarkeit genügen?



                                                                                              53
Kapitel 4. Technologiebeschreibung



[san_S.141]

Art und Anzahl von Geräten
Generell sollte beachtet werden, dass in der Praxis die Anzahl der Initiatoren durch die
Arbitrierung begrenzt ist. Auch wenn es theoretisch möglich ist 127 Server mit einander zu
verbinden, so macht es in der Praxis keinen Sinn, da die Pausen der einzelnen Server
zwischen den Übertragungen viel zu lang wären.
Befindet sich nur ein Server in der Loop, ist er für die kompletten Lese- und Schreib-
Aktivitäten in der Loop verantwortlich. Die Performance lässt sich dann leicht optimieren,
in dem man das Device, auf das sehr häufig geschrieben wird, als nächstes in die Loop
hängt. Kommt ein zweiter Server hin zu, ist die Überlegung schon wieder hinfällig und
Performanceoptimierung fast unmöglich. [san_S.142]

Anforderungen von Applikationen
Jede Applikation hat seine eigenen Anforderungen an die zur Verfügung gestellte
Bandbreite. Ein Backup auf ein Tape benötigt dauerhaft hohe, schreibende Bandbreite und
verzeiht es nicht, wenn der Datenstrom mittendrin abreißt, weil z.B. ein zusätzlicher Server
in die Loop eingefügt wird und eine Initialisierung startet. Datenbanken generieren, je nach
Typ, sequenzielle Zugriffe auf große Dateien oder random Zugriffe auf viele kleine
Textdateien. Data-Mining-Applikationen sind hingegen sehr lese intensiv, so dass es fast
nur Verkehr von der Festplatte zum Server gibt.
Es ist sehr schwierig die genaue Bandbreite in einer Loop zu bestimmen. Zwar kann man
die Bandbreite (z.B. 100MByte/sec) durch die Anzahl der Server dividieren, aber dadurch
erhält man nur den durchschnittlichen Übertragungswert für jeden Server [san_S.142]

Entfernungen der einzelnen Devices
Loops mit vielen Teilnehmern sind für große Entfernung nicht geeignet.
Je nach Position des Senders und des Empfängers, muss das Signal evtl. die fast komplette
Loop durchlaufen, so dass sich die Laufzeiten zu einem Timeout addieren könnten.

Hochverfügbarkeit
Auch mit FC-AL lässt sich eine Hochverfügbarkeitslösung realisieren. Dazu bekommt jedes
Device zwei HBAs, die an zwei von einander getrennten Loops betrieben werden. Um
einen kompletten Ausfall der Loop durch die Unterbrechung eines Ports zu verhindern,
kommt pro Loop jeweils ein Hub zum Einsatz. Durch die doppelte Auslegung aller
Komponenten, wird der Single Point of Failure eliminiert. [san_S.151]



4.4.4 Vergleich FCP und FC-AL

FCP ist durch die Mischung aus Bus und Netzwerk in den Punkten Performance, Anzahl zu
betreibender Geräte, Backup und Entfernung FC-AL weit überlegen.
FC-AL kommt daher heute so gut wie nur noch als Festplattenanschluss in Storagedevices
zum Einsatz.



                                                                                               54
Kapitel 4. Technologiebeschreibung




4.5 RAID - Redundant Arrays of Inexpensive Disks

Um die immer höher werdenden Anforderungen an Leistung und Datensicherheit von
Massenspeichern zu erfüllen, werden RAID-Systeme eingesetzt.
RAID-Systeme fassen mehrere physikalische Festplatten zu einem logischen Laufwerk
zusammen. Dadurch entstehen leistungsfähige und/ oder ausfallsichere, logische
Laufwerke.
„Durch die Verwendung von RAID-Systemen kann man die Betriebssicherheit, Leistung
und/ oder Kapazität von Massenspeichern erhöhen. Dazu gibt es verschiedene
Möglichkeiten, die man als RAID-Levels bezeichnet.“ [wiki_raid]



4.5.1 RAID- Level

Die verschiedenen Variationen um Festplatten mit einander zu verschalten nennt man
RAID-Level. Dabei gibt es mittlerweile für die unterschiedlichsten Anforderungen und
Anwendungen das passende Level.

4.5.1.1 RAID- Level 0 - Striping

Die Null steht für keine Redundanz, RAID-0 ist nur auf Performance ausgelegt.
Es werden mehrere Platten, min. aber zwei, zu einer logischen zusammen gefasst.
Die zu speichernden Daten werden in Blöcke/ Streifen (Stripe) zerlegt und gleichmäßig auf
alle Platten verteilt (striping). Durch das parallele Lesen und Schreiben auf allen Platten
erlangt man eine hohe Performance. Besonders große Dateien können dadurch sehr schnell
verarbeitet werden.
Allerdings ist bei einem Ausfall von nur einer Festplatte der gesamte Datenbestand
inkonsistent. [san] [tecch_raid]

                         Disk 1        Disk 2        Disk 3     Disk 4
                         Block 1       Block 2       Block 3    Block 4
                         Block 5       Block 6       Block 7    Block 8
                    Tabelle 6: Schema RAID-Level 0


4.5.1.2 RAID- Level 1 - Mirroring

Mirroring bedeutet, dass hier doppelte Datenhaltung betrieben wird, alle Schreibzugriffe
erfolgen parallel auf zwei Festplatten. Zwei physikalische Platten erscheinen gegen über
dem Betriebssystem nur als eine logische. Alle Daten werden gespiegelt, so dass auf beiden
Festplatten absolut die gleichen Daten sind. Dadurch steht bei Ausfall einer Platte noch der
komplette Datensatz zur Verfügung. Allerdings „verschenkt“ man bei dem Einsatz von
zwei Festplatten die Hälfte der physikalischen Speicherkapazität (hoher Overhead).
Besitzt der Controller mehrere Kanäle, so dass jede Platte an einem eigenen Kanal
angeschlossen ist, erhöht sich durch paralleles Lesen noch die Lesegeschwindigkeit.
[tecch_raid] [hp_netraid]



                                                                                               55
Kapitel 4. Technologiebeschreibung



                                             Logical Disk
                                         Disk 1        Disk 2
                                         Block 1      Block 1
                                         Block 2      Block 2
                                     Tabelle 7: Schema RAID 1


4.5.1.3 RAID- Level 0 + 1

Durch Verknüpfung der Level 0 und 1 läst sich Performance und Datensicherheit
zusammen realisieren. Hier wird erst gestriped und dann gespiegelt. [tecch_raid]
[hp_netraid]

                                Verbundenes Array (Raid 0+1)
                     Array 1 (Raid 0 striping) Array 2 (Raid 0 striping)
                      Disk 1         Disk 2      Disk 3         Disk 4
                      Block 1        Block 2     Block 1       Block 2
                      Block 3        Block 4     Block 3       Block 4
                      Block 5        Block 6     Block 5       Block 6
                 Tabelle 8: Schema Raid 0+1




4.5.1.4 RAID- Level 1 + 0

Durch Verknüpfung der Level-1 und 0 läst sich auch hier Performance und Datensicherheit
kombinieren, nur wird hier erst gespiegelt und dann gestriped. Allerdings ist die Redundanz
hier noch höher als bei 0+1 (s.o.). Es ist egal welche Platten aus den Arrays 1 und 2
ausfallen. Der Datensatz bleibt weiterhin konsistent. [tecch_raid] [hp_netraid]

                                Verbundenes Array (Raid 1+0)
                         Array 1 (Raid 1)           Array 2 (Raid 1)
                      Disk 1         Disk 2      Disk 3         Disk 4
                      Block 1       Block 1      Block 2       Block 2
                      Block 3       Block 3      Block 4       Block 4
                      Block 5       Block 5      Block 6       Block 6
                 Tabelle 9: Schema RAID-Level 1+ 0




4.5.2 RAID- Level mit Fehlerkorrektur

„Zwar bietet Mirroring perfekte Redundanz, verursacht jedoch gleichzeitig einen hohen
Overhead und entsprechend hohe Kosten. Um diesen Nachteil zu beheben, arbeiten die
RAID-Level 2 bis 7 mit Fehlerkorrektur.“ Dabei werden die Nutzdaten per Striping
(Blockweise) auf die Platten verteilt und anschließend der Korrekturwert ermittelt, mit dem
man im Fehlerfall die Daten des defekten Laufwerks rekonstruieren kann.



                                                                                              56
Kapitel 4. Technologiebeschreibung



Hierfür wird auf eines der ältesten Verfahren zur Fehlerkorrektur zurück gegriffen, die
Paritätsprüfung. Dabei werden die Daten der Nutzlaufwerke über eine logische Exklusiv-
Oder-Operation (XOR) verknüpft und das Resultat wird auf einem eigenen Parity-Laufwerk
gespeichert.
Das Hauptziel, den Overhead zu verringern, ist damit gelungen, allerdings erfordert die
Aktualisierung der Parity-Daten zusätzliche Schreib- und Lesezugriffe. [tecch_raid]

4.5.2.1 RAID- Level 2

Level 2 bietet zusätzlichen Schutz gegen Fehler innerhalb der Festplatten, wird aber
aufgrund seiner aufwendigen Implementierung kaum eingesetzt. Es blieb bis auf wenige
Anwendungen auf den Großrechnerbereich beschränkt. RAID 2 basiert auf einer bitweisen
Aufteilung der Nutzdaten. Dabei implementiert es eine Fehlerkorrektur gegen den
kompletten Ausfall einer Platte. RAID 2 ist das einzige Level, was Daten auch bei
Inkonsistenz durch Schreibfehler noch verfügbar hält. [tecch_raid]

4.5.2.2 RAID- Level 3

Level 3 basiert auf byteweisem Striping und setzt auf die interne Erkennung eines Schreib-
Lesefehlers der Festplatten. Dadurch kommt Level 3 auch nur mit einer einzelnen,
dedizierten Parity-Disk aus. Für eine schnelle Generierung der ECC10-Daten werden die
Plattenköpfe synchronisiert und dadurch erreicht es eine hohe Lesegeschwindigkeit bei
großen, zusammenhängenden Daten. Bei vielen Lesezugriffen auf kleine, verteilte Daten
müssen die Plattenköpfe immer wieder neu synchronisiert werden, was zeitaufwendig ist.
[tecch_raid]



4.5.2.3 RAID- Level 4

Hier wird Blockweise gestriped und um bei kleinen Files die Schwächen von Level 3 zu
minimieren werden die Schreib- Leseköpfe der Festplatten nicht synchronisiert. Zur
Speicherung der Parity-Daten nutz es, genauso wie Level 3, ein dediziertes Laufwerk. Den
Performancegewinn bei kleinen Files bezahlt man mit langsameren Lesezeiten bei großen
Files. [tecch_raid]

4.5.2.4 RAID- Level 5

Auch bei Level 5 werden die Daten Blockweise verteilt. Hinzu kommt, dass die Parity-
Informationen mit den Nutzdaten auf dem selben logischen Laufwerk verteilt werden. Das
hat zum Vorteil, dass sich Schreibvorgänge weitestgehend parallelisieren lassen und die
Belastungen der Platten sich besser verteilen. Durch die gleichmäßige Verteilung der Daten
erzielt Level 5 zusätzlich eine gute Leseperformance. [tecch_raid] [hp_netraid]


10
       ECC: Error Correcting Codes, dienen dazu um Fehler in einer Datenübertragung oder Speicherung
       zu erkennen und zu korrigieren.



                                                                                                       57
Kapitel 4. Technologiebeschreibung



                Disk 1                Disk 2          Disk 3             Disk 4        Disk 5
                Block 1              Block 2          Block 3           Block 4      Parity 1- 4
                Block 5              Block 6          Block 7          Parity 5- 8    Block 8
                Block 9              Block 10       Parity 9- 12        Block 11      Block 12
           Tabelle 10: Schema RAID-Level 5


Level 5 ist in der Praxis weit verbreitet, denn es bietet einen sehr guten Kompromiss
zwischen Redundanz und Performance.

4.5.2.5 RAID- Level 0 + 5 (50)

Ähnlich wie RAID 1 lässt sich RAID 5 auch sehr gut mit Level 0 kombinieren.
Durch stripen von RAID 5 Sets bietet es eine ähnlich gute Performance wie RAID 10,
verursacht aber einen nicht so großen Overhead. [tecch_raid] [hp_netraid]

                                       Verbundenes Array (Raid 50)
                   Array 1 (Raid 5)                                       Array 2 (Raid 5)
      Disk 1       Disk 2        Disk 3          Disk 4      Disk 5       Disk 6     Disk 7      Disk 8
     Block 1       Block 2       Block 3        Parit. 1-3   Block 4     Block 5     Block 6    Parit. 4-6

     Block 7       Block 8      Parit. 7-9      Block 9 Block 10 Block 11 Pa. 10-12 Block 12
    Block 13 Pa. 13-15 Block 14 Block 15 Block 16 Pa. 16-18 Block 17 Block 18

   Tabelle 11: Schema RAID-Level 0 + 5


4.5.2.6 RAID- Level 51

Durch den Zusammenschluss von drei oder mehr Mirror-Sets zu einem RAID 5 entsteht ein
RAID 1+5 oder RAID 51. Es bietet gegenüber einem RAID 5 eine nochmals gesteigerte
Ausfallsicherheit, verursacht andererseits aber einen hohen Kapazitäts-Overhead.
[tecch_raid]

4.5.2.7 Weitere RAID- Level

Es existieren noch die RAID-Level 55, 6 und 7. Allerdings sind sie sehr selten und hier
nicht relevant.
Gängig sind die Level 0, 1, 10, 5 und 50. Sie werden auch von den meisten SANs
unterstützt.



4.5.3 Realisierung von RAID- Level

Zur Realisierung von RAID-Systemen gibt es zwei Möglichkeiten:




                                                                                                             58
Kapitel 4. Technologiebeschreibung



    1. Software-RAID
       Hier übernimmt das Betriebssystem des Host die Steuerung des Plattenverbundes.
       Win 2000 und XP unterstützen allgemein RAID-Level 0, 1 und 5 (siehe Kapitel
       4.6.1 NTFS). Linux hingegen kann alle RAID-Level realisieren. Software RAIDs
       sind kostengünstig, können aber die Performance des Host stark belasten.
       [tecch_raid]
    2. Hardware-RAID
       Die Ansteuerung der Hardware wird von einem eigener Prozessor übernommen.
       Der sitzt entweder auf einem Host Bus Adapter oder auf dem Motherboard und
       entlastet die Host-CPU, was zu einer hohen Performance führt.
       Hardware RAIDs sind zwar kostenintensiv aber auch sehr performant. [tecch_raid]



4.5.4 Hot Spare- Festplatte

Um die Ausfallsicherheit in RAID 1- und RAID 5 Sets zu erhöhen, setzt man eine
dedizierte Reserverplatte, Hot Spare-Festplatte, ein. Fällt eine Festplatte aus dem aktiven
RAID-Verbund aus, so wird sie automatisch vom RAID-Controller durch die Hot Spare-
Platte ersetzt. Auf Hot Spare-Platten kann das OS nicht zugreifen, sie dienen nur der
Sicherheit und erhöhen dadurch den Overhead.
Fällt ein Platte innerhalb eines RAID 5 aus, so beginnt der Controller automatisch damit,
die Daten anhand der Parity-Informationen auf die Hot Spare-Platte zu schreiben. Bei
Ausfall innerhalb eines RAID1 werden die Daten von der intakten Platte auf die Spare
Platte gespiegelt.
Nicht jeder Controller unterstützt die Hot Spare Funktion. In der Regel ist sie eher High
End Controllern vorbehalten.




4.6 Dateisysteme

„Ein Dateisystem ist ein System, um Daten in Form von Dateien auf einem
Computersystem zu speichern und zu verwalten. Die meisten Betriebssysteme verwenden
Dateisysteme. Historisch wurden Dateisysteme zur Organisation des Zugriffs auf
Massenspeicher wie Festplattenlaufwerke entwickelt. Jede Datei belegte einen Teil des
Massenspeichers. Das Konzept der Dateisysteme wurde dann abstrahiert, so dass auch
Zugriffe auf Dateien im Netz und Geräte, die virtuell als Datei verwaltet werden, über
Dateisysteme geregelt werden können.“ [wiki_datsys]
In diesem Kapitel wird ein kurzer Überblick über die gängigsten Dateisysteme gegeben.
Allerdings wird dabei das Windows Dateisystem NTFS auf Grund seiner hohen
Verbreitung etwas genauer beschrieben.




                                                                                              59
Kapitel 4. Technologiebeschreibung



4.6.1 NTFS - New Technologie Files System

Mit Windows NT wurde das hierarchisch aufgebaute NTFS 4.0 eingeführt und mit
Windows 2000 zu NTFS 5.0 weiter entwickelt. Es setzt nicht mehr auf MS DOS auf und ist
auch nicht dazu kompatibel. NTFS nutzt ein 64-Bit Adressierungsschema, womit eine
theoretische Datenträgergröße von 16 ExaByte erreicht werden könnte. Industriestandards
begrenzen aber die max. Datenträgergröße auf 2 TByte. NTFS verwendet um Dateien zu
finden Cluster statt Sektoren. Die Cluster sind logisch durch nummeriert (LCN, logical
Cluster Number). [w2k S.851]
NTFS nutz das „Lazy-Write“-Verfahren. Dabei werden alle Schreibvorgänge zwischen
gespeichert, sortiert und in optimaler Reihenfolge auf die Festplatte geschrieben. Dadurch
wird die Performance deutlich verbessert. Allerdings kann das Dateisystem auch Schaden
nehmen wenn die Datensätze nicht mehr in der MFT synchronisiert werden. [w2k S.869]

NTFS nutzt zu internen Verwaltung anstatt einer Clustertabelle eine Datenbank:
MFT (Master File Table).

4.6.1.1 MFT - Master File Table

Um Dateien und Verzeichnisse zu verwalten nutzt NTFS die objektorientierte Datenbank
MFT. Jede Datei und jedes Verzeichnis wird durch einen Datensatz in der Datenbank
repräsentiert. Datensätze besitzen die Länge 1024 Byte (1 KByte) und sind in Tabellenform
gespeichert. Kleine Dateien werden komplett in der MFT gespeichert. Jeder Eintrag kann
über verschiedene Attribute, Speicherort oder Inhalt, eindeutig indiziert werden. In der
Regel gilt: „Ein Datensatz pro Datei“

Es gibt drei Arten von MFT-Datensätzen:
    -   Dateidatensätze
        Sie speichern Infos über „normale Dateien“ z.B.: Textdokumente, *.exe`s, etc
    -   Verzeichnisdatensätze
        Hier werden Dateinamen gespeichert und indiziert, außerdem indizieren sie
        Sicherheitsbeschreibungen, Bereitstellungspunkte und Verknüpfungsfunktionen.
    -   Hybrid Datensätze
        Enthalten Attribute die mit Datei- und Verzeichnisdatensätzen verknüpft sind.
[w2k S.866]

Die MFT liegt in der Regel am Anfang der Platte (aus Performance Gründen) und eine
zusätzliche Sicherungskopie liegt in der Mitte der Partition.



4.6.1.2 Metadaten

Die MFT enthält Informationen die sie selbst definieren. Diese Infos werden in speziellen
Datensätzen, Metadatensätze, gespeichert. Die ersten 26 MFT-Datensätze sind für
Metadaten reserviert, wovon 15 genutzt werden.



                                                                                             60
Kapitel 4. Technologiebeschreibung




Wichtige Metadatensätze:
   -   $Logfile
       Gegen den Datenverlust durch das „Lazy-Write“-Verfahren (s.o.) schütz sich NTFS
       mit dem „Log File Service“ (LFS). Kritische MFT-Informationen werden erst in das
       Logfile geschrieben und danach an die MFT übertragen. Nach einem Absturz des
       Systems werden die Protokolldateien auf die MFT angewendet und die Integrität
       wieder hergestellt.
   -   $Bitmap
       Auch NTFS enthält eine Clustertabelle in der unbenutzte Cluster verzeichnet sind.
   -   $BadClus
       Hier werden fehlerhafte Cluster verzeichnet.
[w2k S.868]



4.6.1.3 Datenspeicherverwaltung

Logical Disk Manager (LDM)
Der LDM bearbeitet die gesamte datenträgerbasierte Speicherung unter Win2000.
Dabei stehen ihm 2 Methoden zur Verfügung:
   1. Basisfestplatte
       Der Speicherplatz auf der Festplatte wird klassisch durch Partitionierung verteilt.
   2. Dynamische Festplatten
       Ein Verfahren, dass keine herkömmlichen Partitionen mehr verwendet, sondern sie
       durch eine LDM-Datenbank ersetzt und diese am Ende der Festplatte in einer
       Sonder-Partition speichert. Beim Einsatz vom mehreren Datenträgern, wird die
       LDM-Datenbank zwischen den Datenträgern repliziert und ermöglicht dadurch eine
       Selbstkonfiguration des Speichersubsystems. [w2k S.785]
        Alle dynamischen Festplatten auf einem Rechner nutzen die Kopie der LDM-
       Datenbank gemeinsam. Dadurch können Festplatten übergreifende Datenträger
       angelegt werden. Über den LDM lassen sich folgende Datenträgertypen
       konfigurieren:
       einfacher Datenträger
       Äquivalent zur klassischen Partition, ein bestimmter Anteil der Festplatte wird
       reserviert.
       übergreifender Datenträger
       Freie Speicherbereiche auf einem oder mehreren Laufwerken werden zu einem
       logischen Laufwerk verknüpft. Es ist eine einfache und schnelle Möglichkeit die
       Speicherkapazität zu erweitern ohne den Datenträger zu formatieren.

Beim Einsatz von Win 2000 und XP lassen sich mit Hilfe von dynamischen Festplatten die
in Kapitel 4.5.3 angesprochenen Software-RAID-Level 0, 1 und 5 realisieren. [w2k S.787]




                                                                                             61
Kapitel 4. Technologiebeschreibung



4.6.2 HFS - Hierarchical File System

HFS ist das Dateisystem von Apple was bis MacOs 8.0 zum Einsatz kam.
„Jedes Objekt, egal ob Ordner oder Datei, bekommt eine ID-Nummer, die im Katalog
abgelegt wird. Jedes neue Objekt erhält eine neue ID, damit die Eindeutigkeit gewährleistet
bleibt. IDs von bereits gelöschten Objekten werden nicht mehr vergeben.“ [wsf_hfs]
Objekte auf der Platte werden nur an Hand der ID identifiziert, nicht durch den Namen.
Zusätzlich wird zu jeder Datei noch die ID des Ordners, in der sie sich befindet,
geschrieben, so kann die komplette Hierarchie zurückverfolgt werden.

Im Katalog (Daten Fork) wird jede ID einem Aufenthaltsort zugewiesen. Zur Adressierung
der Aufenthaltsorte stehen nur 16 Bit zur Verfügung, so dass eine Festplatte nur in 65.536
Blöcke unterteilt werden kann. Je größer die Festplatte, je größer die Blöcke. Da in jedem
Block nur eine Datei gespeichert werden kann, wird viel Platz verschenkt.
In einem weitern Katalog (Ressource Fork) stehen Datei-Informationen und Standorte von
fragrentierten Dateien. [wfs_hfs]


4.6.2.1 HFS+

Mit MacOS 8.1 wurde HFS+ eingeführt. Dabei ist die wichtigste Änderung, dass der
Adressierung nun 32 Bit zur Verfügung stehen. Kleine Dateien verschwenden jetzt zwar
weniger Platz, aber bei vielen Blöcken leidet die Performance. Auch hier muss man einen
Kompromiss zwischen Platz und Performance eingehen. [wfs_hfs]



4.6.3 UFS - Universal File System

UFS ist in vielen UNIX-Varianten, darunter auch in Mac OS X, der Standard. Am Anfang
der Platte steht der Superblock, er enthält wichtige Informationen für das Dateisystem.
Danach folgt der Block Bitmap, in dem verzeichnet ist welcher Block belegt ist oder nicht.
Zur Verwaltung der Dateiinformationen werden hier so genannte i-Nodes verwendet. Sie
stellen einen Indexeintrag da und sind in einer Tabelle hinter dem Block Bitmap auf der
Festplatte angeordnet. Pro Datei gibt es einen i-Node in dem unter anderem die
Datenblöcke der Festplatte (Direct Block) verzeichnet sind, in denen sich die Datei
befindet. Voreingestellt ist ein i-Node pro 2 KByte Plattenplatz, d.h. eine Platte mit 1 GByte
Kapazität kann 500.000 Dateien speichern. Zur Steigerung der Effizients werden in der
Regel 16 i-Nodes zu einer Gruppe zusammen gefasst.
Auf der Festplatte folgen nach der i-Node Tabelle nur noch Datenblöcke.




                                                                                                 62
Kapitel 4. Technologiebeschreibung



                         SuperBlock     BlockBitmap

                                  I-Node Tabelle


                          Datenblöcke




                       Abbildung 26: Schematischeraufbau des UFS


Zwischen Groß- und Kleinschreibung wird bei UFS unterschieden.
Verweise auf andere Dateien werden direkt im Dateisystem gespeichert.



4.6.4 Journaling- Dateisysteme

Bei einem Journaling-Dateisystem wird ein Journal über grade geänderte Dateien geführt
und die geänderten Dateien behalten so lange ihre Gültigkeit, bis der Schreibvorgang
beendet ist. Das hat zum Vorteil, dass bei einem Systemabsturz nicht das ganze Dateisystem
überprüft werden muss, sondern nur die Dateien, die zum Zeitpunkt des Absturzes in
Bearbeitung waren.
„Man unterscheidet zwischen Metadaten-Journaling und Full-Journaling. Während
Metadaten-Journaling lediglich die Konsistenz des Dateisystems garantiert, wird beim Full-
Journaling auch die Konsistenz der Dateiinhalte gewährleistet. Umgangssprachlich wird oft
der allgemeine Begriff des Journaling verwendet, wenn eigentlich Metadaten-Journaling
gemeint ist.“ [wiki_journal]




4.6.5 Reiser- Dateisystem

Das Reiser-Dateisystem stammt aus der Familie der Journaling-Dateisysteme und es ist das
erste dieser Art, das in einen LINUX-Kernel eingefügt wurde.
Es verwaltet, im Unterschied zu den herkömmlichen Systemen seine Datenstrukturen in
Form eines einzigen balancierten Baums. Dabei wird das Problem gelöst, kleine und große
Dateien effektiv zu verwalten. [unifam_reiser]




                                                                                             63
Kapitel 4. Technologiebeschreibung




4.7 iSCSI - SCSI over IP

iSCSI steht für „SCSI over IP“ oder auch „Internet SCSI“.
Es verbindet das Massenspeicherprotokoll SCSI mit dem Transportprotokoll TCP/ IP. Mit
seiner Busarchitektur kann SCSI nur eine begrenzte Anzahl von Geräten über eine kurze
Distanz ansprechen. In Verbindung mit TCP/ IP ist es nun möglich eine Vielzahl von
Geräten über eine große Entfernung hinweg zu vernetzen.

Durch die Kombination dieser Eigenschaften ist iSCSI sehr interessant für den Einsatz im
Storagebereich und wird heute als Alternative für Fibre Channel vermarktet.

iSCSI ist allerdings noch ein recht junges Produkt und profitiert stark von der
flächendeckenden Verfügbarkeit von Gigabit-Ethernet im Serverbereich. Wie es bei
Produkteinführungen üblich ist, hat iSCSI eine Menge Kritiker gegen sich. Aber durch
einen stetigen Ausbau der Produktpalette wird iSCSI im SAN-Umfeld zunehmend
bedeutsamer.

Initiatoren und Targets
Genau wie bei SCSI unterscheidet man bei iSCSI zwischen zwei Typen von Geräten, den
Initiatoren und den Targets.
Initiatoren leiten die Kommunikation mit einem Target ein und senden Befehlsanfragen an
selbiges. Das Targets bestehen aus mehreren Logical Units (LUN) die diese Anfragen
empfangen und abarbeiten. [cisco_iscsi]

Im Storage-Umfeld ist ein Server der Initiator. Er richtet eine Anfrage an das Target, dem
Storage Device. Das Target besteht aus einem oder mehreren Logical Units (LUN), die die
Anfrage eines Initiators annehmen und verarbeiten.



4.7.1 Encapsulation

SCSI-Datenpakte werden in TCP/IP-Pakte verpackt und über Ethernet verschickt. Diese
Modulation der SCSI-Kommandos nennt man „Encapsulation“. [san S. 27] [nc_iscsi]


                                                                   iSCSI- PDU
                                                                   Protocol Data Unit

      IP       TCP        iSCSI      SCSI DATEN
                                                                  SCSI- CDB
                                                                  Command Diskriptor Block




    Abbildung 27: iSCSI Encapsulation


Wenn ein Initiator auf ein Target zu greifen will, baut er eine TCP-Verbindung auf und
stellt eine SCSI-Anfrage, einen so genannten Command Descriptor Block (CDB). Der CDB



                                                                                             64
Kapitel 4. Technologiebeschreibung



wird intern an die iSCSI Transport-Schicht weiter gereicht und in eine iSCSI-Protocol Data
Unit11 (PDU) eingeschlossen (encapsulated). Von dort aus wird die PDU zum Transmission
Control Protocol (TCP) gereicht und über das Ethernet versendet. Nachdem eine LUN
innerhalb des Targets das Paket erhalten hat, wird in umgekehrter Reihenfolge das SCSI-
Kommando separiert, zum internen SCSI-Controller geschickt und verarbeitet. [cisco_iscsi]
Für den Server ist die Zwischenschicht vollkommen transparent, für ihn scheint es so, als
hätte er das Target (z.B.: Festplatten) im direkten Zugriff.

Das Encapsulating kann entweder von dem Betriebssystem in Kombination mit einem
Software-Initiator und einer Netzwerkkarte (Network Interface Card – NIC) oder von einem
speziellen iSCSI-Controller übernommen werden.

Für eine Menge von Betriebssystemen stehen mittlerweile iSCSI-Treiber zur Verfügung.
Microsoft bietet sie für seine Betriebssysteme kostenlos zum download an.
Durch den Treiber interpretiert das Betriebssystem die NIC als SCSI 3-Adapter. Allerdings
muss man beachten, dass der TCP/ IP- und iSCSI-Protokollstack die Host-CPU sehr
belasten. (siehe Kapitel 6.2)

Mit iSCSI-HBAs werden die Pakete nur innerhalb des Controller moduliert und die Host-
CPU wird nicht zusätzlich belastet. Allerdings bewegen sie sich preislich im selben
Segment wie FC-HBAs. [nc_iscsi]



4.7.2 iSCSI- Verwaltung

SCSI und TCP/ IP sind vom Aufbau her sehr verschieden.
Zum Beispiel müssen SCSI-Datenpakete in der richtige Reihenfolge übertragenen werden.
Bei TCP/ IP hingegen werden Pakete ohne strikte Reihenfolge versendet.
iSCSI verfügt deshalb über Mechanismen um die beiden Protokolle dennoch zur koppeln.




4.7.2.1 Namen und Adressierung

Entity und Node
Eine Netzwerk-Entity ist eine Abstraktion für ein Gerät, das über ein IP-Netzwerk zu
erreichen ist. Zur Kommunikation muss jede Entity ein oder mehrere Netzwerk-Portale
besitzen, die wiederum von einem oder mehreren iSCSI-Nodes genutzt werden um Zugang
zu dem IP-Netzwerk zu erlangen. Ein iSCSI-Node repräsentiert dabei einen Initiator oder
ein Target. [hp_iscsi_ov] [rfc_3721]




11
       PDU: Enthält entweder SCSI-Kommandos oder Daten



                                                                                             65
Kapitel 4. Technologiebeschreibung




           Entity


               Initiator/ Target




                                     Adresse
                                      Portal-
                                                               IP- Netz
                 Node- Name



          Abbildung 28: Schema einer Netzwerk-Entity


Es ist zu beachten, dass ein Portal keine physikalischen Netzwerkkarte ist. Auf einer
physikalischen Karte können durchaus mehrer Portale aufsetzten. [hp_iscsi_ov]
Adaptec bietet z. B. einen iSCSI-HBA an, der gleichzeitig vier IP-Adressen hat.


Namen
Zur Identifikation besitzt ein Node (Initiator oder Target) einen eindeutigen Name (max.
255 Bytes). Dabei ist der Name nicht mit dem Netzwerkportal und dem Standort verknüpft,
denn das hat den Vorteil, dass bei einem Standortwechsel oder bei einem Hardwaretausch
die Storage-Einstellungen nicht umkonfiguriert werden müssen. Außerdem kann man den
Storage vom Standort unabhängig managen. [rfc_3721]

Es gibt zwei Formate für iSCSI-Namen:
    -   iqn (iSCSI qualifier name)
        Domain-Name wird mit verwendet
    -   IEEE EUI
        besteht aus HEX-codierten ASCI IEEE-EUI-64 Kennungen
[rfc_iscsi]

Obwohl ein iSCSI-Node durch mehreren Netzwerk-Portale Zugang zum IP-Netz hat, wird
er nur über seinen Namen, nicht aber über die Portal-Adressen identifiziert.


Adressen
Die iSCSI-Adresse identifiziert ein Netzwerk-Portal auf das ein Node zugreifen kann. Da
eine Entity durch aus mehrere Portale haben kann, kann auch ein Node über mehrere
Adressen erreichbar sein. [rfc_iscsi]
Target- und Initiator-Adresse weichen von einander ab:
   -    Target Adress
        Die Adresse eines Target-Portals besteht aus dessen IP-Adresse und dem TCP-Port
        (default 3260) der permanent für den Login abgehört wird. [hp_iscsi_ov]
    -    Initiator Adresse
         Die Initiator Adresse besteht nur aus dessen IP-Adresse. Denn bei Schreib- und
         Lese-Operationen wird der Port dynamisch gewählt und ändert sich mit jeder
         Applikation. Daher gibt es keinen fest definierten Initiator-Port. [hp_iscsi_ov]



                                                                                            66
Kapitel 4. Technologiebeschreibung



iSCSI-Adressen können sich ständig ändern, besonders beim Einsatz eines DHCP-Servers,
darum werden sie auch nur über ihren Namen identifiziert.

4.7.2.2 Verbindungsmanagement

Login
Für jede TCP-Verbindung zwischen zwei iSCSI-Devices ist als erstes ein Login
erforderlich. Dabei authentifizieren sich die beiden Teilnehmer untereinander,
Verbindungsparameter werden ausgehandelt, Sicherheitsprotokolle werden gestartet und die
Verbindung wird als iSCSI-Verbindung markiert.
Das Target hört permanent einen TCP-Port ab (default 3260) und wartete auf
Verbindungsanfragen. Der Login-Prozess wird begonnen, indem der Initiator an diesen Port
einen Login-Request sendet. Erhält er daraufhin als Antwort vom Target den Login-
Respond, so geht die Verbindung in die „Full Features Phase“ über und der Initiator kann
nun mit der Kommunikation beginnen. [rfc_iscsi]
Ein Login kann nur vom Initiator eingeleitet werden und ist insgesamt vergleichbar mit dem
Fibre Channel PLOGI (s.o.).

Session
Eine Session fasst alle TCP-Verbindungen, die sich zwischen einem Initiator und
zugehörigem Target in der Full Feature Phase befinden, zusammen.
Jede Session wird eindeutig über eine Session-ID (SSID) identifiziert. Zu einer bestehenden
Session können weiter TCP-Verbindungen hinzu gefügt oder entfernt werden. Jede
Verbindung innerhalb einer Session wird anhand seiner Verbindungs-ID (CID) identifiziert.
[rfc_iscsi]
Wenn innerhalb einer Session mehr als eine TCP-Verbindung besteht, schreibt iSCSI vor,
dass zu jeder Anfrage die dazu gehörige Antwort über die selbe Verbindung übertragen
wird. Das wird als “Connection allegiance” bezeichent. [rfc_iscsi]


         Netzwerk- Entity                                                Netzwerk- Entity
            ( iSCSI- Host )           Session 1                          ( iSCSI- Storage )
                                                    TCP- Verbindung 1
                                                                           LUN    Node
                                                                           LUN   (Target)
             iSCSI- Node                            TCP- Verbindung 2
               (Initiator)
                                                                                  Node
                                                                           LUN
                                     TCP- Verbindung 1                           (Target)
                                                             Session 2

         Abbildung 29: iSCSI-Session
Am Ende einer Session teilt der Initiator dem Target mit, dass er die letzten Daten
erfolgreich empfangen hat. Darauf hin sendet das Target eine letzte Bestätigung und
schließt die Session. [dl_iscsi]

Command numbering
Innerhalb einer Session werden alle Kommandos (PDU), die vom Initiator zum Target
gehen, mit einer Command Sequenz Number (CmdSN) nummeriert. Das stellt sicher, dass



                                                                                              67
Kapitel 4. Technologiebeschreibung



die übermittelten Pakete, egal über welche TCP-Verbindung sie übertragen wurden, in der
richtigen Reihenfolge ankommen.
Wichtige Kommandos können zusätzlich mit einem „Immediate delivery Flag“ versehen
werden (z.B. Management-Kommandos). Zusätzlich kann das Flag innerhalb einer Session
noch als Fluss-Kontrolle dienen. [rfc_iscsi]

iSNS
Zur Verwaltung von iSCSI-Devices innerhalb eines Netzwerks wurde iSNS (Internet-
Simple-Name-Service) entwickelt. Die Endgeräte lassen ihre Namen und Adressen an
einem iSNS-Server registrieren und können über ihn Informationen über andere Endgeräte
beziehen. Des weiteren erleichtert es die Verwaltung und ein Administrator kann den Status
einzelner Devices abfragen. [nd_isns] [nc_iscsi]
Man kann es prinzipiell mit dem Simple Name Server von Fibre Channel vergleichen.

4.7.2.3 Fehlerbehandlung

In IP-Netzwerken, besonders in öffentlichen (WAN), ist die Wahrscheinlichkeit von
Übertragungsfehlern sehr hoch. Darum verfügt iSCSI über Maßnahmen zur
Fehlerbehandlung. Grundvoraussetzung dafür ist, dass PDUs vor der Verarbeitung
zwischen gespeichert werden und das die Möglichkeit besteht, defekte und fehlende PDUs
neu anzufordern. [dl_iscsi]
Dazu wird die Fehlerbehebung in drei hierarchische Klassen unterteilt:


    -   Level 2: Connection recovery level
        Tritt ein TCP-Verbindungsfehler auf der Initiator-Seite auf, so muss er die
        Verbindung mit „remove connection to recovery“ beenden und neu starten.
        Wenn auf der anderen Seite die Verbindung durch das Target beendet wird, wird
        über eine andere Verbindung ein neuer Verbindungsaufbau vom Initiator beantragt.
    -   Level 1: Digest failure class
        Ist eine PDU defekt oder fehlt im Puffer, so wird sie erneut angefordert.
    -   Level 0: Session recovery class
        Wenn die beiden voran gegangenen Mechanismen fehl geschlagen sind, werden alle
        TCP-Verbindungen geschlossen und komplett neu gestartet (incl. Login).
[rfc_iscsi]




4.7.2.4 Sicherheit

Im klassischen Speicherumfeld waren Sicherheitsmaßnamen bisher nicht notwendig, da die
Festplatten in der Regel direkt im Server saßen. Durch iSCSI ist es aber nun möglich,
Server und Storage räumlich zu trennen, was das Angriffspotenzial erhöht.
Mit Hilfe der Kombination von Chap (Challenge Handshake Authentification Protocol) und
SRP (Secure Remote Password) wird eine sicher Authentifizierung zwischen dem Initiator



                                                                                             68
Kapitel 4. Technologiebeschreibung



und dem Target gewährleistet. Für eine sichere, verschlüsselte Verbindung zwischen den
beiden sorgt IPSec (IP- Security Protocol). [rfc_iscsi]

Auf die genaue Funktionsweise der oben genannten Protokolle soll hier nicht weiter
eingegangen sein. Ein kompakte Übersicht bietet dafür Wikipedia.



4.7.4 Geschwindigkeit und Übertragungsraten

SCSI ist theoretisch in der Lage, pro Datenblock maximal 32 MByte Daten zu übertragen.
Bei einem TCP/ IP-Paket begrenzt sich das mögliche Volumen auf 1500 Bytes Nutzdaten
und die müssen sich iSCSI und SCSI auch noch teilen (s.o.).
Dieser kurze Vergleich macht deutlich, dass TCP/ IP eher für kleine Datenmengen
konzipiert wurde und in dieser Kombination eher ein Flaschenhals ist. [nc_iscsi]

Jumbo-Frames
Um auch mit TCP/ IP höhere Übertragungsdichten zu erlangen, wurden Jumbo-Frames
entwickelt. Mit ihrer Hilfe ist es möglich, den Payload eines Paketes auf max. 9000 Bytes
zu erhöhen. Allerdings ist dafür eine Gigabit-Infrastruktur erforderlich, die in der Lage ist
Jumbo-Frames verarbeiten zu können. [nc_iscsi]

Interrupts
Wird kein iSCSI-HBA eingesetzt, dann erzeugt das Encapsulating eines 1 Gigabyte großen
File ca. 80000 Host-CPU-Interrupts.
Beim Einsatz eines iSCSI-HBAs übernimmt dieser das Encapsulating und die Host-CPU
wird nicht zusätzlich belastet. [san_S.46]

Ethernet: Carrier Sense Multiple Access/ Collision Detection
Lokale, auf iSCSI basierende SANs, werden hauptsächlich über Ethernet betrieben.
„Ethernet nutz das „Carrier Sense Multiple Access/ Collision Detection“-Verfahren, kurz
CSMA/CD. Dabei „hören“ alle Teilnehmer permanent im Netz mit und entscheiden, ob die
Informationen für sie bestimmt ist, indem die Adress-ID des Frames ausgelesen wird. Wenn
die Daten übertragen werden sollen, werden die Frames sofort über das Netz geschickt. Da
jedoch immer nur ein Teilnehmer zur gleichen Zeit in einer Ethernet-Verbindung Daten
übertragen kann, kommt es häufiger zur Datenkollisionen. Wenn diese vorliegt, wird ein so
genanntes „JAM“-Signal ausgegeben, und alle Teilnehmer senden ihre Informationen in
unterschiedlichen Zeitabständen erneut. Hier liegt die „Schwachstelle“ des CSMA/CD. Je
mehr Teilnehmer in einem Netz verbunden sind und je größer die zu übertragenden Datei
ist, um so häufiger kommt es zu Datenkollisionen, was zur Folge hat, dass die eigentliche
Übertragungsgeschwindigkeit des Netzes herabgesetzt wird. So wird im Gigabit-Ethernet
eine effektive Datenübertragung von etwas 50 MB/sec erreicht.“ [san_S.46]
In Zeiten moderner Switche und NICs, bauen die beiden unter einander eine dedizierte
Verbindung auf, so dass es praktisch nicht mehr zu Kollisionen kommen kann. [pa_cmcs]
Trotzdem hören beide den Verkehr auf der Datenleitung ab und generieren dadurch
Overhead.



                                                                                                69
Kapitel 4. Technologiebeschreibung



Netztrennung
Theoretisch ist es möglich, iSCSI zusammen mit einem vorhandene LAN über eine
gemeinsame Infrastruktur zu betreiben. In der Praxis hat sich aber gezeigt, dass die Netzlast
so stark steigt, dass es andere Anwendungen und Protokolle behindert. Kaskadierte Switche
verschlechtern die Performance zusätzlich. [nc_iscsi]
Will man die maximale Geschwindigkeit von iSCSI erreichen, so sollte man es über eigene
Switche oder zumindest über ein VLAN betreiben.

Geschwindigkeitsmessung
Das Thema wird im späteren Kapitel 6. Performance noch genauer behandelt. Hier vorweg
ein kurzer Überblick:

                         Fibre Channel       Fibre Channel         iSCSI          iSCSI
                           1 Gbit/sec          2 Gbit/sec        Gbit- LAN     shared LAN
      Übertragungs-                                                               25-30
      Geschwindigkeit     75 MByte/sec       155 MByte/sec      45 MByte/sec
                                                                                MByte/sec
     Tabelle 12: Geschwindigkeitsvergleich von FC und iSCSI [nc_iscsi]




4.7.5 Einsatzmöglichkeiten

Dadurch, dass die Hersteller mittlerweile eine sehr große und umfangreiche iSCSI-
Produktpalette anbieten, hat iSCSI einen weiten Einsatzbereich. So kann man z. B. ein
komplettes SAN mit iSCSI realisieren oder aber auch einen Mischbetrieb von FC und iSCSI
wählen.

Komplettes iSCSI-SAN mit eigener Infrastruktur
EMC12 bietet seit Frühjahr 2005 seine Midrange-Serie Clariion 300/ 500 auch mit externen
iSCSI-Anschlüssen an. Kombiniert mit zwei redundanten Gigabit-Switchen (müssen
Multiprotokoll fähig sein) und iSCSI-HBAs oder zusätzliche NICs in den Server kann es
eine Alternative zu FC-Fabrics sein.

Mischbetrieb von FC und iSCSI
Zentral werden hier Multiprotokoll SAN-Switche verwendet. Sie verstehen sowohl FC als
auch iSCSI und dienen als Schnittstelle zwischen den beiden Protokollen. Das
Storagedevice und hoch performante Server arbeiten mit Fibre Channel. Weniger
performante Systeme werden an das Fabric mit iSCSI-HBAs oder nur über eine zusätzliche
NIC in Kombination mit einem Treiber angeschlossen.

iSCSI mit Nutzung von vorhandenen IP-Netzwerken
Eine kostengünstige Lösung ist der Betrieb von iSCSI in einem vorhandenen IP-Netz.
Durch den Einsatz von iSCSI-Treibern werden die vorhandenen Netzwerkkarten weiterhin
genutzt. Wenn keine besonderen Ansprüche an die Performance gestellt werden und man

12
         EMC: Führender Hersteller von Speicherlösungen



                                                                                                70
Kapitel 4. Technologiebeschreibung



aber trotzdem die Vorteile eines Speichernetzwerks nutzen möchte, kann diese Lösung
durchaus interessant sein.

Anbindungen von Außenstellen
Eine Außenstelle kann an ein, z. B. in der Geschäftszentrale bestehendes, FC-Fabric per
iSCSI und passendem Gateway/ Bridge durch einen VPN-Tunnel an gebunden werden.
Dabei können wahlweise nur einzelne Server (z. B. Backup) oder aber auch ein zweites
SAN angeschlossen werden.



4.8 Vergleich von FC mit iSCSI

Laut Marketingabteilungen der Hersteller ist iSCSI im SAN-Umfeld eine gute Alternative
für Fibre Channel. Ein Vergleich ist nicht ganz einfach, denn es liegt sehr an den
Anforderungen an das SAN, welches Protokoll am besten dazu paßt.

FC ist technologisch überlegen, denn es wurde einzig und allein dafür entwickelt um im
Storage-Umfeld schnell zu sein. iSCSI wurde entwickelt, um in einem IP-Netz möglichst
schnell zu sein.
Wichtig ist, dass man sich im Vorfeld klar wird, welche Anforderungen man an sein SAN
stellt und danach seine eigene Bewertung vornimmt (siehe Kapitel 7).
Dafür wurde der technologische- und der finanzielle Aspekt getrennt von einander
betrachtet. So kann man anhand seiner Anforderungen und dessen Prioritäten eine
Entscheidung treffen.



4.8.1 Technischer Vergleich

Geschwindigkeit
Quellen aus dem Internet (siehe Kapitel 6. Performance) belegen, dass iSCSI ohne
Verwendung eines iSCSI-HBAs nur die Hälfte an Übertragungsgeschwindigkeit von 1
Gbit/sec Fibre Channel erreicht, was auf die zusätzlichen CPU-Interrupts (s.o.) zurück zu
führen ist.
Mit Hilfe eines iSCSI-Adapters rückt iSCSI recht nah an die Übertragungswerte von 1
Gbit/s FC heran. Da aber die aktuellen FC-Geräte mit 2 Gbit/sec laufen, ist FC heutzutage
deutlich schneller.
Übertragungsraten von 2 Gbit/sec sind bei FC-Geräten Standard und Geräte die 4 Gbit/sec
übertragen können, sind auf der CeBit 2005 vorgestellt worden. iSCSI arbeitet heute auf
Gigabit-Ethernet und ab Herbst 2005 wird die flächendeckende Einführung von 10 Gigabit
erwartet.

Mit der Einführung von 10 Gigabit-LAN werden FC und iSCSI geschwindigkeitstechnisch
näher zusammen rücken. Messungen, die diese Aussage stützen oder konkretisieren wurden
im Internet leider nicht gefunden.



                                                                                            71
Kapitel 4. Technologiebeschreibung



Bis aber 10 Gbit/sec Ethernet Komponenten auf einer breiten Front verfügbar sind und
dadurch preislich interessant werden, dürfte 4 Gbit/ses FC den selben Status erlangt haben.

Ein grundsätzliches Problem beim Ethernetbetrieb ist die Verwendung von CSMA/CD
(s.o.). Egal ob 100 MBit/sec- oder 1000 MBit/sec Ethernet-Geräte zum Einsatz kommt, eine
Kollisionsüberwachung ist fest implementiert.

Die ständige Steigerung von Übertragungsraten liest sich auf dem Papier immer sehr gut.
Dabei stellt sich aber die Frage, welche Anwendungen diese Raten noch ausnutzen sollen.
Im Moment gibt es nur sehr wenig Anwendungen (Mediadateien), die diese hohe
Performance auf der Serverseite benötigen.

Kommt eine interne NIC in Kombination mit einem Treiber zum Einsatz, so das System
nicht mehr aus dem SAN boot fähig und muss über interne Platten verfügen.

Übertragungsarten und Entfernung
Beide Protokolle bieten die Möglichkeit über Kupferkabel oder Lichtwellenleiter betrieben
zu werden. Bei dem Betrieb von Lichtwellenleiter hat man so wohl bei iSCSI, als auch bei
FC die Wahl zwischen Multi- oder Singlemode (s.o. FC-0: Physical Interface).

iSCSI- und FC-HBAs werden ausschließlich über LWL angeschlossen, so dass eigentlich
nur noch Kupfer zum Einsatz kommt, wenn iSCSI über eine NIC in Kombination mit einem
Treiber verwendet wird.

                                         Fibre Channel           Gigabit Ethernet
          max. Entfernung
                                              500 m                    550 m
            Multimode
          max. Entfernung
                                              10 km                    3 km
           Singlemode
  Tabelle 13: Entfernungsvergleich FC mit iSCSI [san_S.46]


Know How zur Realisierung
iSCSI basiert auf IP-Netzen dessen Technologie sehr weitläufig verbreitet und bekannt ist,
so dass eine Implementierung eines iSCSI-SANs recht „leicht“ von der Hand geht.
Fibre Channel basiert auf einem komplexen Protokoll für dessen Verständnis eine gewisse
Einarbeitungszeit benötigt wird oder ein teurer Fachmann zu Rate gezogen werden muss.
4.8.2 Kosten Vergleich

Der Kostenvergleich wird an Hand der EMC Clariion Serie geführt. Seit Frühjahr 2005
bietet EMC ihre Midrange-Serie wahlweise mit externen FC- oder iSCSI-Anschlüssen an.
Intern werden die Festplatten weiterhin mit FCAL angeschlossen.
Dieser Vergleich hat den weiteren Vorteil, dass ein Mischbetrieb aus iSCSI-Infrastruktur
und FC-Storagedevice gleich mit abgedeckt wird.




                                                                                              72
Kapitel 4. Technologiebeschreibung



4.8.2.1 Anschaffungskosten

Wie in Kapitel 3.4 SAN Preisgefüge schon erläutert, teilen sich die Anschaffungskosten in
drei Bereiche: Storagedevice, Software und Infrastruktur.

Der Kostenunterschied für ein Storagedevice mit FC- oder iSCSI-Anschluss spielt keine
Rolle, denn intern sind die EMC Clariion Geräte baugleich. Der einzige Unterschied sind
die externen Anschlüsse für die SAN-Switche.

Ähnlich sieht es bei der Software aus. Egal welche externe Schnittstelle verwendet wird, die
Software bleibt die selbe.

Wo ein erster Unterschied auftritt, ist bei den Infrastrukturkosten.
Zwar kosten iSCSI-HBAs mittlerweile fast genauso viel wie FC-HBAs, so dass bei der
gleichen Anzahl von verwendeten Adaptern keine großen Kostenersparnisse zu erwarten ist.
Allerdings bietet iSCSI die Möglichkeit erst einmal mit einem Treiber, in Kombination mit
der internen NIC, zu arbeiten und dann zu entscheiden, ob es aus Performancegründen
ratsam wäre einen iSCSI-HBA nach zu rüsten. Das setzt aber auch voraus, dass die
vorhandenen Switche genutzt werden, denn wenn extra SAN-Ethernet Switche zum Einsatz
kommen, dann benötigten die Server eine zusätzliche Netzwerkkarte, eine für das LAN und
eine für das SAN.

Der größte Unterschied tritt bei den SAN-Switchen auf. Gemessen an der Port-Anzahl sind
FC-Switche wesentlich teurer als Gigabit-Ethernet-Switche für den iSCSI Betrieb.

Wird iSCSI und FC im Mischbetrieb betrieben, schmilzt der Preisvorteil von iSCSI noch
weiter zusammen, denn dann müssen Multi-Protokoll-Switche eingesetzt werden die beides
können, FC und iSCSI. Diese liegen preislich aber im FC-Switch Segment, so dass man
dabei evtl. nur ein paar iSCSI-Adapter ein sparen kann.

4.8.2.2 Betriebskosten

Ein unbestrittener Vorteil von iSCSI ist seine Verwandtschaft zu IP-Netzen. Jeder System-
und Netzwerkverwalter hat schon mit IP-Netzen gearbeitet und das Wissen ist weit gestreut.
Das bringt den Vorteil, dass die Wartung, Pflege und Erweiterung ohne teure Spezialisten
auskommt und vom Stammpersonal durchgeführt werden kann. Das kann die
Betriebskosten in einem beträchtlichem Maße senken.
4.8.3 Fazit

Der viel beworbene Kostenvorteil von iSCSI lässt sich nur erzielen, wenn das SAN nicht
auf hohe Performance ausgerichtet werden muss und man die vorhandene Infrastruktur mit
benutzt. Denn dann muss nicht noch in zusätzliche HBAs/ NICs und Switche investiert
werden. Vorraussetzung dafür ist aber, dass die angeschlossenen Server performant genug
sind, das Encapsulating mit der eigenen Netzwerkkarte vornehmen zu können und das eine
Gigabit Switch-Infrastruktur vorhanden ist.



                                                                                               73
Kapitel 4. Technologiebeschreibung




Ist Performance gefragt oder sind die Server nicht in der Lage das Encapsulating selbst vor
zunehmen, müssen HBAs zum Einsatz kommen. Die einzige, relevante Ersparnis tritt dann
bei den SAN-Switchen auf.
Aber man sollte sich dann auch fragen, ob die Einsparungen den bewiesenen technischen
Nachteil recht fertigen.




4.9 FCIP

FCIP (FC over TCP/ IP ) ist ein Standard zum Tunneling des Fibre Channel Protokolls über
IP-Netze. Dies ermöglicht das Koppeln verschiedener SANs über ein öffentliches Netz.
Gateways übernehmen das Encapsulating und das Routing der FC-Pakete. [ip_san]



                                FCIP                        FCIP
   FC- SAN 1                                MAN / WAN                          FC- SAN 2

                  Gateway                                            Gateway


Abbildung 30: Einsatzmöglichkeit von FCIP




4.10 iFCP

iFCP (Internet Fibre Channel Protokoll) bietet die Möglichkeit FC-Pakete über TCP/ IP zu
übertragen. Mit Hilfe von FC-to-Ethernet-Gateways oder iFCP-Switchen kann man SANs
koppeln, einzelne Devices an ein SAN anschließen oder auch nur zwei FC-Geräte mit
einander verbinden. [ip_san]



                                iFCP                        iFCP               FC
    FC- SAN                                 IP Network
                  Gateway                                           Gateway
                   Switch                                            Switch         Server


Abbildung 31: iFCP Einsatzmöglichkeit




                                                                                              74
Kapitel 5. SAN- Management




5. SAN- Management

In den voran gegangen Kapiteln wurde erklärt was ein SAN ist, welche Möglichkeiten es
bietet und auf welchen Technologien es aufsetzt. In diesem Kapitel wird auf seine
Verwaltung eingegangen.

Ein SAN kann eine Größenordnung von bis zu 64000 Ports erlangen. Selbst wenn man
„nur“ von 300 Ports ausgeht, sind das immer noch ca. 100 Server. Das Verwalten eines
solchen SANs erfordert vorab eine gewisse Planungen. Auch wenn umfangreiche Software
das Management erleichtert, so muss man sich doch mit einigen Punkten auseinander
setzten.



5.1 End to End- Management

End to End-Management beschäftigt sich mit dem Datenverkehr zwischen den SAN-
Teilnehmern.
Um den Datenverkehr innerhalb des SANs so effektiv wie möglich zu gestallten, hat sich
die Aufteilung der Managementaufgaben in fünf hierarchische Klassen bewährt.
[san_s.177]

Nr.         Schicht                                    Funktion
                             -    Ressourcenoptimierung
       Applikations-
  5                          -    Failover/ Failback/ Clustermanagement
       Management
                             -    Lastverteilung
                             -    Backup und Restore
       Daten-                -    Datenbewegung
  4
       Management            -    File Management
                             -    Hierarchisches Speichermanagement
                             -    Inventar-/ Kapazitäts- und Kapitalmanagement
       Ressourcen-
  3                          -    Monitoring und Reporting
       Management
                             -    Speicheraufteilung (Disk-, Tape-Pooling)
                             -    Fehlermanagement
       Netzwerk-
  2                          -    Konfigurationsmanagement
       Management
                             -    Performancemanagement

       Geräte-
  1                          -    SAN Hardware Management
       Management

Tabelle 14: Hierarchische Klassenaufteilung der Managementaufgaben [san_S.178]


Bisher gibt es noch keine Software, die alle Schichten mit einander vereint. Die Hersteller
bemühen sich aber ihre einzelnen Komponenten weitestgehend miteinander zu verzahnen.
[san_S. 178]



                                                                                              75
Kapitel 5. SAN- Management



Applikationsmanagement
In der obersten Schicht sind die IT-Lösungen eines Unternehmens und deren Integration in
ein SAN zu finden. Es ermöglicht eine umfassende Sicht auf alle Netzwerkressourcen
(Fabric, Speichersubsystem, Server, Tapes, ...). [san_S.179]

Datenmanagement
In dieser Schicht geht es um die Qualität (Verfügbarkeit und Performance) und um die
Sicherheit (Backup, Recovery und Archivierung) der Daten. [san_S.178]

Ressourcenmanagement
Wie der Name schon sagt, behandelt diese Schicht die Ressourcen, die dem SAN zur
Verfügung stehen. Dazu gehört Disk Pooling, Tape Pooling, Tape Sharing und Speicher
Management.

Netzwerkmanagement
Hier wird die Verbindung unter den Geräten verwaltet, z.B.: Welchem Server ist welche
LUN zugewiesen, benötigt ein Server eine garantierte Bandbreite, sind Netzwerkfehler
vorhanden oder muss in ein externes Netz geroutet werden?
Von der Netzwerkebene aus, gibt es zwei Sichtweisen für das SAN:
    1. physikalische Sicht
       Die physikalische Sicht identifiziert die einzelnen SAN-Komponenten:
       Clients, Server, Storagedevices und Netzwerkkomponenten.
    2. logische Sicht
       Die logische Sicht ist unabhängig von der physikalischen und spielt im
       Management eine große Rolle, denn hier liegt der Vorteil des SANs. Kapazitäten
       werden dem Server logisch zugewiesen, womit sie ihm physikalisch zur Verfügung
       stehen.
[san_S.180]

Gerätemanagement
Die unterste Schicht erlaubt es Geräte zu konfigurieren. Um überhaupt etwas zu
konfigurieren, ist es notwendig, dass auf den Geräten eine Software läuft. Will man z.B. den
Port-Status eines intelligenten LAN-Switches ändern, hat man dazu zwei Möglichkeiten:
    1. Inband Managment
        Man nutzt die physikalische Verbindung des LAN um sich mit Hilfe eines
        Internetbrowsers mit dem Webinterface eines Gerätes zu verbinden.
        In einem SAN würde man FC oder iSCSI nutzen.
    2. Out of Band Management
        Es wird eine gesonderte Verbindung genutzt um Zugang zu dem Gerät zu
        bekommen. In der Regel ist das eine RS232-Schnittstelle.
[san_S.181]




                                                                                               76
Kapitel 5. SAN- Management




5.2 LUN- Verwaltung

Einen großen Unsicherheitsfaktor bringt ein FC-SAN von Haus aus selber mit.
Storagedevices stellen innerhalb eines SANs ihre Festplattenkapazität als Logical Units
(LUNs) zur Verfügung. Jeder Server hat erst einmal Zugriff auf jede LUN der
angeschlossenen Storagedevices. Dies führt sehr schnell zu Unübersichtlichkeiten und
Verwechslungen. Es wäre z. B. fatal wenn ein Windows-Server eine Unix-Festplatte löscht,
nur weil er sie nicht als Datenträger erkennt. Um dem Vorzubeugen hat FC zwei
Mechanismen, mit denen man das SAN in Zonen unterteilt und LUNs den Servern fest
zuweißt.



5.2.1 Zoning

Zoning ist ein Instrument zur Verwaltung von Fabrics. Mit Hilfe der SAN-Switche teilt man
dabei das Fabric in „Zonen“ oder Bereiche (z.B.: Testumgebung, Win, Unix) auf.
Das hat zur Folge, dass ein komplexes SAN übersichtlicher wird und man Daten von
anderen abtrennen kann (z.B. Buchhaltung von der Entwicklungsabteilung). Denn die
Zonen/ Bereiche werden auf logischer- und physikalischer Ebene fest mit einem oder
mehreren Servern verknüpft, so dass kein Server auf eine Zone Zugriff hat, auf der er nicht
explizit zugelassen ist. [san_S.187]

5.2.1.1 Hardware Zoning

Hardware Zoning basiert auf der physikalischen Port_ID des Switches. Es dürfen dabei nur
ausgewiesene Switch-Ports und dadurch die an sie angeschlossenen Server miteinander
kommunizieren. Diese Form des Zoning ist sehr sicher, denn die Port_ID innerhalb eines
Paket-Headers kann nicht verändert werden. Allerdings ist das System sehr unflexible.
Sollte an einem Port der Server gewechselt werden, so bleibt das Zoning trotz neuem Server
bestehen (z.B. Adapterkarte wird in einen anderen Server eingebaut). [nc_sansec]
[san_S.188]

5.2.1.2 Software Zoning

Beim Software Zoning regelt der Name-Server eines Switches an Hand des World Wide
Names wer mit wem kommunizieren darf. Das hat zum Vorteil, dass Zonen unabhängig
vom Standort der Geräte bestand haben.
Software Zoning hat aber auch einen Nachteil, durch manipulierte Header-Informationen
können Datenpakete umgeleitet werden. [nc_sansec] [san_S.190]

5.2.2 LUN- Masking

Um die grobe Unterteilung des SAN durch Zoning noch feingliedriger zu gestallten, kommt
das LUN-Masking zum Einsatz.
Dabei weist man jedem Server feste LUNs zu, die dann nur er verwenden darf und kann.



                                                                                              77
Kapitel 5. SAN- Management



Das Masking kann entweder vom Server selbst, den Switchen oder dem Storagedevice
übernommen werden. [nc_sansec]



5.3 Automatisches SAN- Management

Mit Hilfe des Login-Prozesses und dem Simple Name Server, ist ein SAN in der Lage, dem
Administrator einige sehr mühselige Verwaltungsaufgaben ab zu nehmen.
    -  Automatisches Entdecken neuer Ports
       Wird ein neuer Server dem Fabric zugeführt, so bekommt er automatisch eine
       Port_ID und alle Geräte im SAN werden über den neuen Server informiert.
    -  Automatisches Entdecken neuer Adressen
       Der Vorgang läuft ähnlich wie bei den Ports, nur findest es hier in einer Arbitrated
       Loop statt.
    -  Automatische Pfad-Auswahl
       In redundant ausgelegten Fabrics gibt es immer mehr als einen Weg zum Ziel. Die
       Intelligenz des Fabrics leitet die Datenpakete immer über den „besten“ Pfad.
       (Abhängig von Auslastung und Verfügbarkeit)
    -  Automatisches Umschalten im Fehlerfall
       Fällt ein Pfad aus, so erkennt das das Fabric und leitet die Pakete entsprechen um.
[san_S.193]

Bedingung ist natürlich, dass die Geräte (HBA und Switch) diese Funktionen unterstützen.



5.4 Virtualisierung

Im Storagebereich bezeichnet man mit Virtualisierung das Trennen von logischen und
physikalischen Ressourcen. Damit ist es z. B. möglich, mehrere, verteilte Storagedevices
virtuell zu einem zusammen zufassen. Physikalisch stehen sie getrennt aber virtuell handelt
es sich nur um ein großes Device.
Den Servern weist man dann einzelne, virtuelle Platten zu, denn für sie ist der Vorgang
völlig transparent.
Intelligente Virtualisierungsmethoden sind nicht nur in der Lage gegenüber dem Server
mehrere Devices wie eins aussehen zu lassen, sondern einige können auch eine interne
Spiegelung der Daten zwischen zwei Storagedevices durchführen.




Es gibt vier Ansätze der Virtualisierung:




                                                                                              78
Kapitel 5. SAN- Management



5.4.1 Virtualisierung auf Controllerebene

Die kostengünstigste Virtualisierung wird direkt im Storagedevice selbst vorgenommen.
Dabei werden verschiedene Schnittstellen zu einer zusammen gefasst, bekannt aus dem
Netzwerkbereich z.B. HP Open View. [sib_virtual]



5.4.2 Umbrella Software

Eine Managementsoftware verwaltet verschiedene Storagedevices von unterschiedlichen
Herstellern. Die Software vereint die Plattensubsysteme „unter einem Schirm“ (Umbrella).
Die Server sehen nur eine virtuelle Festplatte. [sib_virtual]



5.4.3 Inband- Virtualisierung

Mit „Inband“ ist hier „innerhalb des Datenstrom“ gemeint. Eine zusätzliche Kontrolleinheit
befindet sich zwischen Server und Storage. Aus der Sichtweise des Servers ist die
Kontrolleinheit ein großes Storagedevice. Er kann nicht erkennen, dass verschiedenen
Devices hinter der Kontrolleinheit liegen. [sguide_virtual]



5.4.4 Out of Band- Virtualisierung

Mit „Out of Band“ ist hier „außerhalb des Datenstrom“ gemeint. Daher wird bei der Out of
Band-Virtualisierung eine Managementeinheit verwendet die außerhalb des SAN-
Datenstroms liegt. Sie kommuniziert mit den Servern über das LAN und über einen dort
installierten Agenten. Die Virtualisierung findet damit auf dem Host statt, der Agent teilt
dem Server mit, welchen logischen Datenpfad er nutzen kann. [sguide_virtual]



5.4.5 Vor- und Nachteile der Virtualisierung

Eine Virtualisierung erleichtert besonders bei einem großen Datenaufkommen die
Administration und Überwachung. Allerdings kann ein Ausfall der Virtualisierung das
ganze SAN lahm legen, daher ist es unabdingbar, dass sie redundant aus gelegt wird, was
die Kosten aber steigen lässt.




                                                                                              79
Kapitel 5. SAN- Management




5.5 Desaster Recovery


Um eine Hochverfügbarkeitslösung zu realisieren ist eine Spiegelung der Daten zwischen
zwei räumlich getrennten Storagedevices notwendig. Für die technische Realisierung einer
Spiegelung gibt es vier Ansätze:
    -  Storagedevices untereinander verbinden
       Es besteht die Möglichkeit die Controllerköpfe der Storagedevices untereinander zu
       verbinden. Mit einer speziellen Controllersoftware spiegeln die beiden Devices
       dann die Daten automatisch. Storagedevices der Einsteigerklasse unterstützen diese
       Funktion allerdings nicht.
    -  auf Switch-Ebene
       Intelligente Switche sind in der Lage, die Daten auf beide Devices gleichzeitig zu
       verteilen.
    -  auf Client-Ebene
       Auf den Clients regelt entweder eine spezielle Software die Datenspiegelung indem
       jedes Paket zweimal verschickt wird.
       Eine weitere Möglichkeit ist, bei Verwendung von zwei HBAs, eine Spiegelung der
       logischen Platten durch das Betriebssystem vornehmen zu lassen.
    -  Virtualisierungs-Software
       Mit Hilfe einer SAN-Virtualisierung lassen sich auch Datensätze spiegeln. Siehe
       voran gegangenes Kapitel 5.4 Virtualisierung.




                                                                                            80
Kapitel 6. Performance – Messung und Abschätzung




6. Performance – Messung und Abschätzung

Ursprünglich sollten in diesem Kapitel Messungen folgen, die innerhalb einer SAN-
Testumgebung durchgeführt werden sollten, um Aufschluss über Übertragungsraten, und
Zugriffszeiten zu geben. Da die Hersteller aber leider keine Testhardware zur Verfügung
stellten, musste für die Messungen auf externen Quellen zurück gegriffen werden.

Parallel dazu wurden noch an den wichtigsten, eigenen, produktiven Systemen Messungen
durch geführt. Ziel war es, ein Gefühl für die theoretischen Angaben der SAN-Hersteller zu
bekommen und um nach evtl. SAN-Einführung einen Vergleich zwischen vorher und
nachher ziehen zu können.
Eine übersichtliche Aufstellung der Messergebnisse folgt in Kapitel 6.1.4.



Allgemeine Erklärung von Ausdrücken, die in den Messungen verwendet werden:

I/O
I/O steht für Input/ Output und beschreibt den Prozess um Daten vom System-
Hauptspeicher an ein externes Gerät zu senden (Storagedevice, Drucker, Netzwerkkarte, ...).
I/O ist ein Sammelbegriff für das Lesen oder Bewegen von Daten aus dem System-
Hauptspeicher und für das Schreiben oder Bewegen der Daten aus dem Hauptspeicher
heraus, zu einem anderen Ort hin. [snio_I/O]

Physical Disk I/O
Physical Disk I/Os beschreiben im allgemeinen I/Os, die auf der physikalischen Festplatte
durch geführt werden. Im Serverumfeld werden damit I/Os beschrieben, die auf RAID-Sets
durch geführt werden, denn der RAID-Controller „reicht“ dem Betriebssystem nur eine
physikalische Festplatte hoch. Physical Disk I/Os umfassen nur den Controller, seinen
Cache und die daran angeschlossenen Festplatten.

Logical Disk I/O
Logical Disk I/Os beschreiben I/Os, die auf einem logischen Laufwerk durch geführt
werden. Im Serverumfeld werden damit die gesamten I/Os umschrieben, bestehend aus
Betriebssystem, Filesystem, Cache des Controllers und den Festplatten.

Datendurchsatz -Nettodatentransferrate
Der Datendurchsatz bezieht sich auf die effektiv übertragenen Nutzdaten in einer
bestimmten Zeitspanne. Die Maßeinheit ist Bits/sec. [complex_durchsatz]

Datentransferrate -Übertragungsgeschwindigkeit – Bruttodatentransferrate
Die Datentransferrate gibt an, wie viele Daten in einem bestimmten Zeitraum über ein
Medium (Luft, LWL, Kupferkabel) übertragen werden können. Dabei werden alle Bits
berücksichtigt, die durch die Leitung gehen. Die Maßeinheit ist MByte/sec.
[complex_transfer]



                                                                                              81
Kapitel 6. Performance – Messung und Abschätzung




6.1 Messungen an eigenen, produktiven Systemen

Um die theoretischen Werte der Hersteller für physikalische I/Os und Datendurchsatz
greifbar zu machen und um nach der evtl. SAN-Einführung einen Vergleich zu haben,
wurden an den vorhandenen Produktiv-Systemen einige Messungen im laufendem Betrieb
durch geführt.

Dabei kamen folgende Tools zum Einsatz:

    -    H2benchw
         Festplattenbenchmark zweier C`t-Redakteure der verschiedene Testszenarien zur
         Verfügung stellt. Hier kommen davon zwei zum Einsatz:
         Simulation verschiedener Anwendungsprofile
         Die Anwendungsprofile (swappen, installieren, Word, Photoshop, kopieren, F-Prot)
         werden genutzt, um daran die Lese- und Schreibperformance zu messen.
         Diese Messung ist vergleichbar mit dem Tagesgeschäft eines Servers und da auf
         möglichst realistische Ergebnisse Werte gelegt wurde, kam dieser Benchmark zum
         Einsatz.
         Interface-Transferrate
         Allgemein: Misst die Transferleistung des Interfaces (z.B. SCSI) einer Festplatte.
         Hier: Mist die Transferleistung eines Festplattenverbundes, logisches Laufwerk

         Im produktiven Betrieb des Servers ist nur ein Lesetest möglich, da der Schreibtest
         noch unter der Partitionsebene, auf dem logischen Laufwerk durch geführt wird und
         dadurch vorhandene Partitionen beschädigen würden. [h2benchw_liesmich]
    -    NetIQ
         NetIQ ist eine Managementsoftware die eine breite Palette an Statusberichten und
         Auswertungen über ein System liefern kann. Hier wird es verwendet um Platten
         I/Os im normalen Betrieb und in Stresssituationen (während eines
         Plattenbenchmarks) grafisch zu protokollieren.
    -    DT.exe
         DT.exe erzeugt auf einem Ziellaufwerk eine Datei beliebiger Größe und nutzt diese
         zur Performancemessung. Dabei misst es die Schreib-Performance beim Generieren
         und führt mit Hilfe der Datei einige Lesetests durch.
    -    Windows Performance-Tool
          Innerhalb der Administrations-Tools liefert Windows ein Performance Tool, was
         eine graphische Auswertung verschiedener Dienste und Komponenten ermöglicht.
         Hier wird es genutzt um physikalische I/Os und den Lesedurchsatz während einiger
         Benchmarks zu generieren.
    -    Veritas Backup Logfiles
         Das Backup Tool Veritas Backup Exec hält nach einem Backup alle wichtigen
         Parameter in einem Logfile fest. Hier ist nur der Datendurchsatz interessant.
         Zu beachten ist aber, dass in den Wert auch die Leistungen der Host-CPU, RAM,
         Speicherbus, Speichersubsystem, Caching durch den Backup-Agenten und
         Netzanbindung zum Backup-Server mit einfließt.



                                                                                               82
Kapitel 6. Performance – Messung und Abschätzung



6.1.1 SAP- ERP Server

Der SAP-ERP Server (Enterprise Ressource Planning) steht in der Firmenzentrale in
Bergisch Gladbach und ist von dort aus für alle weltweiten Niederlassungen zuständig.
Durch die verschiedenen Zeitzonen ist die Maschine dadurch praktisch im Dauereinsatz.
(siehe Kapitel 2. Problemstellung)

Serverdaten:
Servername               sapprod
Typ                      HP Proliant DL 380
CPU                      2 x 3 Ghz
RAM                      7,8 GByte
Subsystem                HP Smart Array 5i, Ultra 3 SCSI, 160 MBytes/sec
Plattenkapazität         270 GByte
Anwendung                SAP-ERP mit ca. 100 Usern
Tabelle 15: SAP- ERP Serverdaten


Damit ein produktives Arbeiten in den Außenstellen möglich ist, dürfen die Antwortzeiten
des Servers in der Niederlassung nicht größer als eine Sekunde sein. Die Antwortzeiten
setzten sich dabei aus der Laufzeit eines Paketes über das Internet (hin und zurück) und die
Antwortzeit des Servers zusammen. Da ein Paket aus Japan im schlechtesten Fall ca. 600
ms laufen kann, wurde festgelegt, dass der SAP-ERP Server intern innerhalb von max. 450
sec antworten muss.

Um den Server nicht noch zusätzlich zu belasten wurde als Performancetest nur der
alltägliche Datenbank Konsistenzcheck13 protokolliert. Für einen späteren Vergleich der
Backup-Konzepte wurde auch der Durchsatz beim Backup-Job mit aufgenommen..




13
       Mechanismus, der eine Datenbank auf Widersprüche (Fehler, Deadlinks, etc.) checkt. Belastet das
       Speichersubsystem



                                                                                                         83
Kapitel 6. Performance – Messung und Abschätzung



Physikalische Disk I/Os
Beim morgendlichen DB Konsistenzcheck wurden mit NetIQ die physikalischen Disk I/Os
protokolliert. Dabei wurden maximal ca. 1200 I/Os gemessen.

Messaufbau:
   Messung                    Tools                Messparameter    Messgröße      Ergebnis
                                                    Zeitauflösung    phys. Disk
 phys. Disk I/O              Net IQ                                                    1200
                                                        1 sec           I/O
Tabelle 16: Messaufbau zur Ermittlung der phys. Disk I/Os während eines DB Konsistenzchecks


Zeitlicher Verlauf der phys. Disk I/Os:




Abbildung 32: Verlauf der phys. Disk I/Os während eines DB Konsistenzcheck [Messung 24.2.05]


Durchsatz Backup Job
Um Aufschluss über den Datendurchsatz während eines Backup Jobs zu erlangen, wurde
der Auszug aus den Log-Dateien zu Rate gezogen. Dieser beziffert den durchschnittlichen
Durchsatz während eines vollständigen Backups auf 31 MByte/sec.

Messaufbau:
  Messung                     Tools           Messparameter         Messgröße       Ergebnis
 Durchsatz des
                          Backup Log                     -          Durchsatz     31 MByte/sec
  Backup Job
Tabelle 17: Messaufbau zur Ermittlung des Datendurchsatzes während eines Backup-Jobs




                                                                                                 84
Kapitel 6. Performance – Messung und Abschätzung




   Backup completed on 2/19/2005 at 3:28:30 PM.
   Backed up 5 database(s)
   Processed 105,165,407,550 bytes in 53 minutes and 45 seconds.
   Throughput rate: 1865.9 MB/min à 31MB/sec

  Abbildung 33: Auszug aus den Log-Dateien eines Backup-Jobs für den SAP-Server




6.1.2 Fileserver

Der Fileserver stellt zentralen Speicherplatz im LAN zur Verfügung. Auf ihm liegen
firmenrelevante Daten und private Ordner der Mitarbeiter.

Serverdaten:
Servername               mgefileserver
Typ                      HP Netserver LH 3000
CPU                      2 x 788 MHz
RAM                      2,2 GByte
Subsystem                NetRAID 4 M, Ultra 3 SCSI,160 Mbytes/sec
Plattenkapazität         1,2 TByte
Anwendung                zentraler Speicherplatz im LAN
Tabelle 18: Fileserver Daten


Der Fileserver ist nicht ganz so Performance kritisch, so dass an ihm zusätzliche
Benchmarks durch geführt werden konnten. Allerdings muss man hier beachten, dass die
1,2 TByte Datenvolumen auf einem dynamischen Laufwerk liegen, dass aus drei logischen
Laufwerken zusammen gesetzt ist. Da H2benchw zum Einsatz kommt und auf logischer
Laufwerksebene arbeitet, wurde nur auf dem logischen Laufwerk 2, als Repräsentant für
den Fileserver, gemessen.

Mit dem Modul „Anwendungsprofile“ von H2benchw ist es möglich eine recht realistische
Simulation durch zuführen. Nach einer Vielzahl von Messungen, hat sich herausgestellt,
dass dabei gleich zu Beginn die max. physikalischen Disk I/Os und der max. Lesedurchsatz
generiert werden.




                                                                                           85
Kapitel 6. Performance – Messung und Abschätzung



Physikalischen Disk I/Os
Um die auftretenden Spitzen möglichst genau zu protokollieren, wurde ein H2benchw
Durchlauf mit dem Windows Performance Tool, Zeitauflösung von 1 Sekunde, mit
geschnitten.
Die Messungen haben ergeben, dass der Fileserver dabei max. ca. 2350 phys. Disk I/Os
erzielt.

Messaufbau:
   Messung                    Tools            Messparameter        Messgröße        Ergebnis
                           H2benchW,
                                                   Zeitauflösung
  phys. Disk I/O           Performance                             phy. Disk I/O   max. 2350 I/O
                                                       1 sec
                               Tool
Tabelle 19: Messaufbau zur Ermittlung der phys. Disk I/Os während eines H2benchw Durchlaufs


Zeitlicher Verlauf der phys. Disk I/Os:




Abbildung 34: Verlauf der phy. Disk I/Os des Fileservers während eines H2benchw Durchlaufs
              [Messung 16.02.05, Nr.3]




                                                                                                   86
Kapitel 6. Performance – Messung und Abschätzung



Maximaler Lesedurchsatz
Mit einer Zeitauflösung von 1 Sekunde hat die Messungen ergeben, dass der Fileserver
einen max. Lesedurchsatz von 70 MByte/sec erzielt..

Messaufbau:
   Messung                   Tools      Messparameter          Messgröße            Ergebnis
     max.                 H2benchW,      Zeitauflösung
                                             1 sec             MByte/sec                70
 Lesedurchsatz         Performance Tool
Tabelle 20: Messaufbau zur Ermittlung des max. Lesedurchsatzes während eines H2benchw Durchlaufs


Zeitlicher Verlauf des Lesedurchsatzes:




Abbildung 35: Verlauf des Lesedurchsatzes des Fileservers während eines H2benchw Durchlaufs
              [Messung 16.02.05, Nr.3]


Anwendungsspezifischer Lesedurchsatz
Bisher wurde ein H2benchw Durchlauf genutzt, um parallel die Festplattenaktivität zu
protokolliert. Hier werden nun die eigentlichen H2benchw Ergebnisse präsentiert.

Messaufbau:
    Messung                    Tools           Messparameter   Messgröße            Ergebnis
durchschnittlicher
                            H2benchW                 -          MByte/sec             11- 36
 Lesedurchsatz
Tabelle 21: Messaufbau zur Ermittlung des anwendungsspezifischen Lesedurchsatzes




                                                                                                   87
Kapitel 6. Performance – Messung und Abschätzung




     Abbildung 36: Ergebnis des Anwendungsprofil Durchlaufs auf dem Fileservers
                   [Messung 16.02.05, Nr.3]


Die Resultate des H2benchw „Anwendungsprofile“ sind die durchschnittlichen Werte der
einzelnen Anwendungsprofile und können nicht mit dem Graphen des Lesedurchsatzes
gleichgesetzt oder verglichen werden.

Dennoch erschien der max. Lesedurchsatz von ca. 70 MByte/sec in Abbildung 34 recht
hoch. Um den Wert zu verifizieren wurde mit H2benchw noch eine Messung der Interface-
Transferrate durch geführt.

Interface-Transferrate
Mit einem Modul von H2benchw ist man in der                     Lage, die Interface-Tranferrate zu
bestimmen.

Messaufbau:
         Messung                       Tools        Messparameter          Messgröße        Ergebnis
 sequenziell ungebremst14            H2benchW               -              MByte/sec          48,8
   sequenziell gebremst15
                                     H2benchW               -              MByte/sec           39,1
       (Read-Ahead)
  sequenziell wiederholt16
                                     H2benchW               -              MByte/sec           67,6
         (Coretest)
Tabelle 22: Messaufbau zur Ermittlung de Interface-Transferrate




14
        sequenziell ungebremst:      Daten werden „am Stück“ von der Platte gelesen
15
        sequenziell gebremst:        Read-Ahead, d. h. Es werden mehrere Blöcke im Voraus in den Cache
                                     gelesen, falls sie später angefordert werden, kommen sie direkt aus
                                     dem Speicher.
16
        Sequenziell wiederholt:      Coretest, d.h. Es wird immer der selbe Block gelesen. Da der aber
                                     nach dem ersten lesen im Cache liegt, mist man damit die
                                     Geschwindigkeit vom Cache zum I/O-Port des Rechners.



                                                                                                           88
Kapitel 6. Performance – Messung und Abschätzung




Abbildung 37: Ergebnis der Interface-Transferrate auf dem Fileservers [Messung 18.5.05 Nr.1]


Die Messung zeigen, dass der Fileserver durchaus in der Lage ist, Leseraten von bis zu 70
MByte/sec zu erzielen.

Maximaler Stress
Um den Fileserver maximal unter Stress zu setzten, wurde parallel zum H2benchw noch mit
DT.exe ein 1 Gigabyte großes File auf dem selben logischen Laufwerk generiert. Dabei
zeigte sich, dass im Vergleich zum voran gegangenen Test keine höheren Werte für Disk
I/Os und Lesedurchsatz zu erzielen waren. Lediglich die Abarbeitungszeit verlängerte sich.


Durchsatz Backup Job
Um Aufschluss über den Datendurchsatz während eines Backup Jobs zu erlangen, wurde
der Auszug aus den Log-Dateien zu Rate gezogen. Dieser beziffert den durchschnittlichen
Durchsatz während eines vollständigen Backups auf 15 MByte/sec.

Messaufbau:
    Messung                   Tools           Messparameter     Messgröße             Ergebnis
 Durchsatz des
                          Backup Log                -            Durchsatz          15 MByte/sec
  Backup Job
Tabelle 23: Messaufbau zur Ermittlung des Datendurchsatzes während eines Backup-Jobs


Backup completed on 6/18/2005 at 3:06:27 PM.
Backed up 1802885 files in 163201 directories.
3 files were in use
1 item was skipped.
Processed 763,521,664,473 bytes in 13 hours, 27 minutes, and 44 seconds.
Throughput rate: 901.5 MB/min à 15 MByte/sec
Tabelle 24: Auszug aus den Log-Dateien eines Backup-Jobs für den Fileserver




                                                                                                   89
Kapitel 6. Performance – Messung und Abschätzung



6.1.3 MS- Exchange Server

Ähnlich wie bei dem SAP-Server, so ist auch der Exchange Server im Dauereinsatz. Da
auch er für einige Niederlassungen zuständig ist, wurde er nicht durch zusätzliche
Benchmarks belastet.

Servername               Mgehermes
Typ                      HP LC 2000
CPU                      2 x 788 MHz
RAM                      3,5 GByte
Subsystem                HP NetRAID 2 M, 160 MByte/sec
Plattenkapazität         410 GByte
Anwendung                Microsoft Exchange, 700 Postfächer



Durchsatz Backup Job
Um Aufschluss über den Datendurchsatz während eines Backup Jobs zu erlangen, wurde
der Auszug aus den Log-Dateien zu Rate gezogen. Der Exchange-Server verwendet zwei
Storage Groups in denen er seine Datenbanken ablegt. Jede Group wird separat gesichert.
Dabei wurden durchschnittliche Durchsätze von 12,3 MByte/sec und 10,7 MByte/sec
protokolliert..

Messaufbau:
   Messung                    Tools           Messparameter   Messgröße               Ergebnis
 Durchsatz des                                                                     12,3 MByte/sec
                          Backup Log                -          Durchsatz
  Backup Job                                                                       10,7 MByte/sec
Tabelle 25: Messaufbau zur Ermittlung des Datendurchsatzes während eines Backup-Jobs


Storage Group 1
Backup completed on 6/18/2005 at 4:49:14 PM.
Backed up 5 Exchange Server store(s)
Backed up Exchange Server logs
Processed 78,290,261,944 bytes in 1 hour, 41 minutes, and 12 seconds.
Throughput rate: 737.8 MB/min à 12.3 MByte/sec
Storage Group 2
Backup completed on 6/21/2005 at 11:34:37 AM.
Backed up 4 Exchange Server store(s)
Backed up Exchange Server logs
Processed 96,231,729,698 bytes in 2 hours, 22 minutes, and 8 seconds.
Throughput rate: 645.7 MB/min à 10,7 MByte/sec
Tabelle 26: Auszug aus den Log-Dateien eines Backup-Jobs für den Exchange Server




                                                                                                    90
Kapitel 6. Performance – Messung und Abschätzung



Physikalischen Disk I/Os
Auch hier wurde der Backup-Job genutzt um mit NetIQ die phys. Disk I/Os zu
protokolliert. Dabei wurden bei den Spitzenwerte von 1200 I/Os gemessen.

Messaufbau:
   Messung                    Tools     Messparameter           Messgröße              Ergebnis
     max.                 H2benchW,     Zeitauflösung
                                                                MByte/sec               1200
 Lesedurchsatz         Performance Tool     1 sec
Tabelle 27 Messaufbau zur Ermittlung der phys. Disk I/Os während eines Backups


Zeitlicher Verlauf der phys. Disk I/Os:




   Abbildung 38: Verlauf der phys. Disk I/Os während eines Backups [Messung 18.2.05]




                                                                                                  91
Kapitel 6. Performance – Messung und Abschätzung



6.1.4 Messergebnisse

An dieser Stelle werden die voran gegangenen Messungen noch einmal übersichtlich
zusammen gefasst:

                                  SAP-Server        Fileserver        Exchange-Server
 max. phys. Disk I/O               1200 I/O          2350 I/O             1200 I/O
  Datendurchsatz                                                       12,3 MByte/sec
                                 31 MByte/sec      15 MByte/sec
    Backup Job                                                         10,7 MByte/sec
   Lesedurchsatz                 keine Messung     70 MByte/sec        keine Messung
Tabelle 28: Übersicht der Messungen




6.1.5 Fazit der Messungen

Die SAN-Hersteller bewerben ihre Storagedevices mit mehr als 50000 I/O und min. 600
MByte/sec Datendurchsatz. Die Messungen an den eigenen Systemen haben belegt, was an
vielen Stellen nach zu lesen ist, nämlich das heutige SAN-Devices so performant sind, dass
sie nur schwer auszureizen sind.
Mit besonderen Anstrengungen wurde der Fileserver auf 2400 I/Os und 70 MByte/sec
Lesedurchsatz getrieben. Nimmt man diese Spitzenwerte nun als „Standard“, so könnte man
im I/O-Bereich 17 Server und im Datendurchsatz-Bereich 8 Server pro Storagedevice
betreiben. Bis aber diese Werte Standard sind, wird es wohl noch eine Weile dauern.

Interessant sind daher die Messungen für einen vorher- und nachher Vergleich.



6.2 Messungen von externen Quellen


6.2.1 Vergleich von FC mit iSCSI

iSCSI ist noch eine recht junge Technik, so dass Erfahrungsberichte sehr schwer zu finden
sind. Gleichzeitig werben die Hersteller von iSCSI aber mit hohen Geschwindigkeiten und
niedrigen Kosten. In Kapitel 4.8 wurden ja schon einige dieser Thesen widerlegt und hier
soll noch einmal genauer die Performance beleuchtet werden.
Leider sind Tests schwer zu finden und man sollte sich auch genau anschauen wer sie durch
geführt hat und welche Interessen dabei vertreten werden. Darum wurden keine
Whitepapers von Hersteller berücksichtigt, sondern nur Artikel von Fachwebseiten und
unabhängigen Systemhäusern zitiert.




                                                                                             92
Kapitel 6. Performance – Messung und Abschätzung



Messung von www.networkcomputing.de
Die Redakteure von www.networkcomputing.de haben einen Performancevergleich
zwischen iSCSI und FC durchgeführt und sind dabei zu folgendem Ergebnis gekommen:

                       Fibre Channel          Fibre Channel     iSCSI           iSCSI
                         1 Gbit/sec             2 Gbit/sec    Gbit- LAN      shared LAN
   Übertragungs-                                                              25-30
  Geschwindigkeit       75 MByte/sec          155 MByte/sec   45 MByte/sec
                                                                             MByte/sec
 Abbildung 39: Geschwindigkeitsvergleich zwischen iSCSI und FC [nc_iscsi]


„Fazit:
Nach den ersten Tests von Network Computing kann iSCSI in kleineren SANs durchaus als
Alternative zum teureren Fibre Channel auftreten. Die Performance liegt dabei knapp unter
der Bandbreite einer 1-GBit/sec-FC-Architektur. Um diese Leistung zu erreichen, muss das
iSCSI-SAN aber auf alle Fälle getrennt von der regulären LAN-Struktur arbeiten. Wer mit
Software-Initiatoren statt Hardware-Acceleratoren arbeiten möchte, sollte in jedem Fall
Jumbo-Frames einsetzen, um die Belastung der Server-CPUs zu reduzieren. Auch bei
Hardware-Karten versprechen die großen Frames eine etwas bessere Performance.“
[nc_iscsi]

Performanceangaben von www.tecchannel.de
„Derzeit weisen die Hersteller bezüglich der iSCSI-Übertragungsraten häufig auf „Wire
Speed“ hin. Das besagt jedoch nur, dass Sender und Empfänger mit der angegebenen
Transferrate TCP/ IP übertragen. Wichtig für den Anwender ist aber die Nutzdatenrate. Die
liegt bei iSCSI niedriger als bei der Fibre Channel Übertragung. IBM gibt in diversen
Whitepapers an, dass im realen Betrieb die Nettodatenrate einer 1 Gbit/sec Verbindung bei
etwa 80 MByte/sec für den Fibre Channel und bis zu 30 MByte/sec für iSCSI liegen.
Letzteres gilt speziell auch für das eigene iSCSI-Produkt, den IP Storage 200i. In künftigen
Versionen soll dieser jedoch mit bis zu 60 MByte/sec operieren.
Bei Fujitsu Siemens hat man eine andere Maßzahl ermittelt: Für einen Durchlauf durch
einen SCSI-Treiber benötigt ein Rechner etwa 5000 CPU-Zyklen, selbst für den kleinsten
TCP/IP Stack jedoch benötigt er 50.000. Dazu kommt noch der iSCSI Stack Overhead, für
den noch keine konkreten Einschätzungen vorliegen. LAN-Experten verwenden gern
folgende Faustregel: Die Übertragung von einem Bit beansprucht 1 Hz Taktfrequenz des
Prozessors. Eine TCP/IP Übertragung mit 1 Gbit/sec lastet also einen Prozessor mit 1 GHz
Taktrate fast voll aus. Zwar relativiert ein Busmastering der Netzwerkkarte diese Regel,
dennoch sind für den Einsatz von iSCSI über 10 Gbit Ethernet Lastprobleme zu erwarten.
Dort werden also vermutlich besonders leistungsstarke TOEs benötigt. Bei Fibre Channel
beträgt die Auslastung auf Grund der völlig anderen Übertragungstechnik dagegen nur rund
drei bis fünf Prozent.“ [tecc_iscsi]

Performanceangaben von www.storitback.de
„Fibre Channel ist ein optimiertes Protokoll für den Transport großer Datenmengen,
Ethernet jedoch für Transaktionen, mit meist sehr kleinem Inhalt. Beide basieren auf einer



                                                                                               93
Kapitel 6. Performance – Messung und Abschätzung



Übertragungsgeschwindigkeit von 1.065 Bit/s, jedoch ist der Nutzdateninhalt sehr
unterschiedlich, wie auch die Ansteuerung durch den Prozessor. Im Gigabit-Ethernet kann
eine Übertragungsrate von etwa 30 MB/s erreicht werden. Dies variiert je nach Anzahl der
Teilnehmer und der Datenstruktur. Bei Fibre Channel können auch bei ungünstigen
Verhältnissen Übertragungsraten von 90 MB/s erreicht werden. Ein weiterer Faktor ist die
Anzahl der Prozessor-Interrupts bei der Übertragung von Daten. Sie liegt bei Ethernet um
Faktoren höher als beim Fibre Channel. Eine sehr starke Belastung für den Server. Dies
lässt sich durch die speziellen iSCSI-Karten verhindern. Sie übernehmen die gesamte
Umwandlung.“ [storitback_iscsi]




                                                                                           94
Kapitel 7. Planung und Konzept




7. Planung und Konzept


Nachdem der technischen Background erörtert wurde, geht es in diesem Kapitel um die
Planung und um die Umsetzung in ein allgemein gültiges Konzept. Um eine allgemeine
Gültigkeit zu erhalten, wird innerhalb des Konzeptes absichtlich nicht auf SAN-Hardware
im speziellen eingegangen. Eine genaue Hardwarebeschreibung folgt in Kapitel 8.

Je intensiver man sich im Vorfeld mit dem Design des SANs beschäftigt, desto leichter fällt
die spätere Implementierung.



7.1 Planung

Je nach Größenordnung des SANs erfordert die Planung mehr oder weniger Aufwand und
Abschätzungen über zukünftige Entwicklungen und Erweiterungen. Unabhängig von der
Größe des SANs stellt sich die Frage, welche Anforderungen man an das kommende SAN
stellt.
Um bei der Antwort behilflich zu sein, wurde ein Fragenkatalog erstellt.



7.1.1 Fragenkatalog zu den SAN- Anforderungen

Um fest zustellen welche Anforderungen man an ein SAN stellt, sollen folgende Fragen
behilflich sein:
   -     Welche Systeme sollen in das SAN integriert werden?
   -     Welche Betriebssysteme sollen eingebunden werden?
   -     Welche Applikationen sollen mit eingefügt werden und welche Applikationen
         werden in Zukunft hinzu kommen?
   -     Wie unternehmenskritisch sind die zu speichernden Daten?
   -     Wie Verfügbar müssen die Systeme sein?
   -     Benötigt man eine komplette Redundanz (zwei räumlich getrennte Storagedevices)?
   -     Wie ist das SAN in die bestehende Infrastruktur integrierbar?
   -     Welches Budget steht zur Verfügung?
   -     Welche Leistungsanforderungen werden gestellt?
   -     Wie hoch sind die Sicherheitsanforderungen (Zugriffsbeschränkung)?
   -     Welche Backup- und Recoverystrategie soll verfolgt werden?
   -     Welche Geschäfts- und Unternehmensziele gibt es und wie kann man sie im SAN
         mit einbinden um Verbesserungen zu erlangen?
   -     Welche Infrastruktur wird benötigt?
   -     Welches Wachstum wird erwartet (Datenvolumen, User, Software und Hardware)?
   -     Welche Anforderungen stellt man an die SAN-Software (Snapshots, ILM, HSM)?




                                                                                              95
Kapitel 7. Planung und Konzept



Es muss von Fall zu Fall entschieden werden, wie die einzelnen Punkte gewichtetet werden.
In manchen SANs spielt die Performance die wichtigste Rolle und in andern wiederum die
Kosten. Entscheidend ist, dass man für sich den besten Kompromiss findet.



7.1.2 Anforderungen der Miltenyi Biotec GmbH

Die wichtigsten Anforderungen der Geschäftsführung der Firma Miltenyi an die IT-
Abteilung im Standort Bergisch Gladbach, ist die Bereitstellung von E-Mail und SAP. Da
die dafür zuständigen Server praktisch rund um die Uhr im Einsatz sind, ist eine gewisse
Hochverfügbarkeit erforderlich. Laut Vorgabe der Geschäftsleitung sollten diese Dienste
nicht länger als einen halben Arbeitstag (4-5 Stunden) unproduktiv sein. Diejenigen
Systeme, die dazu beitragen diese Dienste der Allgemeinheit zur Verfügung zu stellen
(Firewall, Router, etc) sind redundant ausgelegt, so dass sich aus diesen Vorgabe folgendes
Anforderungen an das SAN stellen:

Zu integrierende Systeme
Aus Gründen der Verfügbarkeit, Performance, Datenwachstum und Integration ins Backup
sollen folgende Server in das SAN integriert werden:
SAP-ERP, SAP-HR, SAP-Development, Exchange, VMware- Hosts 1, 2 und 3 und
Fileserver

Performance
Wie in Kapitel 6 schon beschrieben sind bei den SAP-Servern die Antwortzeiten sehr
wichtig. Sie sollten nicht höher als 450 ms sein.

Speicherplatz
Bei einer großzügigen Planung sollten für Betriebssysteme, Datenbanken, weitere wichtige
Applikationen und Wachstum 3 TByte auf schnellen FC-Platten und für Snapshots, Clone
und Backup 1,5 TByte für S/ATA-Platten berücksichtigt werden.

Es wurden auch schon Überlegungen angestellt, den Fileserver auf S/ATA-Platten zu
betreiben. Das Risiko eines vorzeitigen Plattenausfalls wird durch einen 4 Stunden, 7 Tage
die Woche Support minimiert. Aus Performancesicht sind die ATA-Platten allemal dafür
ausgelegt. Das würde dann eine Aufteilung von 2 TByte auf FC-Platten und 2,5 TByte auf
ATA-Platten mit sich bringen.

Backup und Recovery
Ein einzelnes Recovery der wichtigsten Systeme sollte nicht länger als 4- 5 Stunden dauern.
Einzelne Outlook-Postfächer sollten einzeln wieder hergestellt werden können.

Bisher ist Backup Exec 8.6 im Einsatz. Diese Version ist noch nicht speziell für den Einsatz
innerhalb    eines   SANs     konzipiert. Zwar        bietet es      die umfangreichen
Sicherungsmöglichkeiten, nutzt aber noch nicht die SAN-Vorteile. Daher wird überlegt auf



                                                                                               96
Kapitel 7. Planung und Konzept



die 10er Version up zu graden oder auf ein anderes Produkt um zu steigen. Die genaue
Planung soll aber erst nach der SAN-Einführung aufgenommen werden.

Infrastruktur
Um SPOFs zu eliminieren, soll die Infrastruktur komplett redundant ausgelegt sein.

Zukünftige Erweiterungen
   -  Einführung eines Customer Relationship Management-Systems
   -  Hierarchisches Speicher Management für Fileserver und/ oder Exchange



7.2 Konzeptentwurf

Die vorher festgelegten Anforderungen werden nun in ein Konzept umgesetzt.
Da das Konzept auch eine gewisse allgemeine Gültigkeit haben soll und die Anforderungen
an spezielle Hardware von Fall zu Fall verschieden sind, geht es hier nur um den reinen
Aufbau, nicht um konkrete SAN-Hardware.

Eine Hardwarebeschreibung speziell für die Firma Miltenyi folgt im nächsten
Kapitel 8.

Storage Area Networks bieten eine Vielzahl an Möglichkeiten, die aber die momentanen
Anforderungen der Firma Miltenyi weit übersteigen.
Geht man aber davon aus, dass das bisherige Wachstum sich in Zukunft fort setzten wird, so
werden einige Features schon in absehbarere Zeit interessant und sollten bei der Planung
berücksichtigt werden.
Aus diesem Grund wurde sich für ein Stufenmodel entschieden.
Es wird mit einer übersichtlichen Grundstruktur angefangen, die aber später Raum für
Erweiterbarkeiten offen hält. Zudem bietet dieser Ansatz einen maximalen
Investitionsschutz, denn man ist auf zukünftiges Wachstum vorbereitet und muss nicht nach
kurzer Zeit große Änderungen oder sogar Neuanschaffungen an der Infrastruktur vor
nehmen.

Nach dem Stufe 1 realisiert wurde, kann die Einführung der nächsten Stufen nach Bedarf
variieren. Besonders die Realisierung der Stufen 3 und 4 sind beliebig durch zu führen.



7.2.1 Stufe 1 – Einführung

Ziel der ersten Stufe ist es, eine grundlegende Infrastruktur zu schaffen, die Raum für
spätere Erweiterungen offen hält. Dazu werden erst einmal nur die wichtigsten, produktiven
Server über eine redundante Infrastruktur an einem Storagedevice angeschlossen. Das
Device sollte über schnelle Fibre Channel-Platten und S/ATA-Platten verfügen.
Die wichtigsten Server:



                                                                                             97
Kapitel 7. Planung und Konzept



SAP-ERP, SAP-HR, SAP-Development, Exchange, VMware- Hosts 1, 2 und 3 und
Fileserver
                                                                 Exchange             VMware 1
                        SAP-DV                                                                                                 VMware 2


     SAP- HR                                                                                                                              VMware 3




SAP- ERP                                                                                                                                        Fileserver




                                                                                           A   B   C   D   E   F   G    H
                                 A   B   C   D   E   F   G   H                                                              SEL ECTED
                                                                      T
                                                                 SELEC ED
                                                                                                                              -L E
                                                                                                                            ON IN
                                                                 ON-LINE




                            Switch                                                                                     Switch




                                                                            Storage


Abbildung 40: SAN-Ausbaustufe 1


Das Backup wird hier absichtlich nicht direkt mit geändert, weil davon ausgegangen wird,
dass ein Aufbau der Infrastruktur mit anschließenden Tests aufwendig genug ist. Wenn das
SAN reibungslos und planmäßig läuft, kann man sich mit voller Energie dem Backup
widmen.



7.2.2 Stufe 2 – Erweiterung

In Stufe 2 wird die vorhandene Infrastruktur erweitert, dabei bieten sich verschiedene
Erweiterungsmöglichkeiten, die man auch zeitlich von einander unabhängig realisieren
kann:

    -      Backup Umstellung,
           evtl. neue Tapelibrary mit mehr Fassungsvermögen direkt ins SAN einbinden und
           nicht mehr am Backupserver anschließen.
    -      HSM für Fileserver und/ oder Exchange
    -      Einführung von Blade Servern in Kombination mit VMware
           Durch den Einsatz von Blade Servern und VMware innerhalb eines SANs, lässt sich
           ein Server sowohl vom Storage, als auch von der Hardware trennen. Diese
           Maschinen ungebundenen Server bietet den Vorteil, dass man sie im laufendem
           Betrieb von Hardware zu Hardware „schieben“ kann. Beispiel: Bei sechs Blades pro



                                                                                                                                                             98
Kapitel 7. Planung und Konzept



         Blade-Center lässt man einen als Reserve der automatisch bei Ausfall eines Blades
         den Dienst fort setzt.

                                                                  Exchange    Fileserver
                         SAP-DV


     SAP- HR



                                                                                                                                                             Blade- Center




SAP- ERP




                                                                                     A   B   C   D   E   F   G    H
                                  A   B   C   D   E   F   G   H                                                       SELECT ED
                                                                  SELECTED
                                                                                                                         -
                                                                                                                      O N LINE
                                                                  ON-LINE




                                 Switch                                                                          Switch




                                                                                                                                    TapeArray 5300 Logical




                                                                                                                                        2            0



                                                                                                                                        3            1




                                                                                                                                  Tapelibary



                                                                             Backupserver
                                                              Storage

Abbildung 41: SAN-Ausbaustufe 2


Auch hier gilt: Die Realisierung der einzelnen drei Schritte kann auf Grund von Bedarf und
Ressourcen variieren.



7.2.3 Stufe 3 – Desaster Recovery

Mit Hilfe eines zweiten Storagedevices lässt sich, bei räumliche Trennung der Standorte,
eine Hochverfügbarkeitslösung realisieren (siehe Kapitel 5.5). Als zweiten Standort bietet
sich bei Miltenyi entweder Haus 6, Backup-Rack oder Neubaustufe 2 an.

Je nachdem welches Storagedevice in Stufe 1 angeschafft wurde, muss entschieden werden,
welcher Ansatz zur Spiegelung in Frage kommt (siehe Kapitel 5.5).
Die komfortabelste aber wahrscheinlich auch teuerste Variante ist die Spiegelung durch
direkte Verbindung der Controller.
Devices, die diese Funktion technisch unterstützen findet man aber erst im Midrange-
Bereich und die nötige Software lassen sich die Hersteller teuer bezahlen.




                                                                                                                                                                             99
Kapitel 7. Planung und Konzept




                                            Exchange                        Fileserver
                                                                                                                                          Blade- Center
               SAP-DV



 SAP- HR




SAP- ERP



                                                                            A   B   C   D   E   F   G    H




                                                                                                                                       Switch
                    A   B   C   D   E   F   G   H
                                                                                                             SEL E CTED
                                                    S EL ECTE D
                                                                                                             O N-L INE
                                                           N
                                                    O N- L I E




                  Switch




                                                                                                             TapeArr ay 5300 Logical




                                                                                                                     2         0



                                                                                                                     3         1




                                                                                                                                                             Storage 2
                                                                                                        Tapelibary



                                                                  Backupserver
                  Storage 1




                                                                     Serverraum                                                                           Nebengebäude


Abbildung 42: SAN-Ausbaustufe 3, die Datenspiegelung realisieren die SAN-Switche




7.2.4 Stufe 4 – SAN in Außenstellen

Die selben Probleme des Datenwachstums und die damit schwieriger werdende Verwaltung
betrifft auf Dauer nicht nur die Firmenzentrale, sondern auch die großen Niederlassungen
wie Auburn in den USA oder Teterow bei Rostock.
Die Vorteile eines in den Niederlassungen aufgebauten SANs sind nicht nur alleine die
Lösung der dortigen Probleme. Mit Hilfe der Protokolle iSCSI und oder iFCP lassen sich
die „SAN-Insel“ zu einem großen Fabric koppeln und vom Standort her unabhängig
verwalten.
Dank intelligenter Gateways und Routing-Funktionen kann man für jeden Server den
Zugriff auf die verteilten Storagedevices reglementieren.
Vorteile der Kopplung zweier SANs:
    -    Gemeinsame Nutzung einer Tapelibary bei Backup from Disk to Disk to Tape
         Durch die erste Sicherung auf Festplatten macht man sich frei von Zeitzwängen, so
         dass die Zentrale z.B. am Samstag Zugriff auf die Libary hat und die Niederlassung
         am Montag oder Dienstag.
    -    Alle oder nur wichtige Daten werden gespiegelt, so dass die Verfügbarkeit erhöht
         wird. (Desaster Recovery und Business Continuity)




                                                                                                                                                                         100
Kapitel 7. Planung und Konzept



                                    Server                                   Blade- Center                                                                       Server 1                                       Server n



                                                                ...                                                                                                                                       ...
                              Switch                                                                                                                                                                                                        Switch
                                A   B   C   D   E   F   G   H
                                                                SEL EC TED

                                                                 N N
                                                                O - LI E
                                                                                                                                                                                                                A   B   C   D   E   F   G   H
                                                                                                                                                                                                                                                SEL EC TED

                                                                                                                                                                                                                                                 N N
                                                                                                                                                                                                                                                O - LI E




                                                                                                                                     Internet
                                                                             A   B   C   D   E   F   G   H
                                                                                                             SE LEC TE D
                                                                                                                -
                                                                                                             O N LI NE
                                                                                                                           Gateway              Gateway      A   B   C   D   E   F   G   H
                                                                                                                                                                                             S ELE C ED
                                                                                                                                                                                             ONL I E
                                                                                                                                                                                               - N
                                                                                                                                                                                                    T




                                                                                                     Switch                                               Switch

                 00
     TapeArr ay 53 L ogical



        2              0



        3             1




  Tapelibary




                                                                Storage 1                                                                                                                     Storage 2


                                        Firmenzentrale                                                                                                                   Niederlassung

Abbildung 43: SAN-Ausbaustufe 4



„Der Wert eines Netzwerks steigt überproportional mit der Zahl der Nutzer.“
[Robert Metcalfe, Erfinder des Ethernets]




                                                                                                                                                                                                                                                             101
Kapitel 8. Herstellervergleich - Bewertung




8. Herstellervergleich - Bewertung

Nachdem das Design für das SAN abgeschlossen ist, muss noch eine Hersteller Auswahl
getroffen werden. Dabei wird sich hier nur auf die Storagedevices beschränkt, denn eine
zusätzliche Betrachtung von HBAs und Switche würden die hier gebotenen Möglichkeiten
überschreiten.

Je nach Anforderungen an das SAN, kann man aus einer Vielzahl von SAN-Anbietern
wählen..
Für die Firma Miltenyi wurden die Hersteller EMC und HP gewählt, denn EMC ist im
SAN-Umfeld Marktführer und HP stellt im Hause Miltenyi 99% aller Server- und PC-
Systeme.

Im folgenden Kapitel wird auf die verschiedenen Konzepte und technischen Unterschiede
der beiden Hersteller eingegangen. Dabei sollen aber nicht nur die harten, technischen
Fakten im Vordergrund stehen, sondern auch ein Augenmerk auf Softwareausstattung,
Benutzerfreundlichkeit und Preisgefüge gelegt werden.

Darum wird grundsätzlich zwischen zwei Punkten unterschieden:
   1. technische Konzepte der Hersteller
   2. Software, betriebliche Aspekte und Benutzerfreundlichkeit



8.1 Technische Konzepte der Hersteller

Im Midrange-Bereich bestehen heutige Storagedevices, unabhängig vom Hersteller, aus
zwei Baugruppen:
    1. Controller
       Pro Storagedevice kommen aus Redundanzgründen immer zwei Controllerbausteine
       zum Einsatz. Sie sind intern über Fibre Channel verbunden und spiegeln darüber
       ihren Cache. Außerdem verfügen sie über FC-AL-Anschlüsse für die Disc
       Enclosures und über min. zwei externe Anschlüsse (FC oder iSCSI) für die SAN-
       Switche.
    2. Disk Enclosures
       Disk Enclosures sind zusätzliche Gehäuse in denen Festplatten untergebracht
       werden. Über zwei FC-AL-Leitungen werden sie redundant am Controller
       angeschlossen. Intern werden auch die Festplatten redundant an zwei
       Datenleitungen (je nach Platteninterface) betrieben.
       Um die Ausfallsicherheit zu erhöhen, verfügt ein FC-Festplatte über zwei
       Steckverbinder zur Backplane.
Das komplette System ist völlige redundant ausgelegt. Sollte ein Controller ausfallen, so ist
der andere in der Lage den Betrieb alleine aufrecht zu halten.




                                                                                                102
Kapitel 8. Herstellervergleich - Bewertung



                   externe FC/ iSCSI- Ports                 externe FC/ iSCSI- Ports




                        Controller A            Cache
                                                                   Controller B
                                               Mirroring
              FCAL- Diskkanäle                                          FCAL- Diskkanäle




                                         HDD               HDD


                                   Disk Enclosure
          Abbildung 44: Schematischer Aufbau eines Storagedevice


Obwohl der grundlegende Aufbau der EMC Clariion-Serie und der HP EVA-Serie gleich
ist, verfolgen beide Hersteller im Detail zwei unterschiedliche Ansätze. EMC setzt bei der
Verwaltung der einzelnen Festplatten auf unterschiedliche Hardware-Disc Groups, wobei
HP dazu einen Ansatz der Virtualisierung verfolgt.



8.1.1 Technisches Konzept der EMC Clariion- Serie

EMC bietet für den Midrange-Bereich die Modelle Clariion 300 und 500 an. Um die Lücke
zwischen dem Midrange- und dem Enterprise-Segment zu schließ, hat man die 700 Serie im
Programm. Seid Anfang 2005 bietet EMC die 300- und 500-Serie auch mit externen iSCSI-
Anschlüssen an. Die Festplatten werden aber weiterhin über FC-AL angesteuert.

8.1.1.1 Grundkonzept

EMCs Clariion-Serie verfolgt den klassischen Ansatz von Hardware RAID-Sets.
Auf Hardwareebene werden einzelne, physikalische Festplatten zu einer RAID Gruppe
zusammen gefügt. Auf diesen gruppierten, logischen Laufwerken werden dann LUNs
wahlweise mit den RAID-Level 0, 1, 1/0, 3 oder 5 und frei wählbarer Größe (min 1 GByte)
generiert.
Mit der ersten LUN wird der RAID-Level der ganzen RAID Gruppe festgelegt. Ist z. B.
einmal ein RAID 5-LUN angelegt, können auch nur noch RAID 5-LUNs hinzu gefügt
werden. Es sei denn, man löscht alle vorhandenen LUNs, dann kann die RAID Gruppe neu
formatiert werden..
Beispiel: Aus insgesamt 10 Festplatten werden drei RAID Gruppen mit 5, 2 und 3 Platten
generiert. Durch das Erstellen der LUNs wird das RAID-Level fest gelegt.




                                                                                             103
Kapitel 8. Herstellervergleich - Bewertung




                                                    RAID              RAID
                    RAID Gruppe 1                  Gruppe 2          Gruppe 3




              HDD

                      HDD

                              HDD

                                      HDD

                                             HDD



                                                   HDD

                                                         HDD



                                                                   HDD

                                                                         HDD

                                                                               HDD
                                                                   LUN 4 RAID 0
                                                    LUN 3
                      LUN 1 RAID 5                  RAID 1
                                                                   LUN 2 RAID 0

             Disk Enclosure

           Abbildung 45: Schema eines EMC Disk Enclosure mit RAID Gruppen und LUNs


8.1.1.2 Storage- Gruppen

Mit Hilfe von Storage-Gruppen realisiert EMC das LUN-Masking (s.o.).
Nachdem man LUNs erstellt hat, kann man sie noch keinem Servern zuweisen. Man muss
sie erst zusammen mit den Servern, die darauf zugreifen sollen, in eine gemeinsamen
Storage-Gruppe einfügen. Innerhalb dieser Gruppe werden dann die LUNs mit den Servern
verknüpft.

8.1.1.3 META- LUN

Für den Fall, dass irgendwann auf einer LUN Speicherplatz knapp wird, hat EMC die
META-LUN entwickelt. Dabei wird eine neue, leere LUN erstellt und der vollen LUN
„zugewiesen“. Der Controller fügt die beiden LUNs entweder via Striping oder Verkettung
zu einer großen META-LUN zusammen. Dabei ist es egal auf welchen RAID Gruppen die
zu koppelnden LUNs liegen. Wichtig ist nur, dass beide das selbe Interface und RAID-
Level besitzen. Außerdem besteht die Möglichkeit aus mehreren META-LUNs eine große
LUN zu generieren.
Sollte sich einmal innerhalb eines Enclosures kein Platz mehr bieten, so ist es auch möglich,
META-LUNs über Disk Enclosure Grenzen hinweg zu generieren.

Je nach Betriebssystem muss der Server nach der Vergrößerung der Plattenkapazität evtl.
einen Rescan der Laufwerke durch führen oder neu gestartet werden.




                                                                                                104
Kapitel 8. Herstellervergleich - Bewertung




                                                       RAID                 RAID
                    RAID Gruppe 1                     Gruppe 2             Gruppe 3




              HDD

                      HDD

                              HDD

                                      HDD

                                                HDD



                                                      HDD

                                                              HDD



                                                                         HDD

                                                                                HDD

                                                                                        HDD
                 LUN 5 RAID 5                leer
                                                                         LUN 4 RAID 0
                                                       LUN 3
                 LUN 1 RAID 5                voll      RAID 1
                                                                         LUN 2 RAID 0

                                                                           Disk Enclosure
                       META- LUN

           Abbildung 46: Schema eines EMC Disk Enclosure mit META-LUN


8.1.1.4 Technischer Aufbau

Controller
Unabhängig von der Baureihe besteht eine EMC Clariion aus zwei Controllerbausteinen die
in einem gemeinsamen Gehäuse sitzen und über eine Backplane verbunden sind. Innerhalb
der Controller läuft ein, auf die Hardware zugeschnittenes, Betriebssystem, dass für die
Verwaltung ein Webinterface zur Verfügung stellt. Dadurch lassen sich alle Clariions eines
SANs unabhängig vom Ort managen. Sie sind intern redundant ausgelegt und besitzen
keinen Single Point of Failure (SPOF). Durch eine integrierte Batterie wird gewährleistet,
dass bei einem Stromausfall der Cache-Inhalt auf Festplatte gesichert wird.

Vergleich der einzelnen Baureihen:


                                      Clariion 300      Clariion 500            Clariion 700
          Cache                          2 GByte             4 GByte              8 GByte
          Anzahl
                                               2                4                       8
     FCAL-Diskkanäle
     Max. Anzahl von
                                              60               120                     240
        Festplatten
           Max.
                                       16,5 TByte           35,5 TByte            74 TByte
     Speichervolumen
        Anzahl LUNs                           512             1024                     2048
       Datendurchsatz                680 MByte/sec      760 MByte/sec           1,3 Tbyte/sec
          Disk I/O                           50000           120000                   200000
       Anzahl externer
                                               4                4                       8
         FC-Ports
         Disk Typ                   FC, SATA+ ATA      FC, SATA+ ATA           FC, SATA+ ATA
  Tabelle 29: EMC Clariion Systemvergleichsdiagramm [emc_claü]




                                                                                                105
Kapitel 8. Herstellervergleich - Bewertung



Disk Enclosure
In ein Disk Enclosure der EMC Clariion passen 14 Disks.
Es gibt zwei Arten von Enclosure, eine nur für FC-Platten und eines für SATA- und ATA-
Platten. Ein Mischbetrieb der Festplatten ist innerhalb eines Enclosure durch die spezielle
EMC-Schnittstelle mit ATA- und SATA-Platten möglich. Die beiden Typen unterscheiden
sich nur in den Kapazitäten und Zugriffszeiten.
Um die Ausfallsicherheit auch bei den S/ATA-Enclosure zu gewährleisten, verbaut EMC
innerhalb des Enclosures zwei Controller. Extern werden sie über FC-AL angeschlossen
und intern besteht eine redundante Punkt zu Punkt- Verbindung zu den Plattenanschlüssen.

8.1.1.5 Erweiterbarkeit

Durch einfachen Controllertausch kann die 300er auf die 500er und die 500er auf die 700er
erweitert werden. Dabei bleiben die Disk Enclosures unangetastet, so dass keine Gefahr für
die Daten besteht.
Theoretisch ist es möglich den Tausch im laufendem Betrieb durch zu führen. In der Praxis
wird aber davon abgeraten, denn für den Moment des Tausches besteht dann keine
Redundanz mehr.



8.1.2 Technisches Konzept der HP EVA- Serie

Im Midrange-Bereich bietet HP seine EVA-Serie (Enterprise Virtual Array) mit den
Modellen 3000 und 5000 an. Ende Mai 2005 wird die Serie um drei weitere Modelle 4000,
6000 und 8000 erweitert. Leider ist es schwierig jetzt schon genaue Spezifikationen dafür
zu bekommen.
HP setzt bei der EVA auf die Virtualisierung der Festplatten auf Controllerebene.

8.1.2.1 Grundkonzept

HP verfolgt mit der EVA einen Ansatz der Virtualisierung auf Controllerebene. Hierbei
werden die Festplatten nicht mehr zu mehreren RAID-Sets zusammen gefasst, sondern man
gruppiert die physikalischen Festplatten in einige wenige Disc Groups. Innerhalb einer Disc
Group werden über alle darin enthaltene physikalischen Platten virtuelle LUNs (VLUNs)
gebildet. Das RAID-Level (0, 1 und 5) wird auch hier erst in Verbindung mit den VLUNs
vergeben. Allerdings ist das Mischen unterschiedliche RAID-Level pro Disc Group durch
die Virtualisierung möglich (s.u. VRAID). [hp_evapres]
Allgemein:
RAID-Sets über möglichst viele Festplattenspindeln sind durch die parallelisierten
Schreibköpfe besonders schnell.
Aus diesem Grund empfiehlt HP nur wenige Disc Groups mit möglichst vielen Festplatten
zu bilden. Je mehr Festplatten innerhalb in einer Disc Group sind (min. 8), desto höher wird
die Performance sein.
Beispiel: Aus 12 Festplatten wird eine große Disc Group gebildet auf denen verschiedene
VLUNs mit unterschiedlichen RAID-Leven installiert werden.



                                                                                               106
Kapitel 8. Herstellervergleich - Bewertung




                                                                 Disc Group 1




                                                                                               HDD
           HDD

                       HDD

                                   HDD

                                               HDD

                                                           HDD



                                                                                   HDD




                                                                                                                       HDD

                                                                                                                                   HDD

                                                                                                                                               HDD
                                                                       HDD




                                                                                                           HDD




                                                                                                                                                           Disk Enclosure
                                                     Virtual- LUN 4, VRAID 0

                                                     Virtual- LUN 2, VRAID 1

                                                     Virtual- LUN 1, VRAID 5

         Abbildung 47: Schema eines HP EVA Disk Enclosure mit VLUNs



8.1.2.2 VRAID

Man spricht bei der EVA von VRAIDs, weil innerhalb einer Disc Group verschiedene
RAID-Level zum Einsatz kommen können. Dabei wird die physikalische Ebene (Festplatte)
von der logischen Ebene (RAID-Level) getrennt. Der Controller verteilt dazu die Daten
Blockweise pro LUN und je nach RAID-Level unterschiedlich:
     -    RAID 0: Die Blöcke werden innerhalb der LUN einzeln pro Festplatte verteilt.
     -    RAID 1: Jeder Datenblock wird innerhalb der LUN auf die nächste Platte
          gespiegelt.
     -    RAID 5: In der Verteilung 4+1 werden die Datenblöcke innerhalb der LUN auf den
          Disks verteilt. Nach 4 Blöcken folgen die dazu gehörigen Parity-Informationen.


Beispiel: Der Datenstrom ABCDEFG... wird auf drei LUNs mit den VRAID-Leveln 0, 1
und 5 geschrieben.


                                                                       Disc Group 1
                                                                                                     HDD
                 HDD

                             HDD

                                         HDD

                                                     HDD

                                                                 HDD



                                                                                         HDD




                                                                                                                             HDD

                                                                                                                                         HDD

                                                                                                                                                     HDD
                                                                             HDD




                                                                                                                 HDD




                                                                                                                                                                            Disk Enclosure




VRAID 0          A           B           C           D           E           F           G           H
VRAID 1          A           A`          B           B`          C           C´          D           D`          E           E`
VRAID 5          A           B           C           D       Parity
                                                             ABCD            E           F           G           H       Parity
                                                                                                                         EFGH



Abbildung 48: Prinzipielle Blockverteilung der verschiedenen RAID-Level



8.1.2.3 Speicherplatzerweiterung

Sollte in einer LUN der Speicherplatz knapp werden aber in der Disc Group steht noch
freier Platz zur Verfügung, dann kann man einfach über die Managementkonsole die LUN-
Kapazität erhöhen, z.B. von 40 GB auf 50 GB.



                                                                                                                                                                                             107
Kapitel 8. Herstellervergleich - Bewertung



Sollte die Disc Group keinen freien Speicherplatz mehr bieten, so kann man sie mit leeren
Festplatten erweitern. Eine Erweiterung der Disc Group ist auch über die Grenzen eines
Enclosures hinweg möglich.
Die Controller verteilen die Daten danach gleichmäßig auf die neue Anzahl von Disks, so
dass sich der hinzugefügte freie Speicherplatz auf alle Festplatten verteilt und man die LUN
erweitern kann.

Beispiel: Zu der Ausgangskonfiguration in Abbildung 47 wurde ein weiteres Enclosure
hinzu gefügt und Disc Group 1 wurde um 5 neue Festplatten innerhalb von Enclosure 2
erweitert. Die Controller verteilen dann denn freien Speicher selbstständig (s.u.).


                                                  Disc Group 1




                                                                  HDD
                HDD

                        HDD

                                HDD

                                        HDD

                                                HDD



                                                            HDD




                                                                               HDD

                                                                                     HDD

                                                                                           HDD
                                                      HDD




                                                                         HDD




                                                                                                 Enclosure 1
                                               Virtual- LUN 4, VRAID 0
                                              Virtual- LUN 2, VRAID 1
                                              Virtual- LUN 1, VRAID 5
                HDD

                        HDD

                                HDD

                                        HDD

                                                HDD




                                                                                                 Enclosure 2
                   Virtual- LUN 4, VRAID 0
                 Virtual- LUN 2, VRAID 1
                 Virtual- LUN 1, VRAID 1

                        Disc Group 1
                       Neue Festplatten

   Abbildung 49: Hinzufügen eines zweiten Enclosures und Vergrößerung einer Disc Group


Je nach Betriebssystem muss der Server nach der Vergrößerung der Plattenkapazität evtl.
einen Rescan der Laufwerke durch führen oder neu gestartet werden.

8.1.2.4 Redundant Storage Sets

Die Verteilung der Disc Groups über viele Enclosures wird von HP ausdrücklich
empfohlen. Denn der Controller verteilt mit Hilfe eines speziellen Algorithmus die
Datenblöcke so auf alle vorhandenen Festplatten, dass dadurch eine höhere
Ausfallsicherheit gewährleistet wird.
Beispiel: Bei Einsatz von RAID 5, min. 5 Enclosures und min 5 Platten pro Enclosure kann
bei geschickter Verteilung der Blöcke ein komplettes Enclosure ausfallen und trotzdem
kann an Hand der Parity-Informationen der Datensatz wieder hergestellt werden.
[hp_evapräs]



                                                                                                               108
Kapitel 8. Herstellervergleich - Bewertung




5 Enclosures mit 25 Festplatten:

                              1           2            3               4            5
                         sk          sk           sk              sk           sk
                       Di         Di           Di              Di           Di

Enclosure 1          A            a       10               I               1        ...

Enclosure 2          2            B           b        20                  II       ...

Enclosure 3         III       30              C            3               c        ...

Enclosure 4          d        IIII            4            D           40 ...
                     P            P           P            P               P
Enclosure 5         10 20
                              1234
                                          I II III
                                                       abcd            ABCD
                                                                                    ...
                    30 40                   IIII


Abbildung 50: Schema von Redundant Storage Sets


8.1.2.5 Distributed Sparing

Bei der HP EVA gibt es keine dedizierte Hot Spare-Platte mehr. Durch das gleichmäßige
Verteilen der Daten über alle Platten innerhalb einer Disc Group, kann auch ohne definierte
Spare-Platte, eine Disk ausfallen. Vorraussetzung dafür ist aber, dass auf der Disc Group
noch genügend freier Speicherplatz zur Verfügung (Grundvorrausetzung: RAID 1 oder 5).

Beispiel: Auf einer Disc Group mit 20 Festplatten, 400 GByte freien Speicherplatz und
RAID 5 LUNs kann ruhig eine 146 GByte große Festplatte ausfallen. Anhand der Parity-
Daten schreibt der Controller die Daten auf den freien Speicherplatz der noch vorhandenen
Platten zurück.

Definiert man trotzdem eine Hot Spare-Platte, so wird der Speicherplatz vom gesamten
Speicher abgezogen und ist somit für einen Ausfall „reserviert“. [hp_evapräs]

8.1.2.6 Technischer Aufbau

Controller
Eine EVA verfügt über zwei redundante, baulich unabhängige Controller. Anstelle einer
Backplane werden sie über Kabel verbunden.
Auf den Controllern läuft ein spezielles Betriebssystem was die Virtualisierung und
Verteilung der Datenblöcke übernimmt.
Die Optimierung und die Verteilung der Datenblöcke ist ein ständig andauernder Prozess,
den die EVA eigenständig im Hintergrund ausführt.

Vergleich der einzelnen Baureihen:




                                                                                              109
Kapitel 8. Herstellervergleich - Bewertung




                            EVA 3000         EVA 4000     EVA 5000   EVA 6000      EVA 8000
        Cache                 2 GByte         2 GByte     2 GByte     2 GByte       4 GByte
  Anzahl FCAL-
                                  4              4           8           4              8
   Diskkanäle
 Max. Anzahl von                                                                       168
                                 56             56          240         112       mit Erweiterung
   Festplatten                                                                          240

      Max.                                                                        50,4 TByte
                             14 TByte        16,8 TByte   60 TByte   33,6 TByte   mit Erweiterung
 Speichervolumen                                                                     72 TByte
   Anzahl LUNs                   512           1024         512.       1024           1024
  Datendurchsatz                k.A.            k.A.        k.A.        k.A.           k.A.
     Disk I/O                   k.A.            k.A.        k.A.        k.A.           k.A.
  Anzahl externer
                           4 x 2GB/sec 4 x 2GB/sec 4 x 2GB/sec 4 x 2GB/sec 4 x 2GB/sec
    FC-Ports
      Disk Typ             FC + FATA FC + FATA FC + FATA FC + FATA FC + FATA

Tabelle 30: HP EVA Systemvergleichsdiagramm [hp_eva4000-6000]


Die Controller verfügen über eine eingebaute Batterie, die den Inhalt des Caches bis zu 96
Stunden aufrecht erhalten können.
Von Außen erreicht man den Controller nur über die Management Einheit. [hp_evapräs]

Management Einheit
Zur Steuerung und Verwaltung der EVA benötigt man eine zusätzliche Out of Band-
Management Einheit. Früher musste man dafür eine Blackbox von HP kaufen, heute ist es
nur noch ein Stück Software, dass auf einem beliebigen Server innerhalb des Fabric
installiert werden muss. Dabei liegt es an einem selber, ob man dafür einen dedizierten
Server einsetzt, oder ob man die Software auf einem Server installiert der sowieso am
Fabric angeschlossen..
Die Management Einheit verfügt zur Fernwartung über ein Webinterface. Sollte die Einheit
einmal Ausfallen, so beeinträchtigt das nicht den produktiven Betrieb des SANs. Es steht
dann „nur“ nicht mehr das Webinterface zur Verfügung.

FATA – Fibre Attached Technology Adapted
FATA ist in Zusammenarbeit von HP und Seagate im Jahr 2004 entwickelt worden. Es
handelt sich dabei um Festplatten auf ATA-Basis, die durch eine spezielle Elektronik und
zwei FC-Anschlüssen in der Lage sind, an FC angeschlossen zu werden. Dadurch ist es
möglich, dass FATA-Platten in dem selben Enclosure betrieben werden wie FC-Platten.
[hp_fata]

Disk Enclosure
Ein Disk Enclosure der HP EVA kann 14 Festplatten auf nehmen. FC-Platten können mit
FATA-Platten gleichzeitig in einem Enclosure betrieben werden. [hp_evapräs]



                                                                                                    110
Kapitel 8. Herstellervergleich - Bewertung



8.1.2.7 Erweiterbarkeit

Jede EVA ist auf die nächst höhere Baureihe erweiterbar. Theoretisch ist das im laufendem
Betrieb möglich. Da dazu aber immer ein Controller abgeschaltet werden muss, wird dieses
Vorgehen nicht empfohlen. Denn für die Dauer des Tausches verliert man die Redundanz.



8.2 Software, Benutzerfreundlichkeit und Preisgefüge

Innerhalb eines SANs stellt die Hardware die Basis des vollen Funktionsumfangs da. Viele
Funktionen werden erst durch Software realisiert, die auf der Hardware aufsetzen.
Über die Zeit haben sich gewisse Funktionalitäten als Standard entwickelt und jeder
Hersteller hat sie für seine Hardware umgesetzt. Unter den großen Hersteller kann es sich
heute keiner mehr leisten eine unreife oder unvollständige Software auszuliefern. Zwar gibt
es kleine, feine Unterschiede und Ansätze, aber eine qualitativ hohe Grundfunktionalität
bieten alle.

Das macht eine Bewertung schwierig und deshalb wurde der „Look and Feel“-Faktor mit
einbezogen. Wenn man mit beiden Systeme in der Praxis gearbeitet hat, kann man sich ein
Bild davon machen, mit welche Software man besser zurecht kommt. Deshalb sollte man
sich vor einer Kaufentscheidung ausgiebig mit der verfügbaren Software und dessen
Bedienbarkeit auseinander setzen.

Schlussendlich ist noch der Preis und die Folgekosten ein entscheidendes Kaufkriterium.
Leider lässt sich ein Preis im Vorfeld nie genau bestimmen, denn die letztendlichen Preise
differieren extrem von den Listenpreisen der einzelnen Komponenten. Es hängt
hauptsächlich von den Rabatten ab, die ein Hersteller dem Kunden einräumt und die werden
durch viele Faktoren beeinflusst. Z. B.:
Ist man Bestandskunde oder Neukunde den der Hersteller unbedingt als Kunden gewinnen
will, müssen noch die Quartalszahlen angehoben werden, etc...



8.2.1 Software und Management der EMC- Clariion Serie

8.2.1.1 Clariion- Software

EMC bietet für die Clariion Serie folgende Software an:

     -    Navisphere Management Suite
          Managementtool, dass per Webbrowser eine oder mehrere Clariions verwaltet,
          überwachet und Reports generiert. Des weiteren können die folgenden
          Softwaremodule, zwecks übersichtlicher Verwaltung, mit in die Management Suite
          eingebunden werden.
     -    Snap View
          Snap View ist das Softwaremodul mit dem man Snapshots und Clone erstellt.



                                                                                              111
Kapitel 8. Herstellervergleich - Bewertung



     - Mirror View
       Ermöglicht die Datenspiegelung zwischen Clariion Systemen über IP oder Fibre
       Channel.
   -   SAN Copy
       Hiermit sind Datentransfers zwischen Speichersubsystemen verschiedener
       Hersteller möglich.
   -   Power Path
       Power Path ist eine Client-Software die I/O-Prozesse auf mehrere Pfade verteilt, es
       sorgt für eine automatische Lastverteilung und Pfad-Failover.
   -   Visual SAN
       Automatisiert die SAN-Verwaltung. Es erkennt neue Geräte im SAN, stellt sie dar
       und ermöglicht eine einfache Verwaltung.
   -   Visual SRM
       Storage Ressource Management (SRM) für herstellerübergreifende Hardware das
       umfassende Reports über Auslastung der Systeme, Speicherwachstum und
       Verteilung erstellt. Des weiteren lassen sich Regeln für Platenplatz
       Reglementierung und Speichernutzung erstellen.
[emc_clarisoft]

Allerdings unterstützt nicht jede Baureihe die komplette Softwarepalette. Welche Clariion
welche Software nutzen kann, soll folgende Tabelle darstellen:

          Software                   Clariion 300       Clariion 500    Clariion 700
         Navisphere
                                             X                X               X
         Management
         Snap View                           X                X               X
         Mirror View                         -                X               X
         SAN Copy                            -                X               X
         Power Path                          X                X               X
         Visual SAN                          X                X               X
         Visual SRM                          X                X               X
Tabelle 31: Unterstützte Software der Clariion Baureihen [emc_claü]


8.2.1.2 Clariion Management

Hier soll kurz die Management-Konsole der EMC-Clariion Serie, die so genannte
„Navisphere Management Suite“, vorgestellt werden.
Durch die Bereitstellung eines Navisphere Simulators durch die Firma SYSDAT ist hier
eine etwas ausführlichere Vorstellung möglich.

Mit Hilfe eines Webbrowsers lassen sich alle im SAN befindlichen EMC-Devices
verwaltet. Alle eingebundenen Geräte sind übersichtlich in einer Baumstruktur angeordnet.




                                                                                             112
Kapitel 8. Herstellervergleich - Bewertung




Abbildung 51: Screenshot EMC Navisphere Management Simulator; erstellen einer LUN


Jedes Device ist unterteilt in:
    -  Host
       Enthält Infos über das System.
    -  Physical
       Zeigt die angeschlossenen Enclosures mit deren Komponenten an (HDD, Lüfter,
       Netzteile).
    -  SP A und SP B
       SP steht für Storage Prozessor. Pro Controller kommt ein Prozessor zum Einsatz,
       daher sieht man zwei, A und B. Unter diesen Icons stehen alle LUNs, die dem
       jeweiligen Prozessor zugewiesen sind.
    -  RAID Groups
       Hier werden alle RAID Groups mit ihren enthaltenen LUNs zusammen gefasst.
    -  Storage Groups
       Storage Groups enthält die fürs LUN-Masking eingeteilten Storage Groups mit den
       dazu gehörigen Hosts und LUNs.
    -  Remote Mirror, SnapView, San Copy und Unowned LUNs
       Diese Menüpunkte bildet die zusätzlichen Software-Module ab und stellen dort ihre
       Funktionen zur Verfügung.




                                                                                           113
Kapitel 8. Herstellervergleich - Bewertung



Durch die Baumstruktur geht nach kurzer Einarbeitungszeit die Bedienung leicht von der
Hand.



8.2.2 Software und Management der HP- EVA Serie

8.2.2.1 EVA- Software

HP bietet für die EVA folgende Software an:

     - Storage Management Appliance
       Out of Band Management Einheit (s.o.) die ein Webinterface zur Verfügung stellt
       um das SAN zu verwaltet.
    -  Storage Area Manager
       Bietet die Möglichkeit umfassenden Reports über Performance, Speicherwachstum,
       Auslastung und Wachstum zentral zu erstellen.
    -  Storage Operation Manager
       Setzt auf der Management Appliance auf und erweitert dessen Funktionen. Damit
       ist es z.B. möglich sich übersichtliche SAN-Topologie Karten zu erstellen.
    -  Business Copy
       Software die Snapshots, VSnaps und SnapClone erstellt.
       Die Besonderheit der EVA ist die Möglichkeit zusätzlich VSnaps und SnapClones
       zu generieren.
       Vsnap: Anders als beim Snapshot benötigt ein Vsnap nur den Speicherplatz, den die
       geänderten Daten real belegen. Dadurch ist er sehr Platz sparend.
       SnapClone: Der Clone ist von Begin an einsetzbar, so dass man von ihm ein Backup
       erstellen kann, obwohl noch nicht alle Daten kopiert sind. Ist der Clone dann
       komplett, lässt sich mit ihm ein Recovery in kurzer Zeit durch führen.
    -  Continous Access
       Ermöglich synchrone und asynchrone Spiegelung zwischen zwei oder mehr EVAs.
    -  Secure Path
       Software die auf den Servern läuft und die bestmögliche Verbindung durch das
       Fabric zum Storage garantiert.
[hp_evasoft] [hp_evapres]

Die oben genannte Software kann auf allen Modellen der EVA Serie zum Einsatz kommen.

8.2.2.2 EVA Management

Hier soll kurz die Management Konsole einer HP EVA vorgestellt werden. Live wurde sie
im SAP Kompetenz Center getestet. Leider bestand dort nicht die Möglichkeit
aussagekräftige Sceenshots zu machen, so dass auf Abbildungen aus einer Power Point
Präsentation zurück gegriffen werden musste.




                                                                                           114
Kapitel 8. Herstellervergleich - Bewertung




    Abbildung 52: Screenshot der EVA Management Konsole [hp_evapres]


Ähnlich wie bei der EMC Konsole, so werden auch hier alle HP Storagedevices innerhalb
des SANs angezeigt und in einer Baumstruktur angeordnet.
Jedes Device ist unterteilt in:
     -    Virtual Disk
          Zeigt alle VLUNs des Devices an.
     -    Hosts
          Listet die dem Storage zugewiesenen Server auf.
     -    Disk Group
          Gibt eine Übersicht über alle Disc Groups des Systems.
     -    Hardware
          Zeigt Infos über das Device selber an.
     -    Data Replication
          Ist auf dem Screenshot nicht zu sehen, da wahrscheinlich keine Continous Access
          verfügbar ist.


Durch die gewohnte Baumstruktur geht auch hier die Bedienung leicht von der Hand.



8.3 Vergleich der beiden Konzepte

Nach ausgiebiger Auseinandersetzung mit den beiden Serien, folgt nun ein Vergleich der
verwendeten Technologien, der Software- Bedienbarkeit und des Preisgefüges.




                                                                                            115
Kapitel 8. Herstellervergleich - Bewertung



8.3.1 Vergleich Technik

EMC verfolgt mit der Clariion den klassischen Ansatz der einzelnen RAID-Sets. HPs EVA
geht den Weg der Virtualisierung und nimmt damit viele Aufgaben aus den Händen des
Administrators.
Die Clariion ist in der Lage auch mit minimaler Plattenanzahl ihre volle Performance zu
entfalten. Laut HP wird die EVA erst richt performant, wenn sie mit möglichst vielen
Platten ausgestattet ist. Leider konnte in einer Testumgebung nicht geklärt werden, wie die
Performance einer EVA von der Anzahl verwendeter Platten abhängt.

Zudem stellt sich die Frage, ob beim Einsatz von vielen VLUNs innerhalb einer Disc Group
die parallelen Platten überhaupt dazu kommen ihr Geschwindigkeit aus zuspielen, oder ob
die Leseköpfe nur damit beschäftigt sind, sich zu positionieren. HP antwortet darauf, dass
der Controller eine so hohe Intelligenz besitzt, dass die Kopfbewegungen maximal
optimiert werden und dadurch keine Performanzeinbußen entstehen. Angeblich sollen das
auch Messungen von HP belegt haben, leider wurden diese aber nicht veröffentlicht.

Ein Pluspunkt für die EVA sind die zusätzlichen Sicherheitsmechanismen. Durch die
„Redundant Storage Sets“ darf, bei entsprechender Konfiguration, ein komplettes Enclosure
einmal ausfallen, ohne das dadurch zwingend ein Datenverlust entsteht. Durch das
„Distributed Sparing“ kann man bei genügend freiem Speicherplatz innerhalb einer Disc
Group auf Hot Spare-Festplatten verzichten.

Insgesamt wird das HP Konzept zur Einbindung von ATA-Technologie in ein
Storagedevice als gelungener betrachtet. Durch die einheitliche FC-Schnittstelle der
Festplatten ist man freier in der Bestückung der Enclosures und eine zusätzliche
Fehlerquelle in der Umsetzung von FC auf ATA innerhalb eines Controllers wird
ausgeschlossen.

EMC bietet eine direkte Spiegelfunktion zwischen zwei Clariions erst ab der 500er Serie an.
Bei HP unterstützt dieses Feature auch schon die EVA 3000.

Ein weiterer, wichtiger Punkt ist, dass die Clariion durch die manuelle Vergabe der RAID-
Sets viel mehr Potenzial beim Feintuning bietet. Bei der EVA übergibt der Administrator
diese Aufgaben vertrauensvoll an den EVA-Controller.
Dabei scheiden sich die Geister. Der eine möchte lieber Herr über seine Platte und deren
LUN-Verteilung sein und der andere legt Wert auf eine einfache Bedienbarkeit, ihn
schrecken evtl. die Tuningmöglichkeiten sogar ab.

Ein abschließender Vergleich fällt durch die unterschiedlichen Ansätze sehr schwer. Beide
haben Ihre Stärken und laut Hersteller keine Schwächen. Letztendlich liegt es wieder beim
User selbst, worauf er Wert legt.




                                                                                              116
Kapitel 8. Herstellervergleich - Bewertung



8.3.2 Vergleich Software und Management

Wie in der Einleitung des Kapitels schon erwähnt, gibt sich keiner der beiden Hersteller
beim Softwareumfang eine Blöße. Beide bieten ein identisches, reichhaltiges
Softwareangebot für ihre Storagedevices an.

Die Bedienoberfläche der Managementtools beider Hersteller sind in einer Baumstruktur
angeordnet. Beim direkten vergleich fiel auf, das EMC in der obersten Struktur mehr Icons
einsetzt und dadurch etwas unaufgeräumt wirkt. Besonders die getrennte Auflistung der
Storage Prozessoren (SP A + B) schaffte zu anfangs Verwirrung. Nach kurzer
Einarbeitungsphase hat man sich aber an die Aufteilung gewöhnt.

Auf den ersten Blick, leider lässt die Zeit nicht mehr zu, bietet HP mit den VClones und
Snapclones allerdings noch zwei interessante Features auf die man bei EMC verzichten
muss. Es wird aber nicht ausgeschlossen, dass nach intensiver Suche im EMC Paket ein
interessantes Feature entdeckt wird, was HP nicht bietet.



8.3.3 Vergleich Preisgefüge

Wie schon in Kapitel 3.4 erklärt, ist eine genaue Aussage über den Preis der beiden Systeme
äußerst schwierig.
An Hand der Konzepte der beiden Hersteller kann man aber eine Aussage über den
Plattenausbau, und damit über einen Teil der Anschaffungskosten der Devices, tätigen.

Geht man bei der Firma Miltenyi von aktuellen ca. 2 TByte belegten Speicher aus und
rechnet man noch 1 TByte Wachstum mit ein, so sollten 3 TByte Speichervolumen für die
nahe Zukunft ausreichen. Die 3 TByte werden auf schnelle FC-Platten gelegt und zusätzlich
werden noch 1,5 TByte auf ATA-Festplatten für Snapshots, Backup, HSM, etc. hinzu
gefügt.
Anhand dieser Zahl wird nun ermittelt, welche Plattenanzahl benötigt wird:
25 x 146 GByte FC-Festplatten = 3,6 TByte, nutzbar bei Einsatz von RAID 5 = 2,88 TByte
8 x 250 GByte ATA-Festplatten = 2 TByte, nutzbar bei Einsatz von RAID 5 = 1,6 TByte

Es wurde mit 8 ATA-Platten mit 250 GByte Größe gerechnet, da es für die EVA nur ATA-
Platten in dieser Größe gibt und weil man für eine Disc Group in einer EVA min. 8
Festplatten benötigt. Für eine EMC Clariion gibt es neben 250GByte noch ATA-Platten mit
320 GByte Fassungsvermögen.

Eine EMC Clariion bestückt man mit den Festplatten, bildet seine RAID Gruppen, weißt sie
den Servern zu und das System läuft mit voller Performance.

So einfach ist es bei einer HP EVA leider nicht. Laut HP erreicht die EVA ihre volle
Performance erst, wenn man sie mit möglichst vielen Platten bestückt. Wie im
Technikvergleich schon erläutert wurde, kann leider keine Aussage darüber getroffen



                                                                                              117
Kapitel 8. Herstellervergleich - Bewertung



werden, wie performant eine EVA mit der oben ermittelte Plattenanzahl von 33 Stück
laufen wird.

Die ganze Betrachtung ist eine zwiespältige Geschichte. Rüstet man die EVA mit mehr
Platten aus, erhält man volle Performance, mehr Speicherkapazität und eliminiert dadurch
zukünftige Plattennachkäufe. Auf der anderen Seite wachsen die Plattenkapazitäten weiter,
wobei der Preis pro Gigabyte kontinuierlich sinkt, so dass es wahrscheinlich ein
Verlustgeschäft ist. Es wird nicht umsonst dazu geraten den White Space Anteil so gering
wie möglich zu halten.
Ungeachtet dessen, sollte man bei der Betrachtung nicht die Gesamtkosten des SANs außer
acht lassen. Wie in Kapitel 3.4 schon beschrieben, entfallen auf das Storagedevice ca. ein
drittel der Anschaffungskosten, was die ganze Diskussion noch weiter relativiert.




                                                                                             118
Kapitel 9. Fazit - Ergebnis




9. Fazit – Ergebnis
Die momentane Situation des Speicherumfeldes bei der Firma Miltenyi Biotec GmbH
erfordert dringenden Handlungsbedarf.

Das unkontrollierte Datenwachstum auf dem Fileserver treibt die vorhandenen Kapazitäten
regelmäßig an seine Grenzen. Das wirkt sich auch auf das Backup aus, denn das
Fassungsvermögen der Tapelibrary ist schon überschritten.
Die Sicherungen aller Server laufen nur unzuverlässig, so dass man ein konsistentes,
zeitnahes Recovery nicht gewährleisten kann. Zudem geht intern niemand davon aus, dass
sich ein Recovery eines einzelnen, wichtigen Systems innerhalb, des von der
Geschäftsleitung geforderten Zeitraumes, von einem halben Tag, durchführen lässt.
Die E-Mail Postfächer umfassen teilweise eine Größe von mehreren Gigabyte, was
wiederum das Backup und ganz besonders ein Recovery einzelner Mailboxen schwierig
macht. Die ständig steigende Postfachgröße erschwert außerdem die Suche nach einzelnen
Mails.
Mehrere Subsystemausfälle in wichtigen Servern haben zu langen Downtimes und zu
erheblichem Arbeitsaufwand der Administratoren geführt.

SAN anstatt DAS
Mit der Anschaffung eines SANs schafft man die Basis um all diese Probleme zu lösen.
Aktuelle Storagedevices sind völlig redundant ausgelegt und besitzen keinen Single Point of
Failure. Da die im Einsatz befindlichen Server nicht über ein redundant ausgelegtes
Speichersubsystem verfügen, wird die Verfügbarkeit der daran angeschlossenen Systeme
erheblich erhöht. Auch Hochverfügbarkeitslösungen lassen sich dann in der Zukunft mit
relativ wenig Aufwand realisieren.
Durch die besondere Skalierbarkeit eines SANs kann man einen zukünftigen
Speicheranstieg komfortabel abfangen.

Auf der Basis eines SANs setzten umfangreiche Softwaremodule auf, die bei der
Verwaltung, Archivierung, Skalierbarkeit und Überwachung des Storage behilflich sind.

Zum Beispiel ist ein hierarchisches Speichermodell in der Lage E-Mailpostfächer klein
zuhalten, in dem Mails eines bestimmten Alters aus dem Postfach ausgelagert werden ohne,
dass der User es bemerkt.
Auf dem Fileserver wird es in ähnlicher Weise eingesetzt und lagert z. B. lange nicht
genutzte Daten auf langsamere Massenspeicher aus.
Werden in Zukunft die Richtlinien für Unternehmen zur digitalen Datenarchivierung
amerikanische Verhältnisse erreichen, so ist man mit einem SAN darauf bestens vorbereitet.

Mit Hilfe von Snapshots, Clonen und Backup from Disk to Disk to Tape lässt sich das
Backup- und Recoveryfenster enorm verkleinern.
Durch Clone der produktiven Daten auf ATA-Festplatten kann im Fehlerfall ein Recovery
innerhalb eines sehr kurzen Zeitraumes durchgeführt werden.




                                                                                              119
Kapitel 9. Fazit - Ergebnis



Alles in allem steht ein SAN für mehr Ausfallsicherheit, höhere Daten- und
Systemverfügbarkeit, umfangreiche zentrale Verwaltungsmöglichkeiten und höhere
Performance als das bisher im Einsatz befindliche DAS.


Daher wird die Anschaffung eines SANs ausdrücklich empfohlen.


Fibre Channel anstatt iSCSI
Aufgrund der vorhandenen Systemlandschaft der Miltenyi Biotec GmbH wird der Einsatz
von Fibre Channel empfohlen.
Die bestehende Serverlandschaft erfordert umfangreiche Investitionen in die Infrastruktur,
denn die Server benötigen aus Performancegründen zusätzliche HBAs und das Gigabit
Backbone-Switch bietet nicht mehr das Fassungsvermögen um zusätzlich ein SAN zu
hosten.
Durch die fälligen Neuanschaffungen schmilzt der Preisvorteil von iSCSI so stark
zusammen, dass die geringen Ersparnisse beim Einsatz von iSCSI die Abstriche in der
Technologie nicht rechtfertigen.


HP EVA anstatt EMC Clariion
Aufgrund seines virtuellen Ansatzes und der daraus resultierenden einfachen Handhabung
und der zusätzlichen Ausfallsicherheit, wird sich in diesem Rahmen für eine HP EVA 3000
als einzusetzendes Storagedevice ausgesprochen.
Beim direkten Vergleich der beiden Management-Konsolen fiel die EVA durch ihr klareres
Menü auf und wusste durch die außerordentlich einfache Handhabung zu überzeugen.
Als weiterer Pluspunkt für die EVA werden die Funktionen Vsnap und Snapclone gewertet.
Besonders der Snapclone kann in der Backup- und Recoverystrategie eine entscheidende
Rolle spielen. Zudem wird das Konzept der FATA-Festplatten als gelungener gewertet.


In der Systemlandschaft der Miltenyi Biotec GmbH spielt Highperformance nicht die
wichtigste Rolle, so dass evtl. auf einen kompletten Plattenausbau der EVA verzichtet
werden kann.


Die Anschaffung eines SAN auf Basis einer Clariion oder EVA und einer redundanten
Infrastruktur (Kapitel 7. Stufe 1) wird wahrscheinlich knapp im sechsstelligen Euro-Bereich
liegen. Doch muss man dabei beachten, dass dies eine Investition für die Zukunft ist und
das man damit für die heutigen und zukünftigen Probleme gewappnet ist.




                                                                                              120
Kapitel 10. Literaturverzeichnis




10. Literaturverzeichnis

[san]                          -   Buch: SAN, Storage Area Network,
                                   Autor: Björn Robbe
                                   ISBN: 3-446-22597-8
[w2k]                          -   Buch: Windows 2000
                                   Autor: Wiliam Boswell
                                   ISBN: 3-8272-5686-0
[snia_I/O]                     -   www.snia.org - I/O
[itadmin_durchsatz]            -   www.it-administrator.de - Datendurchsatz
[complex_transfer]             -   www.computerlexikon.com - Datentransferrate
[adaptec_sanl]                 -   PDF: Adaptec – SAN Lösungen
[whelp_backup]                 -   Windows Hilfe: Backup Data
[storitback_backup]            -   www.storitback.de - Backup
[storitback_onback]            -   www.storitback.de - Online Backup
[storitback_backpdf]           -   PDF: Stor It Back – Backup- Recovery
[tgs_01/2005]                  -   PDF: Tech- Guide- Storage 01/2005
[sguide_sanvor]                -   www.speicherguide.de - SAN Vorteile
[storitback_san]               -   www.storitback.de - SAN
[4man-stman]                   -   www.4managers.de - Storage Management
[stormag_backup]               -   PDF: Storage- Magazin - Backup
[wiki_datsys]                  -   www.wikipedia.de - Dateisysteme
[wsf_hfs]                      -   www.wsfprojekt.de - Apple HFS
[wiki_journal]                 -   www.wikipedia.de - Journaling- Dateisystem
[unifam_reiser]                -   www.informatik.uni-frankfurt.de - Reiser- Dateisystem
[wiki_raid]                    -   www.wikipedia.de - RAID
[tecch_raid]                   -   www.tecchannel.de - Hardware: Raid
[hp_netraid]                   -   HP NetRaid Installation and Configuration Guide
[ekomp_SCSI]                   -   www.elektronik-kompendium.de - SCSI
[tecc_scsi]                    -   www.tecchannel.de - SCSI
[wiki_scsi]                    -   www.wikipedia.de - SCSI
[ekomp_sata]                   -   www.elektronik-kompendium.de - SATA
[inbus_scsi]                   -   www.interfacebus.com - SCSI
[wiki_sata]                    -   www.wikipedia.de - SATA
[itwissen_nas]                 -   www.itwissen.info - NAS
[itwissen_fc]                  -   PDF: IT Wissen- Fibre Channel v.1.0
[ekomp_fc]                     -   www.elektronik-kompendium.de - FC
[apple_fc]                     -   www.apple.com - FC
[fc_ansi]                      -   PDF: FCP ANSI
[reco_fc]                      -   www.recoverdate.com - FC Tutorial
[spne_gl]                      -   www.speichernetze.com - Glossar
[hsi_fco]                      -   http://hsi.web.cern.ch - FC Overview
[itadmin_ab10b]                -   www.it-administrator.de - 8b/ 10b
[crc]                          -   www.bet.de - cyclic redundancy check



                                                                                           121
Kapitel 10. Literaturverzeichnis



[ordix]                        -   www.ordix.de - SAN Technik
[sib_fc]                       -   www.storitback.de - Service/ Fibre Channel
[informit_fc]                  -   www.informit.com - Articels/ FC
[sguide_FCS]                   -   www.speicherguide.de - FC-Switche
[wiki_escon]                   -   www.wikipedia.de - ESCON
[sguide_FCAL]                  -   www.speicherguide.de - FC-Arbitrated Loop
[nc_iscsi]                     -   www.networkcomputing.de - iSCSI SAN
[storitback_iscsi]             -   www.storitback.de .- iSCSI
[dl_iscsi]                     -   www.digit-life.com - iSCSI
[rfc_iscsi]                    -   www.faqs.org - RFC 3720 iSCSI
[rfc_3721]                     -   www.faqs.org - RFC 3721 iSCSI- Names
[cisco_iscsi]                  -   PDF: Cisco iSCSI Protocol Concepts
[hp_iscsi_ov]                  -   PDF: HP iSCSI Overview
[ip_san]                       -   PDF: IP- SAN
[nd_isns]                      -   www.networkdictionary.com - iSNS
[pa_cmcs]                      -   www.payer.de - cmcs08
[nc_sansec]                    -   www.networkcomputing.de - SAN Security
[sib_virtual]                  -   www.storitback.de - Virtualisierung
[sguide_virtual]               -   www.speicherguide.de - Virtualisierung
[h2benchw_liesmich]            -   H2benchw_liesmich.txt
[emc_claü]                     -   www.emc2.de - EMC Clariion Übersicht
[tecc_iscsi]                   -   PDF: www.tecchannel.de - iSCSI, IP Speichersubsysteme
[hp_evapräs]                   -   Power Point Präsentation: HP EVA Präsentation
[hp_fata]                      -   www.hp.com/de - FATA
[hp_eva4000-6000]              -   PDF: Quickspecs EVA 4000- 6000
[emc_clarisoft]                -   www.emc.de - Clarion Software
[hp_evasoft]                   -   www.hp.com - EVA Software




                                                                                           122
Kapitel 11. Abkürzungen und Glossar




11. Abkürzungen und Glossar


11.1 Abkürzungen

Verwendeten Abkürzungen:

AL_PA              –        Arbitrated Loop Physical Adress
AL_PD              –        Arbitrated Loop Destination ID
ANSI               –        American National Standards Institute
ATA                –        Advanced Technology Attached
BS                 –        Betriebssystem
BPB                –        BIOS-Parameterblock
CD                 –        Collision Detection
CDB                –        Command Descriptor Block
CHAP               –        Challenge Handshake Authentification Protocol
CID                –        iSCSI Verbindungs- ID
CmdSN              –        Command Sequenz Number
CRC                –        Cyclic redundancy Check
CSMA               –        Carrier Sense Multiple Access
D_ID               –        Destination ID
DAS                –        Direct Attached Storage
ECC                –        Error Correcting Codes
EE_Credit          –        End to End Credit
EOF                –        End of Frame Delimiter
ERP                –        Enterprise Ressource Management
F_CTL              –        Frame Control
FAT                –        File Allocation Table
FATA               –        Fibre Advanced Technology Attached
FC                 –        Fibre Channel
FC-AL              –        Fibre Channel Arbitrated Loop
FCIP               –        Fibre Channel over IP
FCP                –        Fibre Channel Protocol
FLOGI              –        Fabric Login
GDPdU              –        Grundsätze zum Datenzugriff und zur Prüfung digitaler Unterlagen
HBA                –        Host Bus Adapter
HFS                –        Hierarchical File System
HSM                –        Hierarchisches Speichermanagement
HVD                –        High Voltage Differential
I/O                –        Input / Output
IDE                –        Integrated Drives Electronics
IEEE               –        Institute of Electrical and Electronics Engineers
iFCP               –        Internet Fibre Channel Protocol
IFRS               –        International Financing Standards
ILM                –        Information Lifecycle Management



                                                                                               123
Kapitel 11. Abkürzungen und Glossar



IP                 –        Internet Protocol
IPSec              –        IP- Security Protocol
IQN                –        iSCSI Qualifier Name
iSNS               –        Internet- Simple- Name- Service
LBP                –        Loop Port Bypass
LIFA               –        Loop Initialization Fabric Adress
LIHA               –        Loop Initialization Fabric Hard Adress
LIP                –        Loop Initialization Primitive Sequence
LISA               –        Loop Initialization Fabric Soft Adress
LISM               –        Loop Initialization Select Master Procedure
LUN                –        Logical Unit
LPE                –        Loop Port Enable
LVD                –        Low Voltage Differential
MFT                –        Master File Table
NAS                –        Network Attached Storage
NIC                –        Network Interface Card
NTFS               –        New Technology File System
OFC                –        Open Fibre Control
Open_Init          –        Arbitrated Loop Open Initialize State
OX_ID              –        Originator ID
PDU                –        Protocol Data Unit
PLOGI              –        Port- Login
Port_ID            –        24- Bit FC Port Adresse
R_CTL              –        Routing Control Filed
R_RDY              –        Receiver Ready
RAID               –        Redundant Array of inexpensive Disk
RLTV_OFF           –        Relative Offset
ROI                –        Return of Investment
RX_ID              –        Responder Exchange
S_ID               –        Source ID
SAN                –        Storage Area Network
SATA               –        Serial Advanced Technology Attached
SE                 –        Single Ended
SEQ_CNT            –        Frame Identification Sequenz Counter
SEQ_ID             –        Sequenz ID
SCSI               –        Small Computer System Interface
SNMP               –        Single Network Management Protocol
SNS                –        Simple Name Server
SOF                –        Start of Frame
SOX                –        Sarbanes- Oxley- Act
SPOF               –        Single Point of Failure
SRP                –        Secure Remote Password
SRM                –        Storage Ressource Management
SSID               –        iSCSI Session ID
TCP                –        Transmission Control Protocol



                                                                          124
Kapitel 11. Abkürzungen und Glossar



UFS                –        Universal File System
ULP                –        Upper Level Protocol
VRAID              –        Virtual Redundant Array of inexpensive Disk
WWN                –        64-Bit World Wide Name
WWPN               –        64-Bit World Wide Port Name
XOR                –        Exklusiv- Oder- Operation



11.2 Stichwortverzeichnis


0- 9
8b/ 10b Umsetzung                                                            35



A
Applikationsmanagement                                                    75, 76
Application Server                                                            4
Arbitrated Loop                                                           27, 52
        Open Initialize State                                                 51
Arbitrated Loop Physical Adress                                               49
Arbitrierung                                                                  52
Archivierungsflag                                                             4
Area                                                                          32
Automatisches LUN- Management                                                 78



B
Backup                                                                     4, 19
        Agent                                                                 4
        Copy-                                                                 6
        Datenbank-                                                            6
        Differentielles-                                                      5
        Inkrementelles-                                                       5
        LANless-                                                              19
        Offline-                                                              6
        Online-                                                               6
        Server                                                                4
        Serverless-                                                           19
        System State-                                                         6
        Tapeless-                                                             19
        Vollständiges-                                                        5
Backup from Disk to Disk to Tape                                              19
Basel II                                                                      16
Basisfestplatte                                                               61



                                                                                   125
Kapitel 11. Abkürzungen und Glossar



BIOS-Parameterblock                                 22
Blade- Server                                       98
Boot from SAN                                       20
Boot- Sektor                                        22
Bridge                                              21
Bruttodatentranferrate                              81
Buffer to Buffer Credit                         42, 53
Business Continuity                                 100
Business Copy                                       114



C
Carrier Sense Multiple Access                      69
Challenge Handshake Authentification Protocol      69
Cladding/ Claddingschicht                          33
Clariion                                           103
Class of Service                                   43
Clone                                              18
Cluster                                            22
Collision Detection                                69
Command Descriptor Block                           65
Command Sequenz Number                             68
Common Service                                     44
        Parameter                                  37
Continous Access                                   114
Controller                                         102
        EMC Clariion                               103
        HP EVA                                     100
Connection                                         29
        allegiance                                 67
        recovery level                             68
Copy- Backup                                       6
Core                                               33
Cyclic redundancy Check                            40



D
DAS                                                2
Data Striping                                      45
Datei- Ebene                                       3
Dateidatensätze                                    60
Dateisysteme                                       60
Daten
        Durchsatz                                  81
        Feld                                       40



                                                          126
Kapitel 11. Abkürzungen und Glossar



        Fork                          62
        Komprimierung                 45
        Management                    76
        Spiegelung                    45
        Transferrate                  81
        Trägerstrukturen              22
        Verschlüsselung               45
Datenbank- Backup                     6
Datenträger
        Einfach                       61
        Dynamisch                     61
Desaster Recovery                     80
Destination_ID                        39
DF_CTL                                39
Differentielles- Backup               5
Digest failure class                  68
Direct Attached Storage               2
Direktor/en                           20
Disparity                             36
Disk- Enclosure                       9
        EMC Clariion                  106
        HP EVA                        110
Disc Group                            100
Distributed Name Server               38
Distributed Sparing                   109
Domain                                32
Downtime                              3
DT.exe                                82
Dynamische Festplatte                 63



E
E- Mail Archivierung                  17
Einfacher Datenträger                 62
EMC Clariion                          103
Emulated Loop                         49
Encapsulation                         64
End of Frame Delimiter                41
End to End Credit                     43
End to End- Management                75
Entity                                66
ESCON                                 26
Exklusiv- Oder- Operation             57
Exchange                              41
       Originator                     41



                                            127
Kapitel 11. Abkürzungen und Glossar



      Responder                                41
Exchange- Servers                              89



F
Fabric                                          28
       Connection                               29
       Circuit                                  29
       Verbindungslose Übertragung              28
       Verbindungsorientierte Übertragung       29
       Login                                    37
Fairness Prozess                                52
Fehlerkorrektur                                 57
Fibre Channel                                   26
       Adressen                                 31
       Area                                     32
       Arbitrated Loop                      27, 47
       Domain                                   32
       Class of Service                         43
       Common Service                           44
       Exchange                                 41
       Fabric                                   28
       Knoten                                   30
       Login Session                            37
       Namen                                    31
       Ordered Sets                             36
       physikalische Schicht                    30
       Point to Point                           26
       Ports                                30, 32
       Protocol                                 30
       Protocol Mapping                         45
       Running Disparity                        36
       Schnittstellen                           30
       Sequenz                                  40
       Topologie                                26
       Übertragungsmedien                       32
       Übertragungsraten                        34
       Verbindungstypen                         33
       Verschlüsselung                          45
Fibre Channel Arbitrated Loop               27, 47
       Arbitrated Loop Physical Adress          49
       Emulated Loop                            49
       Open Initialize State                    50
       Ordered Sets                             50
       Privat Loop                              49



                                                     128
Kapitel 11. Abkürzungen und Glossar



        Primitives Sequences                                          50
        Primitive Signals                                             50
        Public Loop                                                   49
Fibre Channel over IP                                                 74
Fibre Channel Protocol                                                30
File Allocation Table                                                 12
Fileserver                                                         4, 85
Fill Words                                                            37
Flusskontrolle                                                        42
Fragenkatalog                                                         95
Frame-                                                                38
        Delimiter                                                     36
        Header                                                        39
        Control                                                       39



G
Gateway                                                              21
Gerätemanagement                                                     76
Glasfaserkabel                                                       32
Grundsätze zum Datenzugriff und zur Prüfung digitaler Unterlagen     12



H
H2benchw                                                             82
Hardware RAID                                                        59
Hardware Zoning                                                      77
Hierarchical File System                                             62
Hierarchical File System+                                            62
Hierarchisches Speichermanagement                                    17
High Voltage Differential                                            24
Hochverfügbarkeit                                                    15
Host Bus Adapter                                                     21
Hot Plug In                                                          24
Hot Spare- Platte                                                    59
HP EVA                                                               106
Hybrid Datensätze                                                    61



I
I/O                                                                  81
      Logical Disk                                                   81
      Physical Disk                                                  81
IEEE EUI                                                             71
Immediate delivery Flag                                              72



                                                                           129
Kapitel 11. Abkürzungen und Glossar



Inband Management                     76
Inband Virtualisierung                79
Information Lifecycle Management      17
Initiatoren                           23
Inkrementelles- Backup                5
International Financing Standards     12
Internet Fibre Channel Protocol       74
Interrupt                             69
IP- Security Protocol                 69
iSCSI                                 64
         Adressen                     66
         Fehlerbehandlung             68
         Login                        67
         Namen                        66
         Session                      67
         Session ID                   67
         Sicherheit                   69
         Verbindungs ID               67
Internet- Simple- Name- Service       68



J
Journaling- Filesystem                63
Jumbo- Frames                         69



K
Knoten - FCP                          30
Konsistenzcheck                       83
Technische Konzepte                   102
Konzeptentwurf                        97



L
LANless- Backup                       19
Lazy Write Verfahren                  60
Link Controll Frame                   38
Log File Service                      61
Logical Disk Manager                  61
Logical Disk I/O                      81
Logical Unit                          23
Login                                 31
       Respond                        67
       Request                        67
       Session                        37



                                            130
Kapitel 11. Abkürzungen und Glossar



Loop-
       Initialisierung                          50
       Initialization Fabric Adress             51
       Initialization Hard Adress               51
       Initialization Master                    51
       Initialization Previous Adress           51
       Initialization Primitive Sequence        50
       Initialization Report Position           52
       Initialization Select Master Procedure   51
       Initialization Soft Adress               51
       Open Initialize State                    51
       Port Bypass                              50
       Port Enable                              50
       Select Master Procedure                  51
Loop Initialization Primitive Sequence          50
Loop Initialization Select Master Procedure     50
Low Voltage Differential                        24
LUN                                             64
       Verwaltung                               77
       Masking                                  77
       META                                     104



M
Management Einheit                              110
Master File Table                               60
Metadaten                                       61
META- LUN                                       104
Mirroring                                       56
Mirror View                                     112
Multimode                                       33
Multipathing                                    45
Multiplexing                                    40



N
NAS                                             3
       Device                                   4
Native Command Queuing                          25
Navisphere Management Suite                     111
NetIQ                                           82
Nettodatentranferrate                           81
Network Attached Storage                        3
Network Interface card                          65
Netzwerkmanagement                              75



                                                      131
Kapitel 11. Abkürzungen und Glossar



New Technology File System                       60
Node                                             66



O
Offline- Backup                                  6
Online- Backup                                   6
Open Fibre Control                               35
Open- Init                                       50
Ordered Sets                                     36, 50
Originator_Exchange                              41
Originator_Exchange_ID                           40
Out of Band Management                           76
Out of Band Virtualisierung                      79



P
Partition                                         22
Parity, Parität                                   57
Payload                                           40
Physical Disk I/O                                 81
Planung                                           95
Point to Point                                    26
Port                                              30
        Bypass Circuit                            48
        Liste                                     31
        Login                                 38, 52
        Typ                                       31
Port_ID                                           38
Power Path                                        112
Protocol Data Unit                                65
Protocol Mapping                                  45
Primitive
        Signals                                  36
        Sequenz                                  37
Priorität                                        49
Private Loop                                     49
Protocol Mapping                                 45
Public Loop                                      49



R
RAID – Redundanct Array of inexpensive Disk      55
Reasembly Buffer                                 41
Receiver                                         27



                                                          132
Kapitel 11. Abkürzungen und Glossar



Receiver Ready                              37
Recovery                                    7
Redundant Storage Sets                      108
Relative Offset                             45
Reiser- Filesystem                          64
Responder_Exchange                          41
Responder_Exchange_ID                       40
Ressourcenmanagement                        75
Return of Investment                        15
Router                                      20
Routing Control Field                       39
Running Disparity                           30



S
SAN                                         14
        Copy                                114
        Management                          75
SAP- ERP Server                             83
Sarbanes- Oxley- Act                        12
SATA                                        25
SCSI                                        23
Secure Path                                 114
Sektor                                      22
Service-Classes:                            48
Serverless Backup                           19
Session                                     37
Session recovery class                      66
Sequence-                                   40
        ID                                  39
        Counter                             40
Simple Name Server                          38
Simple Network Messaging Network Protocol   26
Single Ended                                24
Singlemode                                  33
Single Point of Failure                     3
Skaliebrakeit                               15
SnapClone                                   114
Snapshot                                    17
Snap View                                   111
Software RAID                               59
Software Zoning                             77
Source_ID                                   39
Speichersubsystem                           2
Start of Frame                              39



                                                  133
Kapitel 11. Abkürzungen und Glossar



Start of Frame Delimiter              39
Storage Area Network                  14
Striping                              55
Switch                                20
System State- Backup                  6



T
Tagged Command Queuing                23
Tapeless Backup                       19
Targets                               23
TCP/ IP                               65
Transmission Characters               35
Transmission Words                    35
Transmitter                           47
TYPE                                  39



U
Umbrella- Software                    79
Universal File System                 62
Upper Level Protocol                  45
Übertragungsarten                     23
       Asynchron                      23
       Synchron                       23
Übertragungsgeschwindigkeit           81
Übertragungsrate                      34



V
Veritas Backup Exec                   10
Verzeichnisse                         23
Verzeichnisdatensätze                 61
Virtualisierung                       78
        Controllerebene               79
        Inband                        79
        Out of Band                   79
Visual SAN                            112
Visual SRM                            112
Vollständiges- Backup                 5
VRAID                                 107
VPN- Verbindungen                     7



W



                                            134
Kapitel 11. Abkürzungen und Glossar



White Space                              3
Windows Performance Tools                82
World Wide Name                          31
World Wide Port Name                  31, 51



Z
Zoning                                   77
         Hardware                        77
         Software                        77




                                               135

				
DOCUMENT INFO
Shared By:
Categories:
Stats:
views:304
posted:12/31/2009
language:German
pages:142