Zu Diensten tux oder Einsatz von Linux im ZDV by fso56144

VIEWS: 11 PAGES: 32

									  Zu Diensten: tux
             oder
Einsatz von Linux im ZDV


         Markus Tacke,
              ZDV
  Johannes Gutenberg-Universität
             Mainz
Das Menu

  • Server
  • Desktops
  • HPC-Cluster Gutenberg




                   AK-SYS 2004 Bommerholz   01.02.2010
Einsatz von Linux auf Servern

  • Typisches Aufgabengebiet für Linux
     – Oft nur Standard (Unix)- Kompatibilität nötig
     – Im Anfang Bedenken wegen der Filesystemstabiliät
  • Erste Server für unkritische Aufgaben schon vor
    Jahren
  • Webserverfarm mit Daten über NFS
     – seit Installation der ersten Netapp (F760, Mitte 2000)
  • Mailgateways mit lokalen Daten erst seit 2003
     – Stabile journaling filesysteme (XFS) erst jetzt
  • Mittlerweile fast alle Server
  • Probleme noch bei
     – HA Clustern




                         AK-SYS 2004 Bommerholz                 01.02.2010
Linux statt Windows auf dem Desktop

  • Bedarf
      – Studenten Pools
      – Arbeitsplätze der Wissenschaftler
  • einzelne zentrale Pools schon länger in Betrieb
      – schon früher berichtet
      – Automatisierte Installation, smbfs für homedir
  • einzelne APs auf Eigeninitiative, zentral nur ,Hilfe‘
      – vorherige HBFG Maßnahmen nicht für Naturwissenschaften
  • Ende 2004 800 PC für Naturwissenschaften aus
    HBFG
      – hier stärkere Wunsch nach Linux (evtl. Dual Boot) (ca 20-30%)
      – auch Bereiche (Institute oder AGs) ohne
        Eigenbetreuungsfähigkeiten




                            AK-SYS 2004 Bommerholz                      01.02.2010
Anforderungen

  • Ziel: zentral verwalteter Linux Desktop für Pools und
    APs
     – Automatische Installation
        • auch auf unterschiedliche HW  keine images,
           Dialogmöglichkeit
     – Automatisches Patchmanagement
         • insbesondere für Securityfixes
     – dezentrale Softwareauswahl mit automatischer Installation
     – dual Boot Rechner sollten unterstützt sein
     – möglichst kostenneutral – keine tools a la Red Carpet
  • sicherer Zugriff auf Zentrale Fileserver (NFS??)
  • möglichst Integration in zentrales System
    Managment
     – Im Einsatz für Windows: MOM und SMS




                          AK-SYS 2004 Bommerholz                   01.02.2010
Implementation: Installation

  • Nutzung der Infrastruktur zur Windowsinstallation
         • MS-Risserver und externer DHCP Server
         • nötig für Dualboot und reduzierten Management Aufwand
         • RIS Code lädt großes Floppyimage mit
           syslinux+kernel+Ramdisk
         • dann Autoyast Installation
             – vollautomatisch oder mit Dialogmöglichkeiten
             – für Servicefälle auch mit VNC über Netz




                         AK-SYS 2004 Bommerholz                    01.02.2010
AK-SYS 2004 Bommerholz   01.02.2010
AK-SYS 2004 Bommerholz   01.02.2010
AK-SYS 2004 Bommerholz   01.02.2010
AK-SYS 2004 Bommerholz   01.02.2010
AK-SYS 2004 Bommerholz   01.02.2010
Implementation: Installation

  • Nutzung der Infrastruktur zur Windowsinstallation
         • MS-Risserver und externer DHCP Server
         • nötig für Dualboot und reduzierten Management Aufwand
         • RIS Code lädt großes Floppyimage mit
           syslinux+kernel+Ramdisk
         • dann Autoyast Installation
             – vollautomatisch oder mit Dialogmöglichkeiten
             – für Servicefälle auch mit VNC über Netz
             – Konfigurationsdatei XML basiert, erstellbar über Yast
             – erstellbar von normal installiertem Rechner: cloning
             – Editieren der XML Datei für Spezialitäten
                  » erweiterter Befehlssatz, z.B. Regeln, LVM
             – pre, chroot und post scripte
                  » z.B. Installation des 2.6 Kernels, Links für SW über NFS
         • Installationsserver selbst betrieben
              – enthält aktualisierte und angepasste Pakete im SuSE
                Tree
              – zusätzlich eigener ZDV Tree

                          AK-SYS 2004 Bommerholz                               01.02.2010
AK-SYS 2004 Bommerholz   01.02.2010
Implementation: Patches

  • Eigener YOU Server
     – hohe Geschwindigkeit der Patchverteilung, nur einmal laden
     – Kontrolle über die Updates  lokale Anpassung
     – Patches für eigene Pakete
         • Auch Funktionsveränderungen der lokalen Umgebung möglich
  • Eigene Patches gewünscht
     – SuSE YOU Patches müssen signiert 
     – Eigener Publickey bei Installation mit verteilt und aktiviert
  • Automatische Installation von Patches aktiv




                          AK-SYS 2004 Bommerholz                       01.02.2010
Implementation: Zentraler Fileservice

    • Alter HUT: NFS auf unsicheren Netzen
      unverantwortlich
       – momentane Workarounds:
           • smbfs für Poolrechner, Nur 1 User erlaubbar
           • Einzelexports für APs: nur für Dirs einzelner AGs an deren
             Rechner
               – skaliert nicht, müssen sich untereinander trauen,
                  IPspoofing
    • Wunschlösung: Zugriff nur mit Nutzerauthentifikation
       – smbfs und cifs für Linux nicht nöglich
           • kein Linksupport auf Netapp
           • Passwörter im klartext
       – secure NFS
           • mit GSSAPI managebare Lösung
       – NFSv4: GSSAPI ist Pflicht für alle Implementationen



                            AK-SYS 2004 Bommerholz                        01.02.2010
Zentraler Fileservice(2)

  • Netapp supportet NFSv3 und NFSv4 mit GSSAPI
    (Kerberos)
     – v3 Zugriff mit GSSAPI von Solaris getestet
  • Linux (und FreeBSD) NFSv4 mit GSSAPI
     – von CITI (Umich, Ann Arbor) ab Mitte 2003
         • ‚grauenvolle‘ Patchorgie auf speziellen kernel
         • wilde Bugs bis November (timestamps , oops)
     – seit 2.6test. NFSv3 mit GSSAPI möglich
              – the -osec=krb5 option should also work for NFSv3 exports and
                mounts
     – CITI Entwicklung für 2.4 eingestellt: nur 2.6 möglich
               Produktionsinstallation auf 2.6 only
     – Tests zeigen:
         • bis auf jeweils speziellen Probleme v3 und v4 funktional
         • GSSAPI Funktionsumfang
              – linux: Authentity, Integrity (keine Privacy)
              – Netapp: nur Authentity

                          AK-SYS 2004 Bommerholz                               01.02.2010
Zentraler Fileservice: Probleme
  • Kerberos Server Win2003:
       – Anleitungen von CITI, NetAPP, Sun passen nicht!!!
       – zur Zeit keine keytab für Unixclienten für Computeraccounts
  •   NFSv4 benötigt beliebiges TGT für mount
       – passwort für machineaccount auf platte
       – oder mount per user erst wenn user tgt verfügbar
  • NFSv3 kann mounten ohne Ticket (security?)
  • Security contexte beschränkt
       – resultiert aus Einschränkungen in der Arbeitweise des
         Upcalldaemons gssd
       – Anzahl der mounts hart limitiert
  • Ticket Lebendauer:
       –   Session based Ticket ( gssd und kernel kennen keine session)
       –   Workaround: spezialticket mit ticket renewall
       –   Batchsysteme etc.
       –   NFSv4 auch für mount ticket




                             AK-SYS 2004 Bommerholz                       01.02.2010
Zentraler Fileservice: Unicode

  • Unocode Filenamen auf post 2000 CIFS Fileservern
  • NFSv2/3 + Windows95etc 8Bit/char Filenamen
     – Übersetzungstabellen nötig
  • Filenamen für NFSv4: Unicode, Darstellung UTF-8
     – Problem auf Netapp:
         • vol lang de (o.ä.) definiert Übersetzungstabelle für 8Bit
           Klienten
         • Liefert auch auf NFSv4 ISO8859-1 I/O Error
         • Vol lang de.UTF8 liefert auch über NFSv3 UTF8




                         AK-SYS 2004 Bommerholz                        01.02.2010
UTF-8

  U-00000000 - U-0000007F:   0xxxxxxx



  U-00000080 - U-000007FF:   110xxxxx 10xxxxxx



  U-00000800 - U-0000FFFF:   1110xxxx 10xxxxxx 10xxxxxx



  U-00010000 - U-001FFFFF:   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx


                             111110xx 10xxxxxx 10xxxxxx 10xxxxxx
  U-00200000 - U-03FFFFFF:
                                10xxxxxx


                             1111110x 10xxxxxx 10xxxxxx 10xxxxxx
  U-04000000 - U-7FFFFFFF:
                                10xxxxxx 10xxxxxx

                         AK-SYS 2004 Bommerholz                    01.02.2010
Zentraler Fileservice: Unicode

  • Unocode Filenamen auf post 2000 CIFS Fileservern
  • NFSv2/3 + Windows95etc 8Bit/char Filenamen
     – Übersetzungstabellen nötig
  • Filenamen für NFSv4: Unicode, Darstellung UTF-8
     – Problem auf Netapp:
         • vol lang de (o.ä.) definiert Übersetzungstabelle für 8Bit
           Klienten
         • Liefert auch auf NFSv4 ISO8859-1 I/O Error
         • Vol lang de.UTF8 liefert auch über NFSv3 UTF8
  • Problem: Unix Klienten nicht UFT-8 fähig
     – Applikationen brauchen Support für variabel lange
       Multibyte Character




                         AK-SYS 2004 Bommerholz                        01.02.2010
UTF-8 mit Netapp

  vol lang de.UTF-8
  a accent grave à         gross ue �
  euro �               klein ae ä
  euro �               klein oe ö
  gross U accent criconflex � klein ue ü
  gross ae Ã?             sz Ã?
  gross e accent grave �       umlaute äüö����.txt
  gross oe Ã?


    vol lang de
  :P6I7000              gross e accent grave È klein ue ü
  a accent grave à         gross oe Ö         sz ß
  euro â?¬              gross ue Ü         umlaute äüöÄÜÖß.txt
  gross U accent criconflex Û klein ae ä
  gross ae Ä             klein oe ö



                        AK-SYS 2004 Bommerholz                   01.02.2010
Zentraler Fileservice: Entscheidung

   • Stabilität für Produktionbetrieb
      – Ratschlag von Chuck E. Lever (CITI+Netapp) und andere:
          • NFSv3 momentan stabiler, besser für Produktion
   • UNICODE Problematik:
      – NFSv3 erhält status quo bei Filenamen:
          • ISO Latin 1 geht mit den meisten Applikationen
      – NFSv4 mit UTF-8 verändert das ‚UNIX‘ API massiv
          • Alle Applikationen, die mit Filenamen umgehen müssen
            tauglich für variabl lange Multibyte Charactersequenzen werden
   • NFSv3 braucht kein Ticket zum mounten
      – Problematik der Machineaccountpflege entfällt erst einmal
    Wir werden NFSv3/GSSAPI einsetzen




                           AK-SYS 2004 Bommerholz                            01.02.2010
Ausblick

  • Was fehlt
     – Software management
     – zentrales firewallmanagement
     – machineaccounts (für die Zukunft)
           • 2 Machineaccount für dual boot Rechner
     – LDAP support für unsere Umgebung
  • Wir gehen jetzt gerade in die erste Auslieferung




                           AK-SYS 2004 Bommerholz      01.02.2010
Linux HPC CLuster

  • Bis jetzt HPC durch SMPs
     –   Convex SPP1200-XA/48
     –   HP X/48 (Convex SPP2000-XA/48)
     –   HP V2500-SCA/32
     –   HP Superdome/32 PA8700/750
  • Relativ wenig spezifische SMP Nutzung
     – SMP<MPI<throughput
  • Akuteller Bedarf
     –   Antrag des ZDV für 8 aktuelle Projekte der Physik
     –   4 ‚normaler‘ computebedarf
     –   4 mit hohen Datenmenge (CERN, FNAL ..)
     –   Typische throughput Applikationen
     –   Nur 2 Gruppen mit MPI Anforderungen




                         AK-SYS 2004 Bommerholz              01.02.2010
Cluster: Anforderungen
  • Mindestens 110 CPUs
     – Leistung besser als 2.4 GHz PIV
     – Bedenken gegen Dual CPU Knoten bei Kunden
     – aber aus Kostengründen nötig
  • Mindest Hauptspeicher pro CPU
     – 25% 4GB, 35% 2GB, 40% 1GB
  • Lokaler Scratch >150GB/Knoten
  • Zentraler gesicherter Datenspeicher >15TB
  • MPI
     – (aber kein spezieller Low Latency Interconnect)
  • Hohe Datenraten für Fileservice
  • Geringer Bedarf für 64Bit (>3GB/Prozesss)
     – Zukünftig mehr vorhergesehen
  • LINUX wegen Kompatibilität
  • Batchsystem PBS (openPBS, TORQUE)
  • Cluster Management SW
     – Installation, Wartung, Monitoring

                           AK-SYS 2004 Bommerholz        01.02.2010
Cluster: Dual CPU Architekturen

  • Intel E7501 Chipsatz mit dual XEON
        • (Beispiel ist Intel Workstation Board)




                          AK-SYS 2004 Bommerholz   01.02.2010
Cluster: Dual CPU Architekturen

  • AMD Opteron 24x (IWILL)

                  2x 2.7GB/s                                                     2x 2.7GB/s



                                                 16 x 16
                                                 Hyper Transport

   1x PCI-X 133 Low Profile               3.2GB/s
                                          Hyper Transport



                        PCI-X 133
                                      8131

                                          800MB/s
              82540                       Hyper Transport
               GbE        PCI 32/33
                                                        2x USB1.1 Hardware Monitor
              82540                   8111              2x ATA/100
                                                                     ADM1026

               GbE

              Video
         (ATI RageXL 8MB)      FLASH BMC             SMBus                      Floppy
                                     Connector       IPMB          Super I/O    KB, Mouse
                                                     ICMB                       Serial Ports



                                        AK-SYS 2004 Bommerholz                                 01.02.2010
Cluster: Benchmarks

  •   Mehrere Testprogramme von Kunden
      – Viele skalierten mit SPECfp oder Linpack
  •   2 Programme ausgewählt
      – Getestet auf Opteron 1.8GHZ und Xeon 3.06GHZ/512KB
  -   ,DMFT‘: hohe Anforderung an Bandbreite/Latenz
      -   IA32 Programm mit Opteron Optimierung (pgf77)
      1   Kopie    O: 200s         X: 168s
      2   Kopien O: 230s           X: 280s
      4   Kopien(Hyperthreading)   X: 500s (250s für 2 Kopien)
  -   CERN Analyseprogramm (500MB Input)
      -   IA32 Programm optimiert für PIII
      1   Kopie    O: 311s           X: 446s
      2   Kopien O: 318s             X: 598s
      4   Kopien(Hyperthreading)     X: >1800s (>900s/2 Kopien)


                         AK-SYS 2004 Bommerholz                   01.02.2010
Cluster: Netz

  • Aufgrund der Anforderungen Myrinet/Infiniband nicht
    vertretbar
  • ‚flache‘ Netze problematisch:
     – Normaler Tree: keine volle Bandbreite bei ‚any to any‘
     – Fat Tree insbesondere bei 24 Port switches aufwendig
         • Testangebot von Dell/Cray: 13 switches
     – Alle Trees: Latenzprobleme
         • Im iSCSI/FAS250 Betatest:
             – 40MB/sec bei 5 switches
             – >65MB/sec bei 1 switch (Engpass: FAS250)
     – Grössere Switches: teuer und selbst kaskadiert
  • Lösung: http://aggregate.org/FNN/
  • Gewählte Lösung (Antrag):
     – FNN 72(64+2+6)Knoten mit 4x1000TX, 12 24 Port Switches
  • Realisierte Lösung: (neuen switches, mehr Geld)
     – FNN 92(84+2+6)Knoten mit 3(4)x1000TX, 6 48 Port
       Switches: Erweiterbarkeit bis 144/4/12/48

                         AK-SYS 2004 Bommerholz                 01.02.2010
Cluster: Auswahl

  • Ausgeschrieben: 64 Knoten+ 2 Master+Fileserver
     – 3 Lose mit Optionen (CPUTyp, Takt, Memory, Disk)
         • Knoten mit Infrastruktur
         • Switches
         • Fileserver
  • 11 (Teil-)Angebote
     – Keins fehlerfrei, manche schlimm,
     – Fileserver teilweise abenteuerlich teuer
  • Zuschlag an Quant-X HPC
  • Bestellt:
     – 84 Knoten + 2 Master
         • Dual Opteron 244 (1.8GHz) 32x 2GB, 36x 4GB, 16x 8GB
     – FNN mit 6 +1 48Port HP ProCurve2848
     – 5 Fileserver mit
         • Dual Xeon 2.6 GHz
         • Infotrend EONStor sATA to FC Raid mit 16x250GB

                          AK-SYS 2004 Bommerholz                 01.02.2010
Cluster: Zustand

  • Geliefert, aber noch nicht abgenommen




                    AK-SYS 2004 Bommerholz   01.02.2010
Fragen?

								
To top