Docstoc

LONI Linux Programming Environments

Document Sample
LONI Linux Programming Environments Powered By Docstoc
					            High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




      LONI Linux Programming 
                             Environments 

                                           Honggao Liu
                       Manager, HPC Enablement
                                   HPC @ LSU, LONI
                                          April 26, 2008
                                                                                                www.loni.org
                                                                                                www.loni.org
Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                            Outline
• What is LONI?
• LONI Linux Clusters 
• Linux Cluster Environment
• Accessing Linux Clusters
• Setting up Account Environment and SoftEnv
• User Environment and Compilers 
• Job Submitting and Monitoring
• Application Software and File Moving
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                    High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




                               What is LONI?
• LONI – Louisiana Optical Network Initiative
• State project run by the Board of Regents, contracted out to 
  LSU
• $40 Million in funding over 10 years
• 4x 10 Gb lambdas (10 Gb Ethernet over fiber optics) 
  connecting major Louisiana research institutions
• $10 Million supercomputers installed at 6 sites, centrally 
  maintained by HPC @ LSU

                                                                                                        www.loni.org
        Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                   High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




                                   Fiber Optics
• Diameter of human hair 45 µm
• Diameter of fiber 8­10 µm
• Current theatrical transmission 
  limitation ~ 100 Tb/s
• Current best laboratory results ~10 
  Tb/s
• LONI aggregate transport capacity 
  ~ 870 Gb/s


                                                                                                       www.loni.org
       Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




                           LONI Members
• Louisiana State University
 • Southern University
  • University of Louisiana Lafayette
   • University of New Orleans
    • Louisiana Tech University
     • Tulane University
      • LSU Health Science Center N.O.
       • LSU Health Science Center Shreveport

                                                                                                     www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                LONI Fiber Routes
            High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




                                                                                                www.loni.org
Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                           High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



              External Network Connections
                                                     To Asia                 To Canada               To Europe
      SEA


  POR

                               BOI
                                                                                Chicago


                                     CAVE wave
                                                                                                             EnLIGHTened wave 
                                     OGD     DEN                                                       PIT

SVL
                                                                KAN
                                                                                  CHI
                                                                                           CLE               (Cisco/NLR) 
                                                                                                                 WDC

                                     Cisco/UltraLight wave
            L.A.
                                                                                                       Raleigh

                                                                        LONI wave
                                                          TUL
                   San Diego


                                                       DAL


                                                                          Baton Rouge



                                                                  HOU




                                                                                                                           www.loni.org
            Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                   High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




      LONI links to National LambdaRail
• National LambdaRail (NRL)
  – $200M USA nationwide Optical Backbone. Locally 
    funded!! No Federal $$
  – Formed in 2003 and comprised hundreds institutions, 
    federal labs, and medical facilities
  – Participated in the Global Lambda Integrated Facility 
    (GLIF), a forum of over 60 countries
  – Facilitated interconnectivity among worldwide high­
    performance research and education networks
  –    Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                                                                                                       www.loni.org
             High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




LONI links to National LambdaRail




                                                                                                 www.loni.org
 Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                            Outline
• What is LONI?
• LONI Linux Clusters 
• Linux Cluster Environment
• Accessing Linux Clusters
• Setting up Account Environment and SoftEnv
• User Environment and Compilers 
• Job Submitting and Monitoring
• Application Software and File Moving
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
            High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




    LONI Supercomputing Grid




                                                                                                www.loni.org
Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                          High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




              LONI Linux Supercomputing Grid
                                                     LSU                                                 LaTech
                                                                                          5 TF
    •   80 TF total computing                               5 TF
                                                                                       Painter
        capacity                                             Eric                                         5 TF
    •
                                                                    50 TF Centerpiece Satellite
•       One of nation's largest 
        One of                                                                                                    SUBR
        grid computing                                              Queen Bee                            5 TF
        environments
                                                       5 TF
                                                                                                       Poseidon
                                                                                     5 TF
                                                     Oliver                                                       UNO
                                                                                    Louie
                                                   ULL                                                 Tulane
                                                                                                                  www.loni.org
              Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                     High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                    LONI Dell Linux Systems
• One Big Dell Linux Cluster—Queen Bee (queenbee.loni.org)
   – 668 nodes with 8 Intel “Cloverton” Xeons cores @ 2.33 GHz, 8 GB 
     RAM, 36 GB HD, 10 Gb infiniband, 1 Gb Ethernet, 50.7 TF 
   – Ranks the 23rd and 32nd fastest supercomputer in the world in the June 
     and November, 2007 Top500 list, respectively
   – Housed at the state's Information Systems Building (ISB)
• Six Dell Linux Clusters
   – 128 nodes with 4 Intel “Woodcrest” Xeons cores @ 2.33 Ghz, 4 GB 
     RAM, 80 GB HD, 10 Gb infiniband, 1 Gb Ethernet, 4.92 TF 
   – Eric (LSU), Oliver (ULL), Louie (Tulane) and Poseidon (UNO) are open
   – The other two at LaTech and Southern will be deployed soon

                                                                                                         www.loni.org
         Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                            Outline
• What is LONI?
• LONI and LSU Linux Clusters 
• Linux Cluster Environment
• Accessing Linux Clusters
• Setting up Account Environment and SoftEnv
• User Environment and Compilers 
• Job Submitting and Monitoring
• Application Software and File Moving
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                       High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



      Generic Linux Cluster Environment
                                                                                      Ethernet
internet                                                                              Myrinet, IB, ...
                             Switch
                                                                                      FCAL, SCSI,…
       Server

           PC+
                                                                                             (Adv. HPC System)
                             PC             PC              PC              PC
                                                    …

                                                                GigE, 
               PC+                                              Myrinet
                                           Switch
                        File
                        Server
                                                                                                           www.loni.org
           Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                            Outline
• What is LONI?
• LONI and LSU Linux Clusters 
• Linux Cluster Environment
• Accessing Linux Clusters
• Setting up Account Environment and SoftEnv
• User Environment and Compilers 
• Job Submitting and Monitoring
• Application Software and File Moving
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                   High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                          Initial Login
• Log in to Queen Bee via gsissh using TeraGrid certs
   – $ myproxy­logon ­l username ­s myproxy.teragrid.org 
   – $ gsissh login1­qb.loni­lsu.teragrid.org
• When you first login you'll see something like this:
   Generating public/private dsa key pair.
   Enter file in which to save the key (/home/honggao/.ssh/id_dsa):
   Enter passphrase (empty for no passphrase):
   Enter same passphrase again:
   Your identification has been saved in /home/honggao/.ssh/id_dsa.
   Your public key has been saved in /home/honggao/.ssh/id_dsa.pub.
   The key fingerprint is:
   31:53:a6:cb:ed:dd:8c:44:57:fd:d1:81:b5:b2:ec:29 honggao@qb2

• Do not enter a phassphrase (necessary for PBS)
                                                                                                       www.loni.org
       Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                         Initial Login
• Log in to Poseidon via ssh with password
   – ssh ­l username poseidon.loni.org
• Reset password at https://allocations.loni.org/user_reset.php
• Reset or create a new ssh key with NO passphrase and save it to 
  the default ssh key file
   $ cd ~/.ssh
   $ ssh­keygen ­N "" ­q ­t dsa ­f ~/.ssh/id_dsa
   /home/honggao/.ssh/id_dsa already exists.
   Overwrite (y/n)? y
   $ cp ­p id_dsa.pub authorized_key

                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                            Outline
• What is LONI?
• LONI and LSU Linux Clusters 
• Linux Cluster Environment
• Accessing Linux Clusters
• Setting Account Environment and SoftEnv
• User Environment and Compilers 
• Job Submitting and Monitoring
• Application Software and File Moving
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




        Setup Account Environment 
• The default Login shell is bash, change shell at 
  https://allocations.loni.org/profile.php 
• View your shell by “echo $SHELL”
• Supported shells: bash & tcsh
• Setup software environment in .bashrc or .cshrc
• Softenv setup of packages done in .soft




                                                                                                     www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




           Setup Account Environment
• Shell:
  – “the command line”,  high level interface to UNIX OS
  – “the prompt” that you get when you login
  – the shell interprets the input command by users to the underlying 
    OS, the OS executes the command and returns any results back to 
    the user via the shell
  – Common used shell: bash, ksh, tcsh, csh
  – A set of shell commands and constructs can be saved into a text 
    file and be run as a program—shell scripts 
  – Shells can track global variables that are referred to as their 
    “environment”
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




          Setup Account Environment
• Environment Variables:
  – The shell's environment is used to store useful system information
  – This information is stored as “environment variables”
  – Environment variables have names and store a value, and they 
    affect the way a program operates
  – Some variables are set when you first login, other variables can 
    be customized by the user using a specific set of files contained in 
    their HOME directory. 
  – View environment(env,echo $VARNAME,printenv VARNAME)
  – Set up environment (export VARNAME='value'; setenv 
    VARNAME 'value')

                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                     High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




             Setup Account Environment
• Customize the Environment:
  – System default environment is set using file 
         /etc/profile for Bourne shell 
      /etc/csh.cshrc for C­shell. 
  – These files automatically set up the default path and vital user 
    environment variables
  – Users can customize their environment in shell resource file
  – Execute the following scripts in order if exists: 
         ~/.bash_profile, ~/.bashrc, ~/.profile  for Bash shell
     ~/.cshrc  for C­shell
  – HOME, PATH, LIBPATH, MANPATH 
                                                                                                         www.loni.org
         Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                                                 SoftEnv 
                      High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




• A tool used to manage the environment amid the variety of software 
  tools and libraries offered on an HPC environment 
• Softenv is used to setup environments for packages & compilers.
     # softenv         {lists package options}
     # soft add <keyword> {add package to your environment}
     # soft delete <keyword>       {delete package from your environment}
     # resoft          {reset to your initial environment}
     # soft­dbq <keyword> {show commands softenv uses for package} 


• Softenv set up file:  ${HOME}/.soft
• Example .soft file:
       @default
       +intel­cc­10.1
     +intel­fc­10.1
     +mvapich­0.98­intel10.1
     +intel­mkl


                                                                                                          www.loni.org
          Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                                               SoftEnv 
                    High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




• By default, a TeraGrid user's  $HOME/.soft file contains:
     # TeraGrid wide basic software suite

    @teragrid­basic
    # TeraGrid wide Globus 4 and Grid software suite

    @globus­4.0

    # Platform recommended development software suite
    @teragrid­dev
• By default, a LONI user's  $HOME/.soft file contains:
     # LONI basic software suite

    @default
• The default MPI is different 
    – mvapich2­0.98­intel10.1                                   for TeraGrid
    – mvapich­0.98­intel10.1                                    for LONI 
 
                                                                                                        www.loni.org
        Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                            Outline
• What is LONI?
• LONI and LSU Linux Clusters 
• Linux Cluster Environment
• Accessing Linux Clusters
• Setting up Account Environment and SoftEnv
• User Environment and Compilers 
• Job Submitting and Monitoring
• Application Software and File Moving
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



   Available File Systems on Queen Bee
                                                                                                     All Nodes

                                                    Compute
                                                     Node
                       Home                                                          Local Scratch

                                                                                              Work

                                                                                    scratch/work
             NCSA archival
                   storage                            8 CPUs

• The default Login directory is on home                                                                NFS
  filesystem                                                                                            Local
                                                                                                        Lustre
                                                                                                                 www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



    Available File Systems on Other Systems
                                                                                                 All Nodes

                                                    Compute
                                                     Node
                       Home                                                          Local Scratch

                                                                                              Work

                                                                                    scratch/work


                                                      4 CPUs

• The default Login directory is on home                                                             NFS
  filesystem                                                                                         Local
                                                                                                     Lustre
                                                                                                              www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
             High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




File System Limits on Queen Bee
 Available Disk Space                      User Access Limit                              Life Time

         /home/$USER                              5 GB quota                               Unlimited
       /scratch/$USER                                  No                                  < 30 days
  NCSA archival storage                       No (total 300TB)                             Unlimited
 Local scratch

          /var/scratch                              ~45 GB                                Job Duration


Use cd to change directories. For example, cd /scratch/honggao
 TeraGrid users can store data to NCSA's archival storage for 
 long term retention by using globus­url­copy and/or uberftp to 
 transfer files between Queen Bee and NCSA's archival storage.

                                                                                                         www.loni.org
 Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
              High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




File System on Other Linux Clusters
  Available Disk Space                      User Access Limit                              Life Time

          /home/$USER                              5 GB quota                               Unlimited
        /scratch/$USER                           100 GB quota                              Unlimited


  Local scratch

           /var/scratch                              ~45 GB                                Job Duration


  Use cd to change directories. For example, cd /scratch/honggao




                                                                                                          www.loni.org
  Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
             High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                          User Environment
          OS: RHEL 4    Architecture:  Intel x86_64
       Tool                                          Task                                   Example
  Text Editor                       Edit programs                                  vi, emacs
                                    Compile/Link {Intel, PGI, 
    Compiler                                                                       ifort, icc, pgif90, gcc
                                    gnu}
                                                                                   ldd, ldconfig (dynamic)
Object Analyzer                     Dissect object files
                                                                                   file, nm, size
    Profilers                       Performance evaluation                         PAPI, gprof
    Archiver                        Generate object­file Lib                       ar
      Linker                        Link object files                              ld
   Debugger                         Debug programs                                 gdb, totalview




                                                                                                             www.loni.org
 Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                             Intel Compilers
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




                              Compiling Serial Programs 

Compiler         Program                 Type Suffix                 Example

  icc                    c                        .c                 icc  [options] prog.c
                                         .C, .cc, .cpp, 
  icc                 C++                                icc  [options] prog.cpp
                                              .cxx
  ifort               F77                 .f, .for, .ftn             ifort [options] prog.f

  ifort               F90                   .f90, .fpp               ifort [options] prog.f90

    C             icc ­o prog     [options] prog.c    [linker options]
    F90           ifort  ­o prog   [options] prog.f90 [linker options]
    Installed under /usr/local/compilers/Intel
                                                                                                     www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                            Intel Compilers
                High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




                Compiling Parallel Programs with MPI 


Compiler        Program                     Type Suffix                    Example

 mpicc                 c                             .c                    mpicc prog.c

 mpiCC               C++               .C, .cc, .cpp, .cxx                 mpiCC prog.cc

 mpif77              F77                     .f, .for, .ftn                mpif77 prog.f

 mpif90              F90                      .f90, .fpp                   mpif90 prog.f90

  C            mpicc ­o prog     [options] prog.c    [linker options]
  F90          mpif90  ­o prog  [options] prog.f90 [linker options]
  Installed under /usr/local/packages/*intel*
                                                                                                    www.loni.org
    Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                      High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




                Compilers for MPI codes
• Installed under /usr/local/pacakges
• Queen Bee has many different favors of MPI compilers such 
as MVAPICH, MVAPICH2, OpenMPI, MPICH­G2, etc.
• It is extremely important to build and run an executable with 
the same version of compiler, linker, and matched MPI library
  [honggao@qb2 ~]$ which icc
  /usr/local/compilers/Intel/intel_cc_10.1/bin/icc
  [honggao@qb2 ~]$ which mpicc
  /usr/local/packages/mvapich­0.98­intel10.1/bin/mpicc
  [honggao@qb2 ~]$ which mpirun
  /usr/local/packages/mvapich­0.98­intel10.1/bin/mpirun

                                                                                                          www.loni.org
          Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                    High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




                Communication Libraries
                                                                    Compilers

                                                                     MPI library
• Use the same
                                                                      version
  compiler, linker
  & matched MPI
  lib when building      Use module command  PATH
  an executable.
                    Compile:     mpif90, mpicc

                                         Run:            (mpirun –np x ./a.out)

                                                                                                        www.loni.org
        Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                            Outline
• What is LONI?
• LONI and LSU Linux Clusters 
• Linux Cluster Environment
• Accessing Linux Clusters
• Setting up Account Environment and SoftEnv
• User Environment and Compilers 
• Job Submitting and Monitoring
• Application Software and File Moving
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                        High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                    Batch Submission Process
                          internet                                                   Compute Nodes
                                       Server
                                         Head                           Launch
                                        Queue
Submission:                                                              mpirun
                                                                           C1              C2         C3       C4
qsub job.sub                                                            Master

   Queue:    Job Script waits for resources on Server
   Master:    Compute Node that executes the job 
               script, launches ALL MPI processes                                                mpirun ­np # ./a.out
    Launch:   ssh to each compute node to start 

               executable (e.g. a.out)




                                                                                                                    www.loni.org
            Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                           PBS Batch System
                    High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




•   Linux clusters use Torque (PBS) for the batch queuing system and MOAB for the 
    scheduling system.

•   Batch jobs are submitted on the head node and are subsequently executed on compute 
    nodes as resources become available

•   Order of job execution depends on a variety of parameters:
     – Submission Time
     – Job Size: the greater the number of processors, the higher the priority.
     – Backfill Opportunities: small jobs may be back­filled while waiting for bigger jobs to 
        complete

     – Fairshare Priority: users who have recently used a lot of compute resources will have a 
        lower priority than those who are submitting new jobs

     – Number of Actively Scheduled Jobs: there are limits on the maximum number of 
        concurrent processors used by each user

                                                                                                        www.loni.org
        Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




            Queen Bee Queue Characteristics
                                                        Max 
                      Max                Max
Queue Name                                              Job                                   Use
                     Runtime            Nodes
                                                        Size
  workq             48 hours              530            256        Default, non­preemptable
  checkpt           48 hours              668            256        Preemptable jobs


 priority            48 hours            138            128        Priority jobs, Requires special permission
                                                                    Preempts jobs in checkpt queue
 preempt            48 hours              138            128
                                                                    Requires special permission




                                                                                                           www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



  Queue Characteristics on Other Clusters
                                                         Max 
                      Max                Max
Queue Name                                               Job                                 Use
                     Runtime             Nodes
                                                         Size
  workq              48 hours              64             64         Default, non­preemptable
  checkpt            48 hours             128             64         Preemptable jobs
  single           48 hours                16             1           Single processor queue

  priority          48 hours               64            64           Priority jobs, Requires special permission
                                                                     Preempts jobs in checkpt queue
 preempt             48 hours              64             64
                                                                     Requires special permission




                                                                                                            www.loni.org
    Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



                  Queen Bee Queue Definitions
• Additional User Limits
   – Only a maximum of 384 nodes can be used per user at one time.  
     Jobs requiring more nodes are deferred for possible scheduling 
     until running jobs complete.  For example, a single user can have 
     the following job combinations eligible for scheduling:

          Run 2                      jobs requiring   256  and 128 nodes 
          Run 3                      jobs requiring  128  nodes each
          Run 6                      jobs requiring  64  nodes each


   – A maximum of 8 running jobs per user is allowed at one time if 
     machine is full
                                                                                                     www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



       Queue Definitions on Other Clusters
• Additional User Limits
   – Only a maximum of 64 nodes can be used per user at one time.  
     Jobs requiring more nodes are deferred for possible scheduling 
     until running jobs complete.  For example, a single user can have 
     the following job combinations eligible for scheduling:

          Run 1                      jobs requiring   64 nodes 
          Run 2                      jobs requiring  32  nodes each
          Run 4                      jobs requiring  16  nodes each


   – A maximum of 8 running jobs per user is allowed at one time if 
     machine is full
                                                                                                     www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
             High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



                        PBS Commands
qsub                Submits batch jobs to PBS

                    Show status of PBS batch jobs
qstat -a
                    (number nodes used, elasped wall time)
qstat -u            Shows status of a specified user’s PBS jobs
qdel                Deletes a PBS job
qalter              Modifies a PBS job
qmove               Move a PBS job to another queue
qfree               Displays information about free nodes
qshow               Displays running job compute node information
showq               MOAB job information
showq -i            Show priority order of pending jobs
checkjob            Show MOAB information about a job




                                                                                                 www.loni.org
 Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                 High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                  Batch System Concerns
• Submission (need to know)
   – Required Resources
   – Run­time Environment
   – Directory of Submission
   – Directory of Execution
   – Files for stdout/stderr Return
   – Email Notification

• Job Monitoring
• Job Deletion
   – Queued Jobs
   – Running Jobs
                                                                                                     www.loni.org
     Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
               High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



           PBS Basic Job Submit Script
#!/bin/bash
#PBS ­l nodes=16:ppn=8                                             Total number of processors
#PBS ­l walltime=20:00:00                                          Maximum wall time
#PBS ­N myjob                                                      Job name
#PBS ­o pbsout                                                     Output file name (stdout)
#PBS ­j oe                                                         Join stdout and stderr
#PBS ­q checkpt                                                    Submission queue
#PBS ­A loni_allocation                                            Account (allocation name)
#PBS ­m e                                                          Send mail when job ends
#PBS ­M me@lsu.edu                                                 Send mail to this address
echo "PWD_DIR: "`pwd`                                              Echo any pertinent info
cd $PBS_O_WORKDIR                                                  cd to job submission directory
mpirun  ­machinefile $PBS_NODEFILE ­np 128 ./a.out



                                                                                                    www.loni.org
   Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                   High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                            MVAPICH2 Job 
• For TeraGrid users, the default MPI is MVAPICH2 version 
  0.98 compiled using Intel compilers 10.1 
• To run a mvapich2 job, a file .mpd.conf needs to exist in 
  your home directory, which contains 
  MPD_SECRETWORD=xxxxxxxxxxx
• To set the file permission only readable and writable to you 
  (chmod 600 ~/.mpd.conf)
• To start mpd daemon before running mvapich2 jobs

                                                                                                       www.loni.org
       Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
             High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


       MVAPICH2 Job Submit Script
#!/bin/bash
#PBS -q workq
#PBS -A your_allocation
#PBS -l nodes=4:ppn=8
#PBS -l walltime=20:00:00
#PBS -o myoutput2
#PBS -j oe
#PBS -N s_type
export WORK_DIR=/work/$USER/your_code_directory
cd $WORK_DIR
export NPROCS=`wc -l $PBS_NODEFILE |gawk '//{print $1}'`
# For MVAPICH2 jobs, start the mpd daemon on each allocated node.
export MPDSNP=`uniq $PBS_NODEFILE |wc -l| cut -d'/' -f1`
cat $PBS_NODEFILE | uniq > $WORK_DIR/mpd_nodefile_$USER
export MPD_NODEFILE=$WORK_DIR/mpd_nodefile_$USER
mpdboot -v -n $MPDSNP -f $MPD_NODEFILE
mpdtrace -l
rm $MPD_NODEFILE
# run mvapich2 jobs
mpirun -np $NPROCS $WORK_DIR/your_executable
# stop mpd daemons
mpdallexit
                                                                                                 www.loni.org
 Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
               High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


         MVAPICH2 Job Submit Script
To use mpiexec to execute MVAPICH2 applications, replace the 
above "For MVAPICH2 jobs" part with the following:

# For MVAPICH2 jobs, start the mpd daemon on each allocated node.
# specify number of mpd daemons
let number_mpd=$NPROCS/8
# start mpd
mpdboot ­n $number_mpd ­f $PBS_NODEFILE
# run mpich2 jobs
mpiexec ­np $NPROCS $WORK_DIR/your_executable
# stop mpd daemons
mpdallexit  



                                                                                                   www.loni.org
   Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
             High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


         MVAPICH Job Submit Script
#!/bin/bash
#PBS -q checkpt
#PBS -M your_mail_address@somehost.edu
#PBS -A your_TG_ALLOCATION
#PBS -l nodes=16:ppn=8
#PBS -l cput=01:00:00
#PBS -l walltime=01:00:00
#PBS -V
#PBS -o stdout
#PBS -e stdout
#PBS -j oe
#PBS -N pbs-test
export WORK_DIR=/work/$USER/your_working_directory
export NPROCS=`wc -l $PBS_NODEFILE |gawk '//{print $1}'`
cd $WORK_DIR
mpirun -machinefile $PBS_NODEFILE -np $NPROCS $WORK_DIR/test
# executes the executable.


                                                                                                 www.loni.org
 Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
              High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                        PBS Job Monitoring
[honggao@qb2 ~]$ qstat ­a
qb2:
                                                                   Req'd  Req'd   Elap
Job ID               Username Queue    Jobname    SessID NDS   TSK Memory Time  S Time
­­­­­­­­­­­­­­­­­­­­ ­­­­­­­­ ­­­­­­­­ ­­­­­­­­­­ ­­­­­­ ­­­­­ ­­­ ­­­­­­ ­­­­­ ­ ­­­­­
5786.qb2             enrique  checkpt  bbh­redemp  27401    18   1    ­­  48:00 E 15:48
5990.qb2             motl     checkpt  q04hr       27026    32   1    ­­  48:00 R 39:23
5994.qb2             matt     checkpt  BNS         19128    32   1    ­­  48:00 R 36:03
6012.qb2             eschnett checkpt  by­a0.7­0.   8737     4   1    ­­  48:00 R 32:20
6020.qb2             matt     checkpt  BNS         16465    32   1    ­­  48:00 R 30:10
6021.qb2             matt     checkpt  BNS          8643    32   1    ­­  48:00 R 30:06
6039.qb2             sroy     checkpt  dowrun        953    12   1    ­­  48:00 R 28:03
6051.qb2             eschnett checkpt  by­a0.7­0.  24393     4   1    ­­  48:00 R 26:18
6054.qb2             sroy     checkpt  bstepibmru  31463     4   1    ­­  48:00 R 24:42
6068.qb2             sroy     checkpt  newgridrun  20648    20   1    ­­  48:00 R 11:10
6069.qb2             sroy     checkpt  newgridrun  31085    20   1    ­­  48:00 R 11:08
6090.qb2             sroy     checkpt  newgridrun  13625    20   1    ­­  48:00 R 06:51
6092.qb2             whuang   checkpt  MD­R3        3614     5   1    ­­  48:00 R 00:00
                                                                                                  www.loni.org
  Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                     High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                               PBS Job Monitoring
[honggao@qb2 ~]$ qfree
PBS total nodes: 668,  free: 418,  busy: 240,  down: 10,  use: 35%
PBS checkpt nodes: 668,  free: 417,  busy: 240

qfree shows the free nodes on queues

[honggao@qb2 ~]$ showq ­i
eligible jobs­­­­­­­­­­­­­­­­­­­­­­
JOBID                 PRIORITY  XFACTOR  Q  USERNAME    GROUP  PROCS     
WCLIMIT     CLASS      SYSTEMQUEUETIME
0 eligible jobs
Total jobs:  0

showq shows the priorities of jobs waiting in queues along with other 
information
                                                                                                         www.loni.org
         Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                      High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




               PBS Job Manipulation/Monitoring
•   To kill a running or queued job (can take minutes to complete):
          qdel <jobID>
          qdel -W force <jobID> (Use when qdel alone won’t delete the job)
•   To put a queued job on hold:
         qhold <jobId>
•   To resume a held job:
         qrls <jobID>
•   To see all PBS job information:
         qstat –f <jobID>
•   To see a MOAB job information and why a job may be pending:
         checkjob <jobID>
•   To show a PBS job nodes information:
             qshow <jobID>

                                                                                                          www.loni.org
          Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                                            Outline
• What is LONI?
• LONI and LSU Linux Clusters 
• Linux Cluster Environment
• Accessing Linux Clusters
• Setting up Account Environment and SoftEnv
• User Environment and Compilers 
• Job Submitting and Monitoring
• Application Software and File Moving
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                   High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                  Applications Software 
• Packages are located at /usr/local/packages
• Commercial Application Software
   – Gaussian, Amber, LS­DYNA, etc. 
   – Set up Environment Variables by using SoftEnv  
• Scientific Open Source Software
   – NWChem, CPMD, NAMD, HDF5, etc.
   – Set up Environment Variables by using SoftEnv
• Available Software Packages on HPC Systems
   – http://www.hpc.lsu.edu/help/software/ 

                                                                                                       www.loni.org
       Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                        High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/


                       Moving Files From Site to Site
• Collect files together: 
    – tar

• Compress files: 
    – gzip          transfer          gunzip (60­70%)

• Transfer files:   
    – ftp  (client available)
    – scp (recommended but slower than ftp)
    – gsiscp  (gsiscp /path/to/localFile user@hostserver:/path/to/destfile)

• Archive files on Queen Bee for TG users:   
    – uberftp (uberftp lsumss.ncsa.uiuc.edu)
    – globus­url­copy (globus­url­copy file:///home/honggao/test 
      gsiftp://lsumss.ncsa.uiuc.edu/~/test )

                                                                                                            www.loni.org
            Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                                                Summary
                  High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




• User's Guide
  – TeraGrid: http://www.loni.org/teragrid/
  – LONI: https://www.loni.org/systems/
  – HPC: http://www.hpc.lsu.edu//help/
  – Docs wiki: https://docs.loni.org/wiki/Main_Page 
• User Support
  – TeraGrid: help@teragrid.org
  – LONI: sys­help@loni.org or otrs@loni.org  (ticket system)  

• Q & A
                                                                                                      www.loni.org
      Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                     High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



           LONI Linux Environment Lab
• Log in to one of LONI Linux systems (Queen Bee, for example) using ssh 
  client
    – ssh your_login_name@queenbee.loni.org 
    – On Windows system, double click the SSH Secure Shell Client. Click on 
      “Quick Connect” button, enter appropriate Host Name 
      (queeenbee.loni.org) and User Name. 
• Copy the NAMD sample scripts to your account and change to the directory
    – cp ­r /usr/local/packages/namd­2.6­mvapich­1.0­intel10.1/samplescript .
    – cd samplescript
• Read the instructions in submit.pbs and edit the submit script
    – vi submit.pbs
                                                                                                         www.loni.org
         Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                     High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



           LONI Linux Environment Lab
• Add +mvapich­1.0­intel10.1 into your ~.soft file and reset environment, and 
  then submit the job
   – vi ~/.soft
   – resoft
   – qsub submit.pbs

• Query the status of job and check the output
   – qstat ­a 
   – checkjob job_id
   –  less  namd­apoa1­n8p8.o13431




                                                                                                         www.loni.org
         Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                     High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



           LONI Linux Environment Lab
• Log in to one of LONI Linux systems (Poseidon, for example) using ssh 
  client
    – ssh your_login_name@poseidon.loni.org 
    – On Windows system, double click the SSH Secure Shell Client. Click on “Quick 
      Connect” button, enter appropriate Host Name (poseidon.loni.org) and User Name. 

• Download file  http://www.hpc.lsu.edu/training/20080423/LONI_env_lab.tar.gz
    – wget http://www.hpc.lsu.edu/training/20080423/LONI_env_lab.tar.gz
• untar the file LONI_env_lab.tar.gz into your $HOME directory
    – tar ­xzvf  LONI_env_lab.tar.gz
• Read the contents of ~/LONI_env_lab/README


                                                                                                         www.loni.org
         Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                      High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



      Building MPI Codes on LONI Linux System
• Navigate to Fortran of C source directory:
    – $ cd ~/LONI_env_lab/mpif (Fortran)
    – $ cd ~/LONI_env_lab/mpic (C)        
• Build MPI programs. You may generate all of the programs at once or individual 
  programs one at a time.

    – $ export SYSTEM=linux                                           (for Linux system)
    – $ gmake                  (build all programs)
    – $ gmake hello (only build executable “hello”)
    – Use “gmake clean” to remove all executables and object *.o files.
    – You can also build the individual program by not using the Makefile, for example, 
      mpif90 ­O3 –axT ­o hello hello.f


                                                                                                          www.loni.org
          Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                       High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/



                   Run MPI Job Interactively
• Interactive Execution Example
   – Make a file of hostlist and execute program “hello” using 4 cores on headnode: 

    $ vi hostlist
    poseidon2
    poseidon2
    poseidon2
    poseidon2
    $ mpirun ­machinefile hostlist ­np 4 ./hello
      Hello world.
      Hello world.
      Hello world.
      Hello world.
                                                                                                           www.loni.org
           Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                      High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




     Running MPI Codes on LONI Linux System
• Run MPI programs in batch – edit submit script PBSjob:
      $ vi PBSjob
      #!/bin/bash
      #PBS ­q checkpt
      #PBS ­l nodes=2:ppn=4
      #PBS ­l cput=01:00:00
      #PBS ­l walltime=01:00:00
      #PBS ­V
      #PBS ­o MPI­test.out
      #PBS ­e MPI­test.out
      #PBS ­j oe
      #PBS ­N MPI­test
      #PBS ­A loni_loniadmin1

      export HOME_DIR=$HOME/LONI_env_lab/mpif/
      export NPROCS=`wc ­l $PBS_NODEFILE |gawk '//{print $1}'`
      cd $HOME_DIR

      mpirun ­machinefile $PBS_NODEFILE ­np $NPROCS $HOME_DIR/hello




                                                                                                          www.loni.org
          Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008
                                          High Performance Computing @ Louisiana State University - http://www.hpc.lsu.edu/




        Running MPI Codes on LONI Linux System
• Run MPI programs in batch – submit job by qsub and check job status by qstat:
       $ qsub PBSjob
       Your Job:
       =======================
       sus requested:     8.00
       hours:             1.00
       cpus:                 8
       allocation: loni_loniadmin1
       queueing job...
       655.poseidon2
       [honggao@poseidon2 mpif]$ qstat ­u honggao
       655.poseidon2           honggao  checkpt  MPI­test      ­­      2   1    ­­  01:00 R   ­­


• Examine output file:
       $ cat MPI­test.out
       ­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­
         Hello world.
         Hello world.
         Hello world.
         Hello world.
         Hello world.
         Hello world.
         Hello world.
         Hello world.
       ­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­




                                                                                                                              www.loni.org
                 Dr. Honggao Liu, Manager,  HPC @ LSU – Computational Biology Workshop – April 26, 2008

				
DOCUMENT INFO
Shared By:
Categories:
Tags:
Stats:
views:7
posted:2/2/2012
language:English
pages:63