gfarm impl roadmap

Document Sample
gfarm impl roadmap Powered By Docstoc
					      Gfarmの実装の概要

           http://datafarm.apgrid.org/




National Institute of Advanced Industrial Science and Technology
Gfarmファイルシステム(1)
オープンソースで開発
  Gfarm 1.2を2005年9月8日にリリース(http://datafarm.apgrid.org/)
     読書きモードのサポート、既存アプリケーションのサポート
  Knoppix HTC editionに同梱、Rocksにも10月には同梱、*BSDのports
  組織内だけでなく組織外からもファイルシステムを共有
  既存アプリケーションからも利用可能
  sshd、GridFTPサーバ、sambaサーバ、httpd. . .により既存プロトコルもサポー
  ト

 アプリケーション               *システムコールフックライブラリ、                          メタデータサーバ
                        あるいはGfarmFS-FUSEにより既存の                     gfmd   slapd
 Gfarmライブラリ             アプリケーションを修正することなく
                        Gfarmファイルシステムのアクセスが可能

    CPU                 CPU                  CPU                 CPU
      gfsd                gfsd                 gfsd                gfsd
                                                                           ...

                    計算&ファイルシステムノード
       National Institute of Advanced Industrial Science and Technology
Gfarmファイルシステム(2)
libgfarm – Gfarmライブラリ
    Gfarm API
gfmd, slapd – メタデータサーバ
    仮想ファイルシステム情報、ホスト情報、プロセス情報管理
gfsd – I/Oサーバ
    遠隔ファイルアクセス
 アプリケーション              ファイル、ホスト情報の取得など                         メタデータサーバ
 Gfarmライブラリ                                                     gfmd    slapd
                                   遠隔ファイルアクセスなど

   CPU                CPU                  CPU                 CPU
     gfsd               gfsd                 gfsd                gfsd
                                                                           ...

                         ファイルシステムノード
     National Institute of Advanced Industrial Science and Technology
Gfarm v1におけるファイルIOの例


                          open
  アプリケーション
                          FSN1, FSN2, . . .             メタデータサーバ
  Gfarmライブラリ              close
                            メタデータの更新
   ノードの選択
                            read, write, seek, . . .




                      ファイルシステムノード


                    FSN1


     National Institute of Advanced Industrial Science and Technology
ファイルの読書きオープン(1)
ファイル複製間の一貫性の保証
 書込みプロセスがファイルをオープンした後に、
 オープンしたプロセスにのみ、ファイルの内容が反
 映される
 ファイルロックはなし(Gfarm v2で導入予定)
 排他的ファイル生成(O_EXCL)はあり




   National Institute of Advanced Industrial Science and Technology
 ファイルの読書きオープン(2)

                                           プロセス1                       プロセス2

メタデータサーバ                          fopen(“/gfarm/jp/file2”, “rw”) fopen(“/gfarm/jp/file2”, “r”)
                             file2                file2
       /gfarm
                                   FSN1, 2             FSN1, 2
                                                   ファイル                            ファイル
 ggf            jp
                                                   アクセス                            アクセス
                                                             fclose()
        file1        file2



                                                                                    Invalidな
                                                                                    複製を消去
                                                                                    アクセスは続行
                                             FSN1                        FSN2



                National Institute of Advanced Industrial Science and Technology
既存アプリケーションからのアクセス
libgfs_hook.so – システムコールフックライブラリ
    open(2), read(2), write(2)などをフックし、/gfarmにマウント
    しているようにエミュレート
    /gfarm以下のアクセスに対し、適切なGfarm APIを呼ぶ
    そうでなければ通常のシステムコールを呼ぶ
    LD_PRELOADでの指定により再リンクが不要
    Linux, FreeBSD, NetBSD, …
  ユーザレベルの実装のため、ポータビリティが高い
Gfarmファイルシステムをマウント
  GfarmFS-FUSEにより、Linuxクライアントからユーザ権限
  でGfarmファイルシステムをマウント
    2005年7月12日に公開
  その他のOSに関してはKernel modeleの開発が必要
    Need volunteers


      National Institute of Advanced Industrial Science and Technology
GfarmTM v1の問題点
ファイルシステム機能の不足
  ファイルの読書きオープン*、ファイルロックがない
  (* Gfarm 1.0.4でサポート)
頑強性
  アプリケーションクラッシュによりメタデータと実ファ
  イルの一貫性が失われる→gfsplckで対応
  実ファイルの保護が不十分
セキュリティ
  メタデータのセキュリティが不足
  グループによるアクセス制御ができない
OpenLDAPサーバによる性能とエントリ数の制限

    National Institute of Advanced Industrial Science and Technology
GfarmTM v2の設計方針
数万ノード以上にスケーラブル
ノード台数にスケーラブルなファイルI/O性能

POSIX compliantな広域仮想ファイルシステムへ
  より広範囲のアプリケーションに適用
  NFS、AFSの代替
頑強で信頼性のあるファイルシステムへ
  ファイル、メタデータの保護
  メタデータとファイルの一貫性


    National Institute of Advanced Industrial Science and Technology
    関連研究(1)
       Lustre
         >1,000 clients
         Object (file) based management, placed in any OST
         No replica management, Writeback cache,
         Collaborative read cache (planned)
         GSSAPI, ACL,
         StorageTek SFS
         Kernel module



http://www.lustre.org/docs/ols2003.pdf



                 National Institute of Advanced Industrial Science and Technology
関連研究(2)
Google File System
  >1,000 storage nodes
  Fixed-size chunk, placed in any chunkserver
  by default, three replicas
  User client library, no client and server cache
  not POSIX API, support for Google’s data processing
  needs




                                                                         [SOSP’03]
      National Institute of Advanced Industrial Science and Technology
GfarmTM v1の問題点の解決策
ファイルシステム機能の不足
  →ファイルロック機能の導入(POSIX準拠)
頑強性
  →ファイルサーバがメタデータを更新することにより、アプリ
  ケーションクラッシュ時の一貫性を保持
  →実ファイルのオーナの変更により、実ファイルの保護
セキュリティ
  →メタデータサーバの新規実装し、ディレクトリ単位のメタ
  データのセキュリティを実現
  →メタデータでグループを管理し、アクセス制御を導入
OpenLDAPサーバによる性能とエントリ数の制限
  →メタデータサーバの新規実装し、メモリベースのデータ保
  持により実現

   National Institute of Advanced Industrial Science and Technology
ファイルの読み書きオープン、ファイルロック
一貫性の保証(AFSと同様)
 [ファイルロックなし] 書込みプロセスがファイルをク
 ローズした後に、オープンしたプロセスにのみ、ファ
 イルの内容の反映される
 [ファイルロックあり] ファイルロックしているプロセス
 間では、その範囲について最新の内容がアクセス
 される。ただし、ファイルロックしていないプロセス
 が書き込みを行うなどの場合は、その保証はない




   National Institute of Advanced Industrial Science and Technology
 読み書きオープン

                                             プロセス1                      プロセス2

メタデータサーバ                             fopen(“/grid/jp/file2”, “rw”) fopen(“/grid/jp/file2”, “r”)
                             file2                  file2
       /grid
                                     FSN1                FSN2
                                         fclose()    ファイル                          ファイル
 ggf            jp
                                                     アクセス                          アクセス
                                                                     fclose()
        file1        file2



                                                                                     Invalidな
                                                                                     複製を消去
                                                                                     アクセスは続行
                                               FSN1                       FSN2
                                                                  クローズまえであれば
                                                                  任意の複製をアクセス

                National Institute of Advanced Industrial Science and Technology
 ファイルロック

                                             プロセス1                       プロセス2

メタデータサーバ                             fopen(“/grid/jp/file2”, “rw”) fopen(“/grid/jp/file2”, “r”)
                             file2                  file2
       /grid                                                読み込みロック要求
                                     FSN1               FSN2
                                                                  キャッシュフラッシュ
                                                    ファイル           ファイル
 ggf            jp                                                キャッシュ不使用
                                                    アクセス FSN1 ファイル アクセス
        file1        file2                                    アクセス




                                               FSN1                       FSN2



                National Institute of Advanced Industrial Science and Technology
メタデータの一貫した更新(1)

 Gfarm v1 – Gfarmライブラリによりメタデータの更新
                          open
 アプリケーション
                          FSN1                          メタデータサーバ
  Gfarmライブラリ              close
                            メタデータの更新

                                     アプリケーションが異常終了時に
                                     メタデータの更新が行えない


                      ファイルシステムノード


                    FSN1


     National Institute of Advanced Industrial Science and Technology
メタデータの一貫した更新(2)

 Gfarm v2 – ファイルシステムノードによりメタデータの更新
                          open
  アプリケーション
                          FSN1                          メタデータサーバ
  Gfarmライブラリ


                            close
                                                  メタデータの更新



                      ファイルシステムノード


                    FSN1                      アプリケーション異常終了時にも
                                              ファイルシステムノードが
                                              メタデータを更新
     National Institute of Advanced Industrial Science and Technology
  Gfarm開発ロードマップ




National Institute of Advanced Industrial Science and Technology
  Gfarm開発ロードマップ
          2005年度                           2006年度                              2007年度
                  2005.9            2006.3               2006.9            2007.3    2007.9

                       Gfarm 1.3           Gfarm 1.4
    Gfarm 1.2          Gfarm 2.0α          Gfarm 2.0β          Gfarm 2.0       Gfarm 2.1

                                               メタサーバ
   Samba対応                 自動ファイル複製 局所ディスク      二重化
   UTF-8対応      数百万ファイル      クラスタ間の   フル対応      ファイル
    *BSD対応       数百ユーザ       ミラーリング 数千万ファイル 自動分割
複製間の一貫性保障       Gfarm 2.0の  空き容量制御   数千ユーザ      コマンド
メタサーバの障害対応       基本機能       メタデータ保全  Gfarm 2.0  高速化
 HTTP, FTP, NFS              スレッド対応    安定版     ノード自動
                                               障害対応

                        性能向上                 信頼性向上             性能向上              性能向上
                                             頑強性向上            頑強性向上             信頼性向上




            National Institute of Advanced Industrial Science and Technology
まとめにかえて
Gfarmファイルシステム
  大容量、高信頼、高性能の要求に応える次世代スケーラブ
  ルファイルシステム
    運用中に容量を増大できます
    ファイル複製により、障害時にもデータにアクセスできます
    データアクセスのホットスポットを防ぎ、高速にアクセスできます
    既存の設備が利用可能です
Gfarm
  日本発のオープンソフトウェア
  バージョン1.2がリリース (http://datafarm.apgrid.org/)
  既存のアプリケーション、Windows、Webクライアントなどで
  アクセス化
                   https://datafarm.apgrid.org/

     National Institute of Advanced Industrial Science and Technology

				
DOCUMENT INFO
Shared By:
Categories:
Tags:
Stats:
views:13
posted:3/28/2012
language:Japanese
pages:20