DAQ_070328_JPS-spring by xiaopangnv

VIEWS: 12 PAGES: 32

									パイプライン読み出し(COPPER)を用いた
 Belle CDC用新データ収集システムの
           導入報告

                中山浩幸*(東大理)
    樋口岳雄、伊藤領介、中尾幹彦、鈴木聡(KEK)
                 Belle DAQ group
                               *JSPS Research fellow




            H. Nakayama
           Mar. 28, 2007 JPS                           1
Outline

1.   イントロダクション
2.   Partial installation
3.   Full installation
4.   まとめ



                     H. Nakayama   2
           KEKB の増強と Belle DAQ の改良
                不感時間率の外挿              今冬 crab cavity が導入された。
                                        L  31034 cm-2s-1
不感時間率(%)




               Event builder 等を    やがて…
               多段・多重化しない場合

                                      トリガーレート > 1 kHz
                    読み出しシステムを       このままでは 不感時間率 > 20%
                    パイプライン化
                    しない場合
                                          さらに Super Belle では
                                          トリガーレート > 30 kHz
                     トリガーレート(Hz)                 (真空にも依存)


           !
               現在のボトルネック = 読み出しシステム
               読み出しシステムのパイプライン化が必要!
                                   H. Nakayama                 3
 新読み出しモジュールの設計思想

      アドオン型                                        共通基板
      モジュール
               FIFO
                                               PMC モジュール
      デジタイザー




                      ローカルバス



                                      PCI バス
                                                 オンボード
                                                  CPU




                                                           イベントビルダ
      デジタイザー
検出器




                               ブリッジ
                                                ネットワーク



                                バス
                                                  I/F
      デジタイザー


                                                 トリガー
      デジタイザー                                    モジュール
読み出しボード “COPPER”
 デジタイザー×4         オンボード CPU
  COPPER の アドオン
  モジュールとして実装
                                    RadiSys EPC-6315
                        VME9U サイズ    –   Intel P3 800 MHz
                                     –   256 MB memory
                                     –   ネットワークブート
                                     –   RedHat Linux 9




                            トリガーモジュール
100BaseT ポート×2                 (TT-RX)
データ転送用(オンボード)とコントロール用
                    H. Nakayama                         5
デジタイザー(AMT-3 TDC)
   新デジタイザー (AMT-3 TDC)
       元々はATLAS Muon 検出器用TDC LSI
       Pipelined TDC (非同期読み出し用bufferを持つ)
         Channel buffer(4hit/ch), L1 FIFO(256hit/TDC), Readout FIFO

            時間精度が若干悪いが許容範囲。
        時間測定精度(測定値の最小ビット):780ps

               それを除けば、 AMT-3は現行の
                        旧デジタイザー
            LeCroy       TDCを置き換えるのに最適!
                         (LeCroy 1877S FASTBUS)
                            チャンネル毎に16hitまでのマルチ
                             ヒット
                            ヒットが多いとdead timeが長い
                            時間測定精度:500ps
                                 H. Nakayama                           6
Belleの読み出しにCOPPERを

   BelleのCDC (Central Drift Chamber)は、
    deadtimeが大きい検出器のひとつ。

   読み出し系全体のpipeline化への第一歩
    として、CDCにCOPPERを導入する!



                 H. Nakayama         7
COPPER system for Belle CDC
                        COPPER VME crates



              COPPER                                                                 16


                            COPPER
                                      COPPER
                                                COPPER
                                                          COPPER
                                                                    COPPER
                                                                                                 Readout
                                                                                            SW     PC



          COPPER自体がCPUを持つ
                  ↓
              COPPER



                            COPPER
                                      COPPER
                                                COPPER
                                                          COPPER
                                                                    COPPER
                                                                                     16          Readout            Local
                                                                                            SW     PC            EventBuilder
                                                                                                                     PC

CDC        全部で~100個のCPUを                                                                                                        Global
                                                                                                                                DAQ


           コントロールする必要あり                                                              16
               COPPER



                             COPPER
                                       COPPER
                                                 COPPER
                                                           COPPER
                                                                     COPPER




                                                                                            SW   Readout
                                                                                                   PC

                                                                                                           Data flow network

Module with
  CPU
                                                                              H. Nakayama                                       8
   スローコントロール
                                                               Global Master
                                           Start!                                               Start!

          NSM (Network Shared
   Sub-detector
                           Start!                                                               Memory) に
                                                                                                    Sub-detector
           よるコントロール
   Local master
                    Start!
                                                                                                                Local master
                                                                                     ALL OK!


                    TCP経由でのdistributed shared
                    memory CDC
                                                        Local master                             Start!
                         Start!                                             Start!

                       Run start/stop等のメッセージ送受
                                  OK!
                                                    Start!

                                                             OK!
                                                                                          OK!
                                                                                                          OK!

                                                                                                                   Local
                 TTD-Crate              COPPER                COPPER         Readout               Readout

                        ツリー構造
                                                                                                                EventBuilder
                   CPU                                                         PC                    PC
                                                                                                                   PC

                                         ~15 x 6 COPPERs                   6 Readout PCs + 1 Event Builder PC
“Network Shared Memory”
M. Nakao and S. Y. Suzuki,
IEEE Trans. Nucl. Sci. 47,
267 (2000).                                                        H. Nakayama                                                 9
                   NSMのスケーラビリティ
                                                                       テストベンチによる検証
                             Transition Time between NSM states
                                     Run controlの所要時間
                        15                                            NSMによるrun control
                                                                               “START”
Transition Time (sec)




                        12                                           ONLINE                ONLINE
                                                 “STOP”              RUNNING               READY
                                                                                “STOP”
   所要時間(秒)




                        9
                                                                        “restart”     “online”   “restart”

                        6
                                          “START”                         “restart”
                                                                                          OFFLINE
                                                                                           READY
                        3
                                                  “ONLINE”
                        0
                              12
                              10    28
                                    25  44
                                       40     60
                                              55  76
                                                  70 92
                                                     85             CDCで必要
                                   Number of COPPERs
                               CPUの個数(≒COPPERの枚数)                     な数

                             NSMは十分なスケーラビリティを持ち、
                              ~100個のCPUもコントロール可能!     H. Nakayama                                 10
      データフロー
                                                                                            Local
 CDC signal



                                                                         Readout         EventBuilder
                                                                           PC                PC
                  COPPER




                                                      COPPER
                           COPPER
                                    COPPER
                                             COPPER


                                                               COPPER
                                                                        Network switch
                                                                                                        To Global
                                                                                                          DAQ
 Analog
 TCP/IP
                                                                         特徴
                 全てのデータ転送はTCP/IP経由(COPPER出力の
                  時点ですでにTCP/IP)
                 全てのCPUでLinuxが動作(COPPER含む), 同一の
                  software framework H. Nakayama                                                             11
トリガー分配
   3種類のモジュール(TT-IO,TT-SW,TT-RX)
       TT-IO
           NIM/TTL信号をTTシリーズのトリガー情報に変換
       TT-SW
           トリガーのFANOUTとBUSYの回収
           1対8なので、1クレート16枚を動かすには2つ必要
       TT-RX
           COPPER上に配置、トリガーを受け、BUSYを返す




                        H. Nakayama      12
Outline

1.   イントロダクション
2.   Partial installation
3.   Full installation
4.   まとめ



                     H. Nakayama   13
    Partial install(2006年秋)
   COPPERシステムを部分的に(1クレートのみ)導入
   ビームランで、COPPERとFASTBUSで同じデータを取得し、
    比較検証



                                                COPPER   Installed!
                        ………………
                          ……
                                                         (Sep. 2006)
                                            FASTBUS

      Central
                  Daisy-chained




       Drift
      Chamber                               FASTBUS


                                  H. Nakayama                          14
              性能比較: 時間情報



                                 COPPER time
                                                                                  Yamagata

                                                     線形性 OK

                                                 FASTBUS time

                           Difference                            Difference profile
                      4                                  4
(Unit = COPPER LSB)
COPPER – FASTBUS




                      2                                  2

                      0                                  0

                      -2    Resolution                 -2
                            0.61 LSB (RMS)                                 FASTBUS time
                      -4                               -4    0    2    4      6       8
                                               H. Nakayama                                15
性能比較: Deadtime
                   典型的な                                Yamagata
                  データサイズ



                                 FASTBUS
 Deadtime (us)




                 ~29.5 us

                                          Deadtimeを~1/10に
                                           削減することに成功

                 ~2.8 us      COPPER


                                            # of hits/TDC
                            H. Nakayama                     16
                     データ解析も: X-T Curve                                 Yamagata
                     X-T curve: ドリフトチェンバーの基本性能のひとつ
                                                            Belle real data
                               COPPER                       Exp=55, Run=1526
T: Drift time [ns]




                                                            (Dec.11,2006 15:13 -)



                                                                  FASTBUS




                           X: Track-wire distance [cm]


                                              H. Nakayama                      17
Outline

1.   イントロダクション
2.   Partial installation
3.   Full installation
4.   まとめ



                     H. Nakayama   18
COPPERへの完全移行 (2007年1月)
      設置&配線中…                 完了!




 COPPERクレートx6   読み出しPCx6
                H. Nakayama
                                ローカルイベントビルドPC
                                            19
ビームランでの動作確認

   各種DAQソフトウェアをCOPPER用にアップデート
        L3/L4 トリガー, イベントビルダー、イベントディスプレイ、
         ローカルラン




   ビームランで、問題なく
    動作していることを確認。
    (ただし、crab cavity導入直後のため
    イベントレートはまだ低い。)
                                     COPPER導入後の
                                イベントディスプレイ(ビームラン)
                       H. Nakayama   e57,r96 (Feb.26,2007)   20
    *Topic*
    オンボードCPUを使ったオンライン処理
                                                           Onboard
                                            AMT3
   COPPER上のCPUを使ってオンラインでデータ                                 CPU
    処理を行える。(しかも、ボード上で!)                     AMT3

                                            AMT3
                                                            Trigger
   今回、AMT3のデータから、冗長な情報を取り除                 AMT3
                                                            Module

    くプログラムを導入した。
    データサイズを最大50%減らせた。
                                            AMT3 data format
    その結果、下流のデータフローの負担を減らせ                   FINESSE header
     た。                           dropped     Event number

   故障したAMT3が吐く異常なデータを修復する                     AMT header

    機能も持たせた。                               (HARD ERROR word)
                                                   Data
                                                   ・・・・・
                                                   Data
   このように、COPPERには様々なオンライン                    (“L1 full” word)
    データ処理の可能性がある                               AMT trailer
                                 dropped
                   H. Nakayama               FINESSE trailer 21
Outline

1.   イントロダクション
2.   Partial installation
3.   Full installation
4.   まとめ



                     H. Nakayama   22
まとめ
   将来の高トリガー条件に向けて、Pipeline読
    み出しモジュール”COPPER”を開発した。
   今回、Belle CDCの読み出し系にCOPPER
    を導入し、問題なく動作していることを確認
    した。
       ~100個のCPUのスローコントロールに成功
       deadtimeが~1/10に減少
   今後、CDC以外のDetectorにも順次
    COPPERを導入していく。(KLM,TRG,…)

                 H. Nakayama     23
Backup




         H. Nakayama   24
COPPER install schedule (Mar. 2007)

              FINESSE            When?
    SVD      DAQ finesse          Later
    CDC        AMT3             Installed
    ACC         AMT3          2007 summer?
    ECL      New shaper +     2007 summer
               digitizer         (partial)
    TOF     Hawaii (HPTDC)        Later
    KLM        AMT3?          2007 summer
    TRG         AMT3          2007 summer
                H. Nakayama                  25
                                                            TDC FINESSE
 Detector I/F Module

    Typical design                     186x76 mm2
                                                      FIFO full
 from detector              FINESSE
                    digi                                     to COPPER
                                                             FIFO
Analog / digital    tizer
         signal
                                        L1 pipeline


                                       Untriggered
              Sampling                  garbage
                 clock
                                L1 trigger
            System clock
                42.3 MHz      Busy response
                              H. Nakayama                          26
H. Nakayama   27
H. Nakayama   28
                      テストベンチでの成果                                                                                                        Nakayama


                          89枚のCOPPERをnetwork boot成功
                          ~100個のCPU nodeをsynchronousにコントロール可能(by NSM scheme)
                          Run controlにかかる時間を測定、十分短いことを確認
                          COPPERモジュールのエラー発生条件を調査(ex. “ch full/L1 full error”)

                                                                                    テストパルス入力でのエラー発生条件
                            Run controlの所要時間
                           Transition Time between NSM states                                                     入力レート (ave.)
                      15                                                                  20MHz         8MHz            4MHz            2MHz            1MHz

                                                                                    4
Transition Time (秒)




                      12                   RUN STOP                 チャネル毎の入力エッジ数          OK            OK              OK              OK              OK
                                                                                          (==4 edges)   (==4 edges)     (==4 edges)     (==4 edges)     (==4 edges)

                      9                         十分短い                                8     ch full
                                                                                          (5.5 edges)
                                                                                                        ch full
                                                                                                                デバッグに
                                                                                                                  ch full
                                                                                                        (6.3 edges)
                                                                                                                          OK
                                                                                                                        (7.8 edges)
                                                                                                                                                        OK
                                                                                                                                        (==8 edges)     (==8 edges)
                      6           RUN START                                        12                   ch full         ch full         L1 full         L1 full
                      3
                                                                                                        (7.1 edges)     重宝
                                                                                                                        (9.4 edges)     (10.62 edges)   (10.62 edges)

                                                                                   16                   ch full         ch/L1 full      L1 full         L1 full
                                               OFFLINE                                                  (7.99 edges)    (10.62 edges)   (10.62 edges)   (10.62 edges)
                      0                             ONLINE
                             10   25   40    55  70           85                   more   >72edge       >32edge
                                  Number of COPPERs                                       ch/L1 full    ch/L1 full
                                                                                                        (10.62 edges)
                                                                   H. Nakayama                                                                              29
Data flow                 Details  R.Itoh’s talk




            H. Nakayama                        30
    Related DAQ Works
                                            Itoh

   RFARM software is also updated.
       Rawdata unpacker
        updated.

       The level-4 trigger was
        modified by
        H.Kakuno-san.


    HADRONC DQM histograms
       created by RFARM

                              H. Nakayama          31
First cosmic event w/ COPPER




               H. Nakayama     32

								
To top