Docstoc

Producing Data_ Sampling and Experimental Design - ITB

Document Sample
Producing Data_ Sampling and Experimental Design - ITB Powered By Docstoc
					Disain Eksperimen




  Hendrawan
  hend@telecom.ee.itb.ac.id
Disain Statistik
o   Bagaimana mengumpulkan & menganalisa 
    data?
o   Bagaimana memilih subjek & jumlah yg 
    diperlukan?
o   Bagaimana membentuk group-group  
    eksperimen?
o   Bagaimana merencanakan/merancang  
    eksperiment?
    n   Berapa banyak eksperimen hrs dilakukan?
    n   Berapa nilai-nilai parameter dll..
Disain Eksperimen
o   Tujuan: Mendpkan informasi terpenting dari sesedikit 
    mungkin eksperimen yg mungkin (lingkup penelitian)
o   Kondisi:
    n  Response Variables
        o   Ukuran performansi yg akan dipelajari (mis., call 
            blocking, throughput, dll.)
    n   Faktor
        o   Parameter yg akan divariasikan dlm penelitian
            n   Quantitative atau Categorical
    n   Level
        o   Nilai utk faktor-faktor pd eksperimen
    n   Replikasi
        o   Jumlah pengulangan dari eksperimen utk tiap set  level
Contoh Disain Eksperimen
o   Membandingkan berbagai desain Laptop utk 
    menjalankan suatu aplikasi
    n   Response Variables
        o   Throughput, response time, kemudahan penggunaan
    n   Faktor
        o   Hard drive memory, RAM memory, tipe CPU, clock 
            speed, workload yg digunakan, level pendidikan 
            pengguna
    n   Nilai level (jumlah nilai)
        o   Hard drive: 20 GB, 40 GB, 60 GB, 80 GB (4)
        o   RAM: 256 MB, 512 MB, 1024 MB (3)
        o   Clock Speed: 1000 MHz, 2200 MHz, 3000 MHz (3)
        o   Level user: SMA, sarjana, pasca sarjana (3)
        o   Workload: sekretaris, managerial, ilmiah, service (4)
Contoh Disain Eksperimen
o   Perbandingan disain
    n   Replikasi: 10 pengulangan utk tiap level
o   Jumlah total eksperimen/Total Number of 
    Experiments (TNR)
    n   Full Factorial Design: semua kombinasi dari level-level
    n   Asumsi k faktor, faktor ke-i memp. ni level harga r
        pengulangan utk tiap level




o   Contoh disain Laptop: TNR = 10(4x3x3x3x4) = 
    4320
Contoh Disain Eksperimen
o   One at a Time Design
    n   Ubah satu faktor dg semua level sementara tetap 
        menjaga faktor lain kosntan; ulangi utk tiap faktor




    n   Utk contoh disain laptop TNR = 10(1+3+2+2+2+3) = 
        130 
        Mengubah satu faktor, mis Hard Drive size dg semua 
        level (20 GB, 40 GB, 60 GB, 80 GB) sementara 
        menjaga faktor lain tetap pd nilai level tertentu, mis: 
        RAM = 256MB, Clock Speed = 1000 MHz, level user = 
        sarjana, workload = managerial
Contoh Disain Eksperimen
o   2k Factorial Design
    n   Utk tiap faktor ambil hanya 2 nilai level
    n   Laksanakan eksperimen utk semua kombinasi dari 
        nilai level
    n   Berikan info dari efek interakdi dari perubahan faktor




o   Utk contoh disain laptop TNR = 10(32) = 320
o   Bagaiman memilih nilai level adalah tergantung pd 
    si analyst!
Contoh 2K Factorial Design
o   Perbandingan Disain Laptop
    n   Response Variables
        o   Throughput, response time, kemudahan penggunaan
    n   Faktor
        o   Hard drive memory, RAM memory, tipe CPU, clock 
            speed, workload yg digunakan, level pendidikan user
    n   Levels - value + value
        o   Hard drive: 20 GB, 80 GB
        o   RAM: 512 MB, 1000 MB
        o   Clock Speed: 1000 MHz, 3000 MHz
        o   Level user: SMA, Sarjana
        o   Workload: sekretarial, ilmiah
Partial 2K Factorial Design
o   2K Factorial Design mungkin memerlukan terlalu 
    banyak eksperimen dlm bbrp situasi

o   Alternatif adalah membuat tetap s faktor pd 
    suatu nilai level spesifik

o   Lalu ambil 2 nilai level utk sisa K-s faktor
Contoh Voice over Wifi
o   Melaksanakan 
    evaluasi subjektif 
    dan objektif dari 
    berbagai remote 
    access servers

o   Konfigurasi 
    eksperimental
Disain Eksperimen VoWifi
o   Response Variables
    n   Packet delay time
    n   Throughput
    n   Jitter
    n   MoS quality

o   Faktor
    1. Algoritma kompresi yg digunakan
    2. Jumlah client
    3. Tipe beban 
    4. Background beban pd LAN
    5. Max TCP window size
Disain Eksperimen VoWifi
o   Level
    n  Algoritma kompresi yg digunakan
        o   1. Tdk ada
        o   2. 9600 bps
        o   3. 4800 bps
        o   4. 2400 bps
    n   Jumlah client
        o   10, 15, 20, 25 client
    n   Tipe beban/load
        1. clients uploading data
        2. clients downloading data
        3. Peer-to-peer 50% clients uploading 50% downloading
        4. Random load – user kirim/terima file dipisahkan dg suatu 
            random time interval
        5. Random load dg arah transfer di-random-kan juga
Disain Eksperimen VoWifi
• Level (lanjutan)
    • Background load pd LAN
       1. Tdk ada background load
       2. Heavy background load
o   Max TCP window size
    n  Kecil (4 KB), Besar (24 KB)
o   Repetisi
    n  Minimum 5 replikasi – kalkulasi suatu 95% C.I. utk 
       response variables
o   Cat suatu Full Factorial Design akan memberikan
    n  TNR = r x 4*4*5*2*2 à jika r = 5 maka TNR = 1200 
       eksperimen
    n  5 menit/eksperimen = 6000 menit
    n  Harus melakukan test dlm 1 hari – terlalu banyak 
       eksperimen
Disain Eksperimen VoWifi
o   Lakukan suatu partial 2k factorial design
o   Faktor
    1. Algoritma kompresi yg digunakan
    2. Jumlah client
    3. Tipe beban/load (peer-to-peer)
    4. Background load pd LAN (no load, heavy load)
    5. Max TCP window size (Besar)

o   Mengurangi set dari nilai level yg 
    dipertimbangkan memberikan
       TNR = r x 4*4*1*2*1 eksperimen
Hasil Tipikal
o   Hasil kebanyakan 
    kasus 
    memperlihatkan 
    tdk ada 
    perbedaan – 
    confidence 
    intervals overlap
o   Hanya bbrp 
    kasus tertentu 
    memperlihatkan 
    perbedaan antara  
    sistem
Hasil Tipikal
Contoh 2K Factorial Design
o   Pertimbangkan disain 
    dari suatu ATM shared 
    medium switch. Switch 
    terdiri dr sal input, serial 
    to parallel conversion, 
    input buffer, high speed 
    bus, dan output buffer
o   Pertimbangkan suatu 
    partial 2K design 
    variasikan faktor: load, 
    input buffer, output 
    buffer
Matriks Disain
o   Suatu matriks 
    disain 
    membantu dlm 
    mempelajari 
    respons sistem 
    dan interaksi 
    faktor-faktor. 
    Mis yj 
    menyatakan 
    respons dari 
    kombinasi ke-j
    dari nilai level
Contoh 2K Factorial Design
o   Hasil dari rata-
    rata 10 
    simulasi utk 
    tiap kombinasi 
    dari faktor 
    nilai level 
    diberikan dlm 
    tabel. Suatu 
    Bernoulli 
    arrival process 
    digunakan utk 
    input trafik
Tipe-Tipe Disain Eksperimen
o   One at a Time Design 
    n   Disain sederhana
    n   Mengubah-ubah satu faktor setiap saat

        # eksperimen =

    n   Secara statistik tdk efisien
    n   Konklusi salah jika faktor-faktor mempunyai 
        interaksi
    n   Tdk direkomendasikan
Tipe-Tipe Disain Eksperimen
o   Full Factorial Design 
    n   Semua kombinasi

        # eksperimen =

    n   Dp menemukan semua efek dari semua faktor
    n   Perlu waktu dan usaha yg besar
    n   Dp mencoba dulu 2k Fractional Factorial Desin 
Tipe-Tipe Disain Eksperimen
o   Fractional Factorial Design 
    n   Ambil 2 level dari tiap faktor

        # eksperimen = 2k

    n   Dp menghemat waktu & tenaga
    n   Informasi kurang
    n   Mungkin tdk menemukan semua interaksi
    n   Tdk masalah jika interaksi dp diabaikan 
In-Class Excersise
o   Performansi suatu sistem yg sedang dirancang 
    tergantung pada tiga faktor berikut:
    - Tipe CPU : Pentium 4, Celeron, AMD Duron
    - Tipe Operating System : XP, Unix, MS-DOS
    - Tipe Disk Drive: A, B, C
    Berapa banyak eksperimen diperlukan untuk analisa 
    performansi jika:
    a. Ada interaksi signifikan antara faktor-faktor
    b. Tdk ada interaksi antara faktor-faktor
    c. Interaksi kecil dibandingkan efek utama
Disain Eksperimen


  dari buku Raj Jain
2k Factorial Design
22 Factorial Design
Model
Computation of Effects
Solution
Sign Table Method
Allocation of Variation
Allocation of Variation
Derivation
Derivation
Derivation
Derivation
Contoh
General 2k Factorial Design
2k Design Example
2k Design Example
Analysis
In-Class Excersise
    In-Class Excersise
o    The 2k Factorial experimental design matrix below shows the results of a 
     measurement study on VoIP call setup times in an operational multi-switch network.  
     The factors are A: the number of hops between source and destination  node 
     (measured by number of routers),  B: the number of peer groups the routers are 
     organized  into   C: the number of destinations per source connection   (amount of 
     conference calling).
      For the factors the following level values were used 
      A:  -1 level  (1 hop)                          +1 level (5 hops)
      B:  -1 level  (1 peer group)                   +1 level (2 peer groups)
      C:  -1 level  (1 destination - unicast call)   +1 level (4 multicast call)
     The response variable is the call set up time - measured over and average of 10 
     experiments where each experiment consisted of setting up and tearing down 400 
     calls.
        Factors       Response (in milliseconds)
       A   B   C
      -1  -1  -1         45.5 
      +1  -1  -1        239.7 
      -1  +1  -1         52.2 
      +1  +1  -1        580.0 
      -1  -1  +1        200.6 
      +1  -1  +1       1075.5
      -1  +1  +1        888.4  
      +1  +1  +1       4448.0
      
     Determine the main effects and the interaction effects. 

				
DOCUMENT INFO
Shared By:
Categories:
Tags:
Stats:
views:0
posted:5/8/2014
language:Unknown
pages:43