UF 2010 6 kvantitativ usability

							6. Kvantitativ usability
              4. marts 2010
        Usability – Ole Gregersen
            IT-Universitetet
Fra sidste gang:
 Kvalitativ metode og tilgang
 Empiri og empiriske metoder
 Fejlkilder
 Forberedelse og udførelse i kvalitativ metode




                                                  2
Aftenens program
 Aftenen to eksempler
 Kvantitet i usability metoder


 Spørgeskemaer – kvantitativ dataindsamling
 Metrikker i brugertest




                                               3
Aftenens eksempel 1
Aftenens eksempel #2
Aftenens eksempel #3
Kvantitativ metode
 kvantitative metoder, videnskabelig
  forskningsmetode, der anvendes, når forskningsfeltet
  kan gøres målbart. Kvantitative metoder vægter, i
  modsætning til kvalitative metoder, indsamlingen af
  større mængder af "hårde" data, dvs. oplysninger, der
  umiddelbart kan måles og kvantificeres.
 De kategoriseres ofte vha. statistiske metoder, og
  resultaterne præsenteres numerisk.
 […] ved brug af kvantitative metoder nødvendigvis er
  (der) tale om envejskommunikation.
     Kvalitativt - kvantitativt
       Hvorfor, hvordan?                                Hvor meget?
       Lav forhåndsviden                                Stor forhåndsviden
       Lav struktur                                     Høj struktur
       Høj fleksibilitet                                Lav fleksibilitet
       Subjektet - personlig                            Objektet - distanceret
       Billedsprog, metaforer                           Tabeller nøgletal
       Citater, beskrivelser                            Diagrammer
       Meget info om lidt                               Lidt info om meget
       Flertydighed                                     Entydighed
                                                                                   9
Kilde: ”Målgruppeanalyse”, Rasmussen og Fischer, 2008
Kvantitet i usabilitymetode
 Spørgeskemaer, online og offline
 Dagbøger, selv-logning
 Kvantitet i ”kvalitative sammenhænge”
    Metrikker i brugertest
    Nominelle data i fx workshops
    Pointgivning og alvorsgrad i tests
 Logfiler og data-analyse
 Eyetracking
Eksempler på spørgeskema
 Indeholder typisk:
    Demografiske spørgsmål:
       Alder, køn, uddannelse, bopæl, indtægt, osv
   Brugs-spørgsmål, produkt(service):
       Brug af produkt, erfaring med produkt, holdning til…
   Brugs-spørgsmål, website:
       Brug, erfaring, holdning
   Ønsker og behov
Rammen kan variere
 Spørgeskema:
    Generel omkring (for)brug – Politiken.dk
    Omkring specifik brug i konteksten – Apple.dk
 Feedback mulighed – Comparecarhire.co.uk
Feedback
Kvantitative forbehold
 Svarene er holdning, ikke sandhed (eller empiri)
    Hvordan kommer det til udtryk?
 Forhold mellem sammenhæng og påvirkning
    To beslægtede forhold behøver ikke at være opstået på
     grund af hinanden
 Hold øje fordelingen i data – fx med del trends
Lynstatistik
 Gennemsnit, median, mode, variance
 Standard error
    Hvor præcise er data
    Forholdet mellem deltagere og antal svar med bestemt
     værdi
 Standard deviation
    En statistik fordeling af variation – forventning om hvor
     data placeret ift. det angivne.
 Confidence interval
    Forholdet mellem de to ovenstående
Google Dokumenter
 Docs.google.com
Metrikker i brugertest
 Problem counts – error count
 Task time – Task on time
 Task succes
    Graden af succes
        Hel eller delvis succes (1)
        Med uden assistance (0,5)
        Med eller uden fejl (0)
    Alvorsgrad 1-4
    Forhold mellem tid og succes
 Score for understanding (Kvantificering, fx 80% rigtige svar)
 Opinion poll (spørgskema – likert scala)
Lidt ekstra læsning…
 Kan vi lave usability af data i logfiler?


 http://www.boxesandarrows.com/view/the-
  limitations-of
Opgave 4 – Spørgeskema 1
I skal undersøge emner, der er relevante for jeres forståelse af brugerne.
Tag udgangspunkt i jeres afklaring af opdragsgivers mål med sitet, usability-kriterier og udvalg af de
    relevante dele af sitet.

I kan f.eks. undersøge:

   Hvem er brugerne/potentielle brugere?
   Deres kendskab til sitet?
   Hvad er deres mål/hensigt med at bruge sitet?
   Hvad er vigtigt for dem holdninger eller adfærd.

Spørgeskemaet bør indeholde relevante oplysninger om
 Demografi
 Holdninger til sitet
 Adfærd

   Benyt fremgangsmåden fra den blå bog og se på statiske værktøjer i artikel i kompendium fra
    ”Measuring the user experience”.
   Brug. Google Dokumenter – alternativt andre lignende værktøjer.
   Benyt evt. ”Convenience Sampling” dvs. venner og bekendte, studiekammerater, kolleger etc. men
    husk at tage højde for det i jeres analyse, hvis de ikke tilhører/ligner målgruppen.
   Send også kopi af link til Ole og Mikael – så vi kan deltage 
   Lav en pilottest af spørgsmålene (evt. med andre grupper i aften).
Opgave 4 – Spørgeskema 2
Spørg jer selv:
 Hvad har I brug for at vide om jeres brugere for at lave
  en usabilityevaluering af sitet?
 Hvilken type svar/data har I brug for?
 Hvilke indikatorer kan I identificere?
 Hvilke spørgsmål skal I stille for at
Aflevering
 Spørgeskema eller invitation til online survey
 Redegørelse for hvad I ønsker at undersøge, hvorfor og hvem I
  vil spørge?
 Plan for hvordan og hvornår I vil bearbejde data
 Refleksion over metoden.
    Styrker, svagheder, muligheder og farer. Hvad er den god til?
     Hvad dur den ikke til? Hvad kan man bruge den til? Hvad kan gå
     galt?
 Send max 1 side excl. spørgeskema til mthomsen@itu.dk
  senest mandag kl. 12