Trainings - PowerPoint

Document Sample
Trainings - PowerPoint Powered By Docstoc
					Andere Trainings

      Wer?
      Wie?
      Güte?
                                   Übersicht

1. Wer wird (wie) trainiert?
2. Wie wird trainiert (Details)?
3. Evaluation?
                                   Übersicht

1. Wer wird (wie) trainiert?
2. Wie wird trainiert (Details)?
3. Evaluation?
                        Wer wird trainiert?
•   Operateure großtechnischer Anlagen
    Meteorologen
    Psychologische Therapeuten
    Ärzte und anderes Klinikpersonal
    Software-Tester
    Produkt-Entwickler
    Entwicklungshelfer
    Management-Trainees
    Soldaten
    Umweltökologen
    Schüler
    Richter
    Buchprüfer
    Sicherheitsingenieure
    Schlichter (juristische)
    Manager im Gesundheitswesen
    Polizei und Justizangestellte
    Verhandler, Vermittler
    Lehrer
    Skeptiker
                                    Soldaten

•   „moral decision support“

•   Ziel: Unterstützung schwerer Entscheidungen, Absicherung gegen unnötige und
    belastende Gewissensbisse, ethisch vertretbares Handeln

•   Biases: Verfügbarkeit, Denken in Wahrscheinlichkeiten statt Sicherheiten, Outcome
    bias, hindsight bias
    The first obstacle is a rationalization: “If it‟s necessary, it‟s moral.”
    The second obstacle is the “false necessity trap,” in which necessity is treated as a
    fact versus an interpretation.
    The third obstacle is, “If it‟s legal and permissible, it‟s proper.”

•   Lernen: Consider the opposite, Wahrscheinlichkeiten
           Operateure großtechnischer Anlagen

•   Ziel: Fehlerdiagnose

•   Biases: Outcome Bias, illusion of control, illusory correlation, logisches Denken
    (modus tollens), monokausales Denken, Risikoeinschätzung, confirmation bias

•   Lernen: systematisches Testen, logisches Denken, consider all possibilities,
                            Umweltökologen

•   Ziel: Korrekte Gefahreneinschätzung

•   Biases: confirmation bias, conjunction fallacy, Risikoabschätzung, Verfügbarkeit,
    rund um Bayes

•   Lernen: Umgang mit Wahrscheinlichkeiten (conj, Disj, bedingte), Probleme von
    Einzelfallwahrscheinlichkeiten, Bayes, frequentistische Darstellung
                       Wo brauchen die Bayes?
Hypothese: marbled murrelets nisten
    /nisten nicht in Bereich
Daten: Sichtungen




                                      (Foto eines marbled murrelet)
                          Produkt-Entwickler

•   Ziel: Abschätzen von Entwicklungschancen, Sackgassen vermeiden, Ideentest

•   Biases: deduktives Denken, hindsight bias, outcome bias, probabilistisches Denken,
    confirmation bias, „honor sunk costs“

•   Lernen: Umgang mit Wahrscheinlichkeiten, consider the opposite, deduktives
    Denken
                                   Skeptiker

•   „PESTS“ Programm (Psychologists Educating Students to Think Skeptically)

•   Ziel: „promote skepticism and critical thinking about psychology „

•   Andere Inhalte (Auswahl): Horoskope, Auras, backwards language, Zaubertricks…

•   Biases: false Memories, Barnum Effekt, fallability of inferences, Überblick über
    alle Biases

•   Lernen: Existenz
                                 Buchprüfer

•   Ziel: Entscheidungen verbessern (Betrug/korrekt), insbesondere Basisrate mit
    einbeziehen

•   Biases: Missachtung der Basisrate

•   Lernen: frequentistische Darstellung/Antwort, Einfluss der Basisrate
                       Buchprüfer (Experiment)

•    Material (in Experiment): Brustkrebs, Management-Betrug (Zahlen aus Brustkrebs)
•    UV1: Problem
•    UV2: statistisches Format
•    UV3: Basisrate
•    AV: % korrekt

1.   Besser mit vertrautem Material
2.   Besser mit (für ihr Feld) realistischer Basisrate
3.   Besser mit Antwort im Frequenz-Format
4.   Insgesamt recht schlecht (untrainiert): passt zu Selbsteinschätzung über statistisches
     Wissen
                      Übergeordnete Muster

1. Deduktives Denken
• Adressaten: Fehleranalyse, Musterentdeckung
• Trainingstyp: formal

2. Gedächtnistäuschungen
• Adressaten: persönliche Erinnerung spielt Rolle
• Trainingstyp: Beispiele

3. Umgang mit Wahrscheinlichkeiten
• Adressaten: Kommunikation von Risiken/Wahrscheinlichkeiten
• Trainingstyp: Häufigkeitsdarstellung
                       Übergeordnete Muster

4. Sackgassen, post hoc Kognitionen
• Adressaten: Entscheider
• Trainingstyp: consider the opposite, systematische Suche

5. Bayes
• Adressaten: Entscheider, Wahrscheinlichkeitsrevisionisten
• Trainingstyp: Häufigkeitsdarstellung, Entscheidungsbaum

6. Zusammenhänge, Induktion
• Adressaten: Krethi und Plethi*, Mustersucher
• Trainingstyp: Demonstrationen, Diagramme

*   Altes Testament: Die Leibwache des Königs David bestand aus Kretern (aus
    Kreta) und aus Plethern (d.h. Philister, Angehörige verschiedener Völkerschaften)
                                   Übersicht

1. Wer wird (wie) trainiert?
2. Wie wird trainiert (Details)?
   Meteorologen
3. Evaluation?
                          Motivation
• Main reasons for not using (probabilistic) predictions in
  decision-making processes include:
   forecasts are not “accurate” enough
  fluctuation of successive forecasts
  competing or conflicting forecast information
  history of previous forecasts not available
  procedures for acquiring and integrating forecasts into
   decision-making processes have not been defined
  external constraints forbid flexible response to forecast info
  local information may be more important
  value of forecast has not been demonstrated

All forecast system or impact system related impediments
                            Motivation

• Additionally, “non-rational” thinking or cognitive illusions
  affect the optimal use of (probabilistic) forecasts
   Capability of human mind for solving complex problems is
    limited compared with the size of problems
   Lack of objectively rational behaviour in real world

   Use of simple “rules of thumb” to simplify decision making

   Heuristics are often helpful, but can lead to biases, especially
    in uncertain situations where probabilities are encountered
               The illusion of certainty…
…or how we construct a single certainty from uncertain cues




                     (Bild zweier Tische)




 Do these two table surfaces have the same shape and area?
                                Weiterer Gang

•   Biases aufzählen
•   Brustkrebs in Bayes
•   Brustkrebs im Häufigkeitsbaum
•   Experimentelles Resultat (Gigerenzer): Häufigkeit viel besser
             Probabilities vs. frequencies




Estimated chances of breast cancer given a positive screening
mammogram (from Gigerenzer, 2002)
                             Weiterer Gang

•   DNA Beispiel (zum Selbermachen?)
•   DNA: Ergebnisse Profis vs. Studenten
•   Framing Effekte (tödliche Krankheit)
•   Anwendung auf Wetter
                  The framing effect in real life
 • Professionals, experienced in decision-making, are still affected
 • E.g., information for doctors:
   - mortality rate of 7% within 5 years -> hesitant to recommend
   - survival rate after 5 years of 93% -> more inclined to recommend

• For weather predictions this suggests different response to forecasts
  expressed as likelihood of drought or non-likelihood of wet conditions
• E.g., different response to: 30% chance of drought and
                               70% chance of normal or wet conditions
• Worded vs. numerical forecast:
   - 11% judge forecast “rain is likely” as poor if it did not rain
   - 37% judge forecast “70% chance of rain” as poor if it did not rain
   although they associate the word “likely” with probability of 70%
                              Weiterer Gang

•   Ankereffekt
•   Missachtung von Basisraten (an Wetter-Beispiel)
•   Hindsight and confirmation bias (El Niño Beispiel)
•   Belief persistence
•   Rezept: formale Modellprüfung, double blind
•   Ash Experiment (???)
•   Ziegenproblem (selber machen)
•   Was tun?
          Strategies to reduce CI influence
• Recognition that decision-making is inherently biased
• Understanding how written forecasts, and numerical
   probability forecasts are interpreted by potential users
• Try to reduce impact of cognitive illusions by
  encouraging forecaster groups to de-bias forecasts by
   e.g. reducing overconfidence or hindsight bias
  taking care that media reports and forecasts do not cause
   anchoring to extreme events (e.g. El Nino 82/83)
  taking care in wording forecasts to avoid framing
  avoid “intuitive” approach when combining forecasts,
   objective approaches exist and are more successful
  ensuring that base-rates are not ignored
  using additional visual aids to convey real levels of skill
                              Summary
•“Nothing is certain”
            …in this world there is nothing certain but death and taxes.
                                                     (Benjamin Franklin)
• In many situations, decisions have to be based on probabilities
        …the theory of probabilities is at bottom only common sense
                                                   reduced to calculus.
                                  (Pierre-Simon, Marquis de Laplace)
• Interpretation of probabilities is sometimes not straightforward
                                       …math is hard, let’s go shopping.
                                                                 (Barbie)
• Appropriate presentation can help to make the right decisions
              …solving a problem simply means representing it so as
                                    to make the solution transparent.
                                                  (Herbert A. Simon)
                                   Übersicht

1. Wer wird (wie) trainiert?
2. Wie wird trainiert (Details)?
   Klimavorhersage
3. Evaluation?
                  N. Nicholls, Cognitive Illusions, Heuristics,
                              and Climate Prediction
                Bulletin of the American Meteorological Society


•   Wie umgehen mit Unsicherheit? Kommunikation mit Nicht-Klimatologen (Presse,
    Politiker, andere Wissenschaftler, Laien)
•   Klimavorhersagen werden oft nicht benutzt („zu ungenau“), obwohl besser als nichts
    („schlachte den, der sich traut“; „ein schöner Experte“; „ich irre mich seltener als
    andere“)
•   New evidence appears reliable and informative if it is consistent with one’s initial
    beliefs; contrary evidence tends to be dismissed as unreliable, erroneous, or
    unrepresentative
•   Um die kognitiven Illusionen der Nutzer von Klimavorhersagen wissen
•   Framing: p(Regen) ist nicht 1 – p(trocken) (besser: „30% trocken“ als „70% Regen“)
•   Anchoring: extreme Klimaereignisse
•   Confirmation bias (vergiss die Fehler von Nicht-Klimatologen)
•   Belief persistence (ignore evidence that contradicts their prior belief)
•   Decision regret (mehr bei unkonventionellem Handeln)
                                    Was tun?

1.   forcing forecast groups to actively search for counterexamples
2.   to ensure that media reports and forecasts do not cause anchoring to extreme events
3.   Wisse welche Wörter für welche Wahrscheinlichkeiten
4.   Kein framing in Vorhersagen (evtl. mehrere Formulierungen)
5.   Keine ‚intuitive„ Korrektur an formalen Modellen
6.   Use visual aids
                                   Übersicht

1. Wer wird (wie) trainiert?
2. Wie wird trainiert (Details)?
   Management Studenten
3. Evaluation?
       Basiert auf: Thomas Gilovich (1991) How we know what isn't so.
                               The Free Press.
                     Management Judgment and Decision

•   Motivation: besser entscheiden
•   Denken und Problemlösen
•   Wahrnehmung (opt. Täuschungen)
•   Lernen und Gedächtnis
•   Gruppen, soziale Beziehungen
•   Fairness
•   Soziale Dilemmata
•   Entscheidungen
•   Entscheidungen in Organisationen
•   Ausblick

•   Was fehlt??
                                   Übersicht

1. Wer wird (wie) trainiert?
2. Wie wird trainiert (Details)?
3. Evaluation?
                    Competence Begets Calibration
    Journal of Personality and Social Psychology December 1999 Vol. 77, No. 6, 1121-
                                      1134 (Exp. 4)

•    incompetent individuals lack the metacognitive skills that enable them to tell how
     poorly they are performing, and as a result, they come to hold inflated views of
     their performance and ability.
•    (1) Wason Aufgabe und ähnliche puzzles
•    (2) Selbsteinschätzung (Perzentil im Vergleich mit anderen)
•    (3) Kurztraining deduktives Denken oder Füller-Aufgabe (UV)
•    (4) Selbsteinschätzung, welche der Aufgaben in (1) sie richtig haben

•    Ergebnis: bessere Selbst-Einschätzung nach Training
•    Fazit:???
    IMPROVING STATISTICAL REASONING BY USING THE RIGHT
            REPRESENTATIONAL FORMAT (Sedlmeier)

•    Computerprogramm zum Lehren von Wahrscheinlichkeiten (Bayes) in der Schule
•    Evaluationsidee: Wahrscheinlichkeitsbaum vs. Häufigkeitsbaum
    IMPROVING STATISTICAL REASONING BY USING THE RIGHT
            REPRESENTATIONAL FORMAT (Sedlmeier)

•    Computerprogramm zum Lehren von Wahrscheinlichkeiten (Bayes) in der Schule
•    Evaluationsidee: Wahrscheinlichkeitsbaum vs. Häufigkeitsbaum

•    Ergebnis: Baum alleine fast nutzlos
    TEACHING DECISION MAKING AND STATISTICAL THINKING
               WITH NATURAL FREQUENCIES
                    Martignon & Wassner

•   The aim of the paper is to show that an extensive use of "natural frequencies"
    combined with the adequate use of the computer for graphically exhibiting the
    bridge between frequencies and probabilities may provide the adequate
    representational environment for teaching probability in schools
Beispiel: Der vollständige Baum
•   Schüler (15-19)
•   (1) Vortest (Wahrscheinlichkeit)
•   (2) Training (Baum/formal) (Dauer???)
•   (3) Nachtest

                                 Vortest    Nachtest
•   Ergebnis: „Formale“:          38 %        62 %
              „Bäumer“            45 %        92 %

				
DOCUMENT INFO