Docstoc

Kein Folientitel

Document Sample
Kein Folientitel Powered By Docstoc
					          Semantische Annotierung von Arztbriefen zur
           Generierung diagnostischer Trainingsfälle
                       Alexander Hörnlein1, Stanislaus Reimer2, Christian Kneitz2,
                                    Christian Betz1, Frank Puppe1

      1Universität    Würzburg, Lehrstuhl für Künstliche Intelligenz und Angewandte Informatik
                               2Poliklinik der Universitätsklinik Würzburg




     Gliederung:
     1. Motivation: Verbindung von Klinik und Lehre
     2. Arztbriefe und fallbasierte Trainingssysteme
     3. Beispiel
     4. Evaluation
     5. Zusammenfassung und Ausblick
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   1
Motivation: Verbindung von Klinik & Lehre
• Tradition in vielen medizinischen Vorlesungen und Praktika
     –   Vorstellung von aktuellen Patienten
     –   Diskussion der Interpretation und Entscheidungsfindung
     –   Aktuell: Aufwertung durch Problembasiertes Lernen
• Trend: ePatientenakte (EPA) & eLearning
• Idee: Nutzung der EPA für fallbasierte Trainingssysteme (FTS)
     –   Automatischer Transfer von Daten aus EPA in FTS
     –   Didaktische Nachbearbeitung des FTS
     –   Beibehaltung der Tradition mit neuen Medien
• Aufgaben eines FTS:
     –   Patientenpräsentation
     –   Stellen von Aufgaben: Wahl von Untersuchungen, Diagnosen,
         Therapien; (Bild)Befundung
• Daten in EPA
     –   Arztbrief: Untersuchungen mit Patientendaten, Diagnosen, Therapien
     –   Bilder
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   2
Erstellung von fallbasierten Trainingssystemen
Bisher: beträchtlicher Aufwand zur Erstellung eines Falles
• Seitenbasierter Ansatz:
   – Aufbereitung des Basismaterials
   – Erstellen der Verknüpfungen
   – Stellen von Aufgaben
• Wissensbasiertes Ansatz:
   – Erstellen einer Wissensbasis (aufwändig)
   – Eingabe des Falles (einfach)
   – automatische Generierung der Ablaufoberfläche


 Kombination:
  – Basismaterial aus Arztbrief (semistrukturiert) in wissens-basierten
    Ansatz übernehmen, ggf. nachbearbeiten




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   3
Anatomie eines Arztbriefes
• Typische Struktur:
     "Vorspann": Absender, Adresse, Anrede, …
     –
   – Diagnosen
   – Untersuchungen
        • Untersuchungsname
        • Untersuchungsergebnisse
   – Beurteilung (einschl. Therapien)
   – "Nachspann": Grüsse, Unterschrift
• Automatische Extraktion von Informationen:
   – Diagnosen
   – Untersuchungsnamen
   – Untersuchungsergebnisse




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   4
Optionale Nachbearbeitung des Arztbriefes
• Vorgabe einer Standardterminologie
     –
     Diagnosen
     –
     Untersuchungen
     –
     Therapien
• Redaktionelle Textänderungen
   – Anonymisieren (automatisch mit Heuristiken)
   – ggf. Vereinfachung der Untersuchungsergebnisse
   – ggf. Übernahme der Standardterminologie durch Kopieren und
     Ersetzen
   – Einleitungs- und Fallabschlusskommentar markieren
• Bewertungswissen präzisieren:
   – Diagnosen gewichten
   – Zwischendiagnosen hinzufügen, bewerten und gewichten
   – Therapien hinzufügen und gewichten
• Bilder zu Untersuchungen hinzufügen
Umsetzung:
     –   Standardtextsystem (Microsoft Word) mit automatischem Import in
         d3web.Train
     –   Bewertungen & Gewichte durch Markierungen (z.B. fett, kursiv)
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   5
Beispiel – Hierarchien




                   therapien.txt                                                    diagnosen.txt




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle    DELFI-2004   6
Beispiel – Briefvorbereitung




          Original-Fall


            Nachbearbeitete Version



Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   7
Beispiel – Briefvorbereitung




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   8
Beispiel – d3web.Train




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   9
Beispiel – d3web.Train




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   10
Beispiel – d3web.Train




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   11
Beispiel – d3web.Train




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   12
Evaluation
• Vorlesungsbegleitender Kurs der Rheumatologie an der Medizinischen
  Poliklinik in Würzburg
   – 12 Fälle
   – 200 Studenten
   – Fallbearbeitung optional
   – Klausur optional – „Papierform von d3web.Train“

• Vorlesungsbegleitender Kurs der Hämatoonkologie an der Medizinischen
  Poliklinik in Würzburg
   – 17 Fälle
   – 250 Studenten
   – Fallbearbeitung optional
   – Klausur mit konventionellen MC-Fragen (IMPP)




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   13
Ergebnisse - Rheumatologie
                                                    Teilnahme
                                    39 aktive Teilnehmer / 187 Fallbearbeitungen


                           10
                            9
      number of students




                            8
                            7
                            6
                            5
                            4
                            3
                            2
                            1
                            0
                                1     2    3    4      5        6       7        8      9      10        11   12
                                                number of processed cases



Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle       DELFI-2004             14
Ergebnisse - Rheumatologie
                                       Bewertung des Systems (16 Angaben)

                       5
                                                               2,50
                       4
                                     1,81                                                                                     1,60           1,50
         1=++, 5=--




                                                 1,56                        1,87
                       3
                                                                                             1,20            1,27                                          2,00
                       2

                       1

                       0

                                                                                                             ng




                                                                                                                                                            )
                                                                                                                           m
                                ng




                                                            g




                                                                                                                                           z
                                                                                             n
                                                                            e
                                            ng




                                                                                                                                                         ja
                                                                                                                                         at
                                                          un




                                                                                          te
                                                                        iss




                                                                                                                         am
                                                                                                            u




                                                                                                                                                       2=
                                tu



                                           ltu




                                                                                                                                        ns
                                                                                        ei



                                                                                                         nz
                                                           n



                                                                         n
                             ei




                                                                                                                                                    ll (
                                                                                                                       gr
                                                                                        b
                                         ta



                                                        ie



                                                                      nt




                                                                                                                                      Ei
                                                                                                       ae
                        rb




                                                                                     ar
                                                      d
                                       es




                                                                                                                     o




                                                                                                                                                  vo
                                                                    n




                                                                                                                                    r
                                                   Be
                        na




                                                                                                                  Pr
                                                                                                    g
                                                                 Ke




                                                                                                                                 fü
                                                                                   in
                                      G




                                                                                                                                                nn
                                                                                                 Er
                                                                                rh
                      Ei




                                                                                                                   r



                                                                                                                               e
                                                                                                                fü
                                                               ue




                                                                                                                                              si
                                                                                                  e




                                                                                                                               t
                                                                                te




                                                                                                                            no
                                                                                               ch



                                                                                                             e




                                                                                                                                            z
                                                           ne



                                                                             ei




                                                                                                                                          at
                                                                                                              t



                                                                                                                         ul
                                                                                           zli
                                                                         w




                                                                                                           no




                                                                                                                                        ns
                                                                                                                          h
                                                                                        et




                                                                                                                       Sc
                                                                                                        ul




                                                                                                                                      Ei
                                                                                     nu



                                                                                                         h
                                                                                                      Sc




                                                                                                                                    r
                                                                                                                                 re
                                                                                                                                 te
                                                                                                                              ei
                                                                                                                          w



Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle                                                        DELFI-2004           15
Ergebnisse - Rheumatologie
                               Bewertung der Fälle (41 Angaben)

                   Lehrreich                       Schwierigkeit                                     Feedback
               5                             100%                                   100%



               4
                                              75%                                       75%



               3
  1=++, 5=--




                                              50%                                       50%


               2

                                              25%                                       25%

               1

                                                                                        0%
                                               0%




                                                                                                ir


                                                                                                         t


                                                                                                                             t

                                                                                                                           en
                                                                                                      gu


                                                                                                                     h
                                                                               t
                                                                   r
                                                       n




                                                                                              fa
                                                                           ich


               0
                                                                we
                                                    se




                                                                                                                  ec

                                                                                                                         ss
                                                                                                     zu
                                                                        le
                                                               h
                                                   es




                                                                                                               hl

                                                                                                                       pa
                                                            sc



                                                                       zu




                                                                                                           sc
                                                  m




                                                                                                                    un
                                                           zu
                                               ge




                                                                                                          zu
                                              an




                                                                                                                   h
                                                                                                                 lic
                                                                                                              nz
                                                                                                           gä
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle          DELFI-2004                        16
Ergebnisse - Rheumatologie
                                                  Ergebnis der Klausur
                            (Teilnahme freiwillig, Angabe auf der Klausur optional)

                                  100%
                                  90%
                                  80%
                                  70%
                Klausurergebnis




                                  60%
                                  50%
                                                                                 0,81
                                  40%         0,84              0,85
                                                                                                   0,87
                                  30%
                                  20%
                                  10%
                                   0%
                                         keine Fälle (12   1 - 4 Fälle (12   5 - 8 Fälle (7   9 - 12 Fälle (5
                                          Teilnehmer)       Teilnehmer)      Teilnehmer)       Teilnehmer)


Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle         DELFI-2004        17
Ergebnisse - Hämatoonkologie
                                                    Teilnahme
                             47 aktive Teilnehmer / 435 Fallbearbeitungen


                 9
                 8
                 7
                 6
      students




                 5
                 4
                 3
                 2
                 1
                 0
                     1   2     3    4     5     6     7     8     9     10 11 12 13 14 15 16 17
                                           Num ber of processed cases


Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   18
Ergebnisse - Hämatoonkologie
                                            Bewertung des Systems (18 Angaben)
                                        5
            Grades (1= ++; 5 = --)



                                        4
                                                  2                        2            2
                                        3
                                                             1,33                                     1,22        1,17        1,44      1,28
                                        2

                                        1

                                        0
                                             n




                                                                                                e
                                                                    lity
                                                        gn




                                                                                                                                        )
                                                                                                                            )
                                                                                                               t
                                                                                 d




                                                                                                                                     -6
                                                                                                                         -6
                                                                                                          en
                                             io




                                                                                              us
                                                                                  e
                                                                    bi
                                                         i




                                                                                                                                   (1
                                          at




                                                                               in




                                                                                                                       (1
                                                      es




                                                                                                        em
                                                                                            e
                                                                  sa
                                       nt




                                                                            ga




                                                                                                                                io
                                                  D




                                                                                            r




                                                                                                                    m
                                                                                         tu
                                      rie




                                                                                                      pl
                                                              U




                                                                                                                              ar
                                                                                                                 ra
                                                                       e


                                                                                      fu

                                                                                                 om
                                     O




                                                                     dg




                                                                                                                            en
                                                                                                               og
                                                                                   d
                                                                    le




                                                                                                  c




                                                                                                                         sc
                                                                                de




                                                                                                             pr
                                                                  ow




                                                                                               ul
                                                                                 n




                                                                                                                       r
                                                                                                           r
                                                                                            ef




                                                                                                                    fo
                                                                                                        fo
                                                                              te
                                                              kn




                                                                                       us
                                                                           In




                                                                                                                  de
                                                                                                      e
                                                                                                   ad
                                                             ew




                                                                                                              ra
                                                                                                gr
                                                        N




                                                                                                             G
                                                                                               l
                                                                                            ta
                                                                                         To




Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle                                           DELFI-2004     19
Ergebnisse - Hämatoonkologie
                                    Bewertung der Fälle (67 Angaben)
                        Lehrreich                Schwierigkeit                                       Feedback
                    5                  100%                                         100%




                    4                                                                   75%
                                        75%
   1 = ++; 5 = --




                    3
                                        50%                                             50%



                    2
                                                                                        25%
                                        25%

                    1

                                                                                        0%
                           1,5          0%




                                                                                                                      ht



                                                                                                                                       d
                                                                                                          t
                                                                                               r



                                                                                                      gu




                                                                                                                                    en
                                                                                                 i




                                                                                                                   ec
                                                                                              fa
                    0




                                                                                                                                   ss
                                                   n




                                                                                                     zu
                                                                        er




                                                                                                                 hl
                                                               t
                                                            ich
                                                 se




                                                                                                                               pa
                                                                                                               sc
                                                                      hw
                                              es




                                                                                                                              un
                                                        le




                                                                                                              zu
                                                                    sc
                                             m




                                                       zu




                                                                                                                         h
                                                                                                                        lic
                                           ge




                                                                   zu




                                                                                                                    nz
                                        an




                                                                                                                   gä
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle            DELFI-2004                                20
Ergebnisse - Hämatoonkologie
                                                          Ergebnis der Klausur
                                                     (Angabe auf der Klausur optional)


                                       10
           Klausurergebnis (max. 10)




                                       9
                                       8
                                       7
                                       6
                                       5
                                                  8,8               8,8               7,4              8,0
                                       4
                                       3
                                       2
                                       1
                                       0
                                               11 students        5 students       8 students      26 students
                                            processing 11-17   processing 6-10   processing 1-5   processing no
                                                 cases              cases            cases            cases



Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle             DELFI-2004      21
Evaluation - Zusammenfassung
• Teilnahme: ca. 20%, ca. 5/10 Fälle pro Student
• Bewertung des Systems: gut bis sehr gut
     –   Ausnahme: „nur“ genügende Bedienung

• Einsatz des Systems im Kurs: gut bis sehr gut
• Fälle sind lehrreich und angemessen schwer
• Feedback größtenteils fair
     –   Aber: „zu schlecht“ für 15%, 40%(!)
           • Umgesetzte Fälle wurden kaum getestet

• Klausurergebnisse
     –   Kein Ergebnis bei optionaler Klausur
     –   Vorgeschriebene Klausur: Studenten, die das System intensiver
         nutzten, waren bei MC-Klausur signifikant besser!


Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   22
Zusammenfassung und Ausblick
• Implementierung fertig in d3web.Train
     –   Effiziente Fallerstellung
     –   optionale und inkrementelle Nachbearbeitung
• Erfolgreicher Einsatz mit
     > 30 nachbearbeiteten Arztbriefen
     einigen Musterfälle
• Weitere Evaluationen
     –   Einsatz im WS 04/05
     –   Neu hinzugekommene Features evaluieren:
             • Bildfragen
             • Folgesitzungen (Therapiesteuerung)
• Beziehungswissen durch Markierung von relevanten Textabschnitten
• Weitere Nachbearbeitung durch schrittweise Wissensformalisierung
     –   Angabe von Kosten zu Untersuchungen und Therapien
     –   Bereitstellung von relationalem Wissen über Beziehungen von
         Diagnosen zu Untersuchungen und zu Therapien
• Besseres Feedback durch zusätzliche Erläuterungen

Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   23
Fragen?




                          Kontakt: http://www.d3webtrain.de
Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle   DELFI-2004   24

				
DOCUMENT INFO