Protokoll Workshop im Modellvers

Document Sample
Protokoll Workshop im Modellvers Powered By Docstoc
					D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc




Protokoll: Verfahren und Methoden der Evaluation
           Workshop im Modellversuch SELUBA

Termin:                     30. bis 31. Mai 2002
Ort:                        Büro- und Tagungs-Center Magdeburg
Teilnehmer:
BbS Bernburg:               Sylvia Mäurer,
BbS II Halle:               Rüdiger Bauch, Harald Fritz,
BbS Salzwedel:              Herbert Malcher
BbS VI Magdeburg:           Birgit Dimanski, Antje Theobald,
BbS Bitterfeld:             Marlies Frings, Marlen Kretschmer
BbS Weißenfels:             Angelika Taatz
BbS Dessau:                 Ursula Lochmann, Reinhard Rahn
BbS I Stendal:              Falk Seifert
BbS v. Dreyhaupt:           Petra Schäfer
Universität MD:             Prof. Dr. Reinhard Bader, Andy Richter, Albrecht Lonzig,
                            Detlef Mielke, Tim Unger, Dr. Thomas Diehl, Dr. Bärbel Schröder,
                            Klaus Musiol, Angela Müller, Claudia Riecke, Roman Saß, Martin
                            Würfel,
Universität Bochum:         Dr. Claus Buhren
LISA Halle:                 Dr. Martina Müller, Birgit Berger, Horst Bouska, Marion Spanneberg,
                            Günter Zahradnik, Ralf Schmidt

Tagesordnung:
30. Mai 2002
1      Evaluation als Instrument der Schulentwicklung und Qualitätssicherung
       Impulsreferat: Dr. Claus Buhren
       Diskussion
2      Vorbereitung einer schulinternen Evaluation
       Gruppenarbeit
3      Bestimmung von Evaluationskriterien und Indikatoren
       Impulsreferat: Dr. Claus Buhren
4      Entwicklung von Indikatoren
       Gruppenarbeit
5      Tagesevaluation

31. Mai 2002
6      Methoden und Instrumente der Evaluation
       Impulsreferat: Dr. Claus Buhren
       Diskussion
7      Grafstat – Ein Programm zur Datenbearbeitung und -analyse
       Referat: Dr. Claus Buhren
8      „Stolpersteine“ und Hindernisse in Evaluationsprozessen
       Abschlussdebatte




                                                        1
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc




TOP 1
Evaluation als Instrument der Schulentwicklung und Qualitätssicherung
Impulsreferat: Dr. Claus Buhren

weiterführende Informationen/Adressen:

http://www.ifs.uni-dortmund.de/fobis/index.html
claus.buhren@ruhr-uni-bochum.de


                                                    Was ist Evaluation?
                                                       (Definition)

     „Evaluation wird verstanden als Prozess des systematischen Sammelns und
     Analysierens von Daten/Informationen, um Bewertungsurteile zu ermöglichen, die auf
     begründete Evidenz beruhen.“
     (Philipp/Rolff 1998, S. 106)

                                                          BUHREN




                               Evaluation ist ...

                                   ein Verfahren zur Orientierung und Steuerung.
                                   eine Methode zur Zielüberprüfung.
                                   ein Mittel zur Selbstreflexion.
                                   eine Basis für Optimierung und Entwicklung.
                                   eine Möglichkeit Fehler zu vermeiden.
                                   ein Instrument zur Außendarstellung.
                                   ein Grundprinzip des Schulmanagements.

                                                              BUHREN




     Evaluation ...

        ist ein systematischer Prozess.
        basiert auf vorher festgelegten Zielsetzungen.
        dient der Überprüfung und Bewertung einer durchgeführten Praxis.
        verfolgt das Ziel der Bestätigung, Verbesserung und/oder Weiterentwicklung dieser Praxis.
        erfordert gemeinsam definierte Bewertungsmaßstäbe.
        geschieht auf der Grundlage von erhobenen Daten.
        beinhaltet die Beteiligung und Rückspiegelung dieser Daten für die Betroffenen.
        hat vereinbarte Folgen und Konsequenzen.

                                                              BUHREN




                                                          2
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc




                                                  Evaluationsschleife


                                             Woher wissen wir das?




                 Welche Konsequenzen                                     Wie gut sind wir?
                 ziehen wir daraus?




                                      Entwicklung von Schule und Unterricht

                                                           BUHREN




                                                 Evaluationszyklus

                                                      Bereich
                                                      auswählen

                             Umsetzung                                           Ziele
                             realisieren                                      formulieren



                                                                                  Kriterien
                        Konsequenzen                                             festlegen
                           ziehen



                                                                                Indikatoren
                                                                                 definieren
                           Feedback
                            geben


                                             Ergebnisse              Daten
                                             analysieren            sammeln


                                                           BUHREN




                                                           3
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc




TOP 2

Vorbereitung einer schulinternen Evaluation
Gruppenarbeit

                                      W-Planungsraster - Evaluation

Es werden zwei bis drei Flipchart-Bögen aufgehängt und mit folgenden Überschriften bzw.
Zwischenüberschriften versehen.


   1. Was ist Gegenstand bzw.                                          3. Welche Evaluationsaspekte
      Thema der Evaluation?                                               sind für das Projekt
                                                                          relevant?
   2. Welches Ziel verfolgen wir
      mit der Evaluation?                                              4. Welche Verfahren und
                                                                          Instrumente zur Evaluation
                                                                          können wir einsetzen?




                                       5. Wie wollen wir die
                                          Evaluation durchführen?
                                          (Zeitplan)

                                       6. Wer soll an der Evaluation
                                          beteiligt werden?

                                       7. Wem sollen die Daten
                                          zurückgemeldet werden?




Hinweis:
Erste Einzelarbeit. Die Fragen werden dann nach und nach in der Gruppe diskutiert. Die
Antworten schreibt ein Gruppenmitglied oder ein(e) Moderator(in) auf. Am Schluss sollte ein
zweiter Durchgang gemacht und alle Ergebnisse im Zusammenhang behandelt und auf
Konsistenz sowie Plausibilität geprüft werden.




                                                        4
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



Themenfestlegung für die Gruppenarbeit:
 Teamarbeit
 Projektunterricht
 Unterrichtsgestaltung
 Lernfeldkonzept – Präzisierung: Coaching von Schülerteams

Auswertung:

                                  1. Gruppe: Evaluation von Teamarbeit


       1. Gegenstand: Qualität von Teamarbeit im Fachbereich Gastronomie
       2. Ziele:          Überprüfung der Wirksamkeit von Teamarbeit in Bezug auf
                          - Qualität von Unterricht
                          - persönlichen Nutzen für jedes einzelne Teammitglied
       3. Evaluationsaspekte:
          b) Vernetzung berufsbezogener und berufsübergreifender Lernbereich
          c) Austausch von Materialien, Ideen und Erfahrungen
          d) motivationsförderndes Arbeitsklima
          e) Methodenkompetenz der Schüler(innen)
       4. Verfahren, Instrumente:
          -    informelle Tests (d)
          -    Fragebögen (b, c)
          -    Dokumentenanalyse (a)
               (Schulcurricula, Konferenzbeschlüsse)
          -    Unterrichtsbeobachtungen (a)
       5. Zeitplan:
          -    informelle Tests – 1 Monat
               Fachkonferenz
               Erstellen-Durchführen-Auswerten
          -    Dokumentenanalyse ...
          -    .....




                                                        5
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



                              2. Gruppe: Evaluation von Projektunterricht


       1. Gegenstand: Projektunterricht
       2. Ziele:         Stellenwert von Projektunterricht
                         - Info über Selbstständigkeit von Schülern
                         - Effektivität
       3. Evaluationsaspekte:
          -   Vorbereitung
          -   Durchführung
          -   Ergebnisse/Lernergebnisse
          -   Motivation/Beteiligung
          -   Gewichtung
       4. Verfahren, Instrumente:
          -    standardisierter Fragebogen für Schüler
          -    Beobachtungsbogen für Lehrer
          -    Erarbeitung einer Statistik zum Umfang von Projektunterricht
          -    Bericht erstellen
       5. Zeitplan:
          -    ein Schuljahr
          -    Zwischeneinschätzung nach jedem Projekt
          -    nach ½ Jahr – Fragebögen überarbeiten
          -    Auswertung im Team (FK) und/oder Schulkonferenz
       6. Beteiligte:    Schüler
                         „Projekt“lehrer
                         alle LK
                         (Ausbildungsbetriebe)
       7. Rückmeldung: siehe Punkt 6, ggf. LK aus anderen Schulen




                                                        6
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



                           3. Gruppe: Evaluation von Unterrichtsgestaltung


       1. Gegenstand: handlungsorientierter Unterricht nach Lernfeldern/Teamteaching
       2. Ziele:         Bringt Teamteaching ein höheres Maß an Handlungskompetenz?
                         - Effektivität
                         - Hinweise zur Verbesserung
                         - Problemaufriss - Schlussfolgerungen
       3. Evaluationsaspekte:
          -   Planung von Teamteaching auf verschiedenen Ebenen
             (Schulleitung/Gesamtkonferenz/Fachkonferenz)
          -   Feinplanung in der Arbeitsgruppe (Feinstrukturierung)
          -   Teambereitschaft und Teamfähigkeit der Lehrer
          -   Anwendungsfelder erfassen
       4. Verfahren, Instrumente:
          -    Fragebögen erstellen (schriftliche Befragung)
          -    Beobachtung, Hospitation der Teams, externe Phase,
               Auswertung der Prüfungsergebnisse
       5. Zeitplan:
          -    3 Teams (je 4 Personen) geben Rückmeldung
          -    Gesamtevaluation mit Prozesscharakter
       6. Beteiligte:    Lehrerteam
                         Kollegen, die nicht nach dieser Methode arbeiten
                         Schulleitung
       7. Rückmeldung: Gesamtkollegium




                                 4. Gruppe: Choaching von Schulteams


       1. Gegenstand: Choaching von Schulteams
       2. Ziele:          Probleme identifizieren
                          Hinweise für Lehrerfortbildung
       3. Evaluationsaspekte:
          -   Raumorganisatorische Aspekte
          -   Bereitschaft, Motivation der Schüler
          -   Coachingkompetenz
       4. Verfahren, Instrumente:
          -    Lehrerinterview (Einzelinterviews)
          -    Unterrichtsbeobachtung
          -    teilstandardisierte Schülerinterviews
       5. Zeitplan:
          -    über 1 Jahr
          -    Erhebung, Aufbereitung, Auswertung, Rückmeldung, Bericht
       6. Beteiligte:     Schüler und Lehrer
       7. Rückmeldung: Kollegium und Schüler
                          Lehrerfortbildungsinstitute
                          Berufsbildungspraxis
                          Berufsbildungspolitik
                          Berufsbildungswissenschaft




                                                        7
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



TOP 3
Bestimmung von Evaluationskriterien und Indikatoren
Impulsreferat: Dr. Buhren

  Ziele – Kriterien –                                   Vom Ziel zum Indikator
  Indikatoren – Standards
                                                         Die Qualität eines Kriteriums wird durch
   Ziele gehen der Frage nach:                           eine Anzahl von Indikatoren bestimmt.
    Was will ich erreichen?                              Die Auswahl von Indikatoren ist
   Kriterien präzisieren die Ziele:                      abhängig von der jeweiligen Praxis.
    Wie, womit bzw. wozu will ich                        Je mehr Indikatoren-positiv formuliert-
    dies erreichen?                                       als erfüllt gelten, um so größer ist die
   Indikatoren untersuchen die                           Wahrscheinlichkeit, dass die Qualität
    Praxis: Woran kann ich dies                           eines Kriteriums erreicht wird.
    erkennen?                                            Indikatoren sind nicht gleichwertig,
   Standards definieren den Grad                         sondern sie besitzen eine
    des Erfolges oder Misserfolges!                       unterschiedliche Gewichtung, die
                                                          gemeinsam festzulegen ist.
                    BUHREN                                                BUHREN




   Ziele und Kriterien                                 Indikatorenbeispiele

    Ziel                                               Ich mache mir selbständig Notizen.
     - Selbständigkeit und                              Ich suche nach Texten/
        Eigenverantwortlichkeit                          Zeitungsausschnitten zum Thema.
        entwickeln und fördern                          Ich markiere beim Lesen wichtige
    Kriterien                                           Textstellen.
     - Probleme erfassen                                Ich lege selbst die Reihenfolge meiner
     - Indikatoren selbständig                           Arbeit fest.
        beschaffen und verarbeiten                      Ich nutze die Bibliothek zur
     - Methoden der                                      Informationsbeschaffung.
        Wissensverarbeitung                             Ich frage bei Problemen zuerst meine
        einsetzen                                        Mitschüler.
     - Arbeitsabläufe eigenständig                      Ich helfe anderen Schülern, wenn sie
        organisieren                                     Fragen haben.
     - Arbeitsergebnisse                                Ich verfasse eigene Texte zum Thema.
        dokumentieren und                               Ich halte einzelne Arbeitsergebnisse
        darstellen                                       schriftlich fest.
                                                        Ich trage meine Arbeitsergebnisse
                      BUHREN
                                                         mündlich vor.

                                                                         BUHREN




                                                        8
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



TOP 4
Entwicklung von Indikatoren
Gruppenarbeit:
Zunächst sollten für die ausgewählten Evaluationsbereiche Ziele formuliert werden.
Die Entwicklung von Indikatoren erfolgte dann am Beispiel der
Evaluation von Lehrerkonferenzen, da die Gruppen zu heterogen zusammengesetzt waren.

                                   1. Gruppe: Evaluation von Teamarbeit

                                        Qualität von Unterricht
                      Ziele:
                      - abgestimmte Anforderungen für Schülertätigkeiten
                      - begründete/transparente Bewertungskriterien entwickeln
                         und anwenden
                      - alle Kompetenzbereiche fördern und weiterentwickeln


                                                persönlicher Nutzen
                      Ziele:
                      - Erweiterung von Erfahrungen, fachlich-methodische
                         Ergänzungen
                      - Gestaltung des Arbeitsklimas




                              2. Gruppe: Evaluation von Projektunterricht

                       Ziele:
                       - Selbstständigkeit der Schüler
                       - Aktivität der einzelnen Schüler
                       - Teamfähigkeit
                       - ganzheitliches Denken des Schülers
                       - Erkennen fachübergreifender Zusammenhänge




                           3. Gruppe: Evaluation von Unterrichtsgestaltung



                      Ziele des Teamteaching:
                      - Steigerung der Effektivität des Unterrichts
                      - Veränderung des Schülerverhaltens
                         (Lernbereitschaft, Normen, Werte)
                      - Steigerung der Kooperationskompetenz der Lehrer
                      - Steigerung der Objektivität bei der Leistungsbewertung




                                                        9
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



                                 4. Gruppe: Choaching von Schulteams

          Vorüberlegungen:

          Ziele der Schülergruppenarbeit:
          - Fachkompetenz: Wissen, Verstehen und Anwenden der Kirchhoffischen Gesetze
          - Sozialkompetenz: Kommunikationsfähigkeit, Diskursfähigkeit
          - Humankompetenz: Zutrauen in die Fähigkeit, sich selbständig Informationen zu
             erarbeiten

          Ziele des Coachings:
          Fachkompetenz:
          - Beobachten und nur dann weiterhelfen, wenn die Gruppenarbeit das
             Unterrichtsziel verfehlen würde
          - Fähigkeit, sich auf die Gedankengänge der Schüler einzulassen
          - Fähigkeit, sich zurück zu halten


          Sozialkompetenz:
          - Beobachten und nötigenfalls eine angemessene Kommunikationsatmosphäre
            herstellen
          - durch Interaktion eine Beteiligung aller Schüler herstellen
          - Fähigkeit, gruppendynamische Prozesse zu reflektieren und der Gruppe
            rückzumelden

          Humankompetenz:
          - motivierendes Feedback geben (konstruktive Kritik)
          - Fähigkeit des Lehrers, sich zurück zu nehmen, um Selbsttätigkeit auch
            tatsächlich zu ermöglichen




                                                        10
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc




Entwicklung von Indikatoren am Beispiel der Evaluation von Lehrerkonferenzen
neue Gruppeneinteilung
Bildung von homogenen Gruppen – Landesinstitut, Universität, Lehrergruppe

                                       Evaluation von Lehrerkonferenzen

                                        Ziele von Lehrerkonferenzen:

                                   -    Informationen weitergeben
                                   -    Entscheidungen treffen
                                   -    Planungen koordinieren
                                   -    Abstimmungen erzielen




                                            Gruppe: Landesinstitut

            Kriterien:
                a) Wahl der Inhalte
                b) problemorientierte Kommunikation
                c) Bereitstellung von Erfahrungen
                d) flexibles Zeitregime

            Indikatoren:
            zu a)
            - Ich habe die Gelegenheit, Inhalte vorzuschlagen.
            - Ich mache Angebote für Inhalte.
            - Ich werde aufgefordert, Inhalte vorzuschlagen.
            - Die Bedeutsamkeit der Inhalte wird geprüft.
            - Aktuelle Inhalte können von den Teilnehmern spontan eingebracht werden.
            - ...


            zu b)
            - Ich habe die Gelegenheit, kritische Rückfragen zu stellen.
            - Ich stelle kritische Rückfragen.
            - Probleme werden in der Gruppe tiefgründig bearbeitet.
            - Wir nutzen Problemlöseverfahren.
            - ...


            zu d)
            - Ein vorgeschlagenes Zeitraster wird eingehalten.




                                                        11
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



                                       Gruppe: SELUBA-Lehrkräfte


            1. Inwieweit ist die Informationsübermittlung effektiv?

            sind die Informationen                                trifft nicht zu   trifft teilweise zu   trifft voll zu
            - aktuell
            - informell
            - hinreichend
            - rechtzeitig
            - umfassend
            - aussagekräftig
            - prägnant


            2. In welcher Form werden in der Lehrerkonferenz Entscheidungen getroffen?
            - können alle zur Entscheidungsfindung beitragen (Mitspracherecht)
            - werden die Entscheidungen in Fachausschüssen/durch Experten vorbereitet
            - empfinden Sie die Entscheidungen als gerecht
            - ich trage alle getroffenen Entscheidungen mit
            - können getroffenen Entscheidungen zurückgenommen werden


            3. Ist ein Planungsmodus erkennbar?
            - zeitlich
            - thematisch
            - organisatorisch
            - personell


            4. Erfolgen Absprachen?
            - praxisorientiert
            - in den Fachbereichen
            - fachbereichsübergreifend
            - mit Ausbildungsbetrieben
            - mit Institutionen (Sponsoren, Kammern)
            - mit Bildungsträgern
            - mit anderen Schulen




                                                        12
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



                                             Gruppe: Universität


                     1. Evaluation eines Hauptseminars

                     2. Wie zufrieden sind die Studierenden mit dem Seminar?

                     3.1
                     - Bildungsauftrag
                     - Didaktik/Methodik
                     - Praxisbezug
                     - Organisation
                     - Lernklima


                     3.2
                     - Visualisierung
                     - Interaktionsformen
                     - Teilnehmerorientierung
                     - Qualität der Materialien
                     - Zugang zu Informationen
                     - Vorbereitung der Lehrenden
                     - Beratung
                     - Transparenz der Leistungsbewertung


                     3.3
                     - Einwürfe wurden beachtet
                     - vorgegebene Vortragszeiten wurden eingehalten
                     - Aussprache ist verständlich
                     - ausreichend Raum für Diskussionen
                     - Regeln für die Diskussion wurden aufgestellt und eingehalten
                     - ...




TOP 5

Tagesevaluation – Blitzlichter

-   „Große Gedanken brauchen nicht nur Flügel, sondern auch ein Fahrgestell zum Landen“
-   Es gibt keine Patentrezepte.“
-   „...viel Anregungen, erstaunlich, wie schnell die Zeit vergeht“
-   „...Vermittlung von Handwerkszeug gelungen“
-   „Wir waren ein gutes Team.“




                                                        13
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



31. Mai 2002-

TOP 6

                               Methoden und Instrumente der Evaluation

                          qualitative Instrumente
                           - Selbstuntersuchung (teilstandardisierte Interviews)
                           - expressive Methoden (teilstandardisierte Beobachtung)
                           - Gruppendiskussionen
                          offene Fragen
                          kommunikative Validierung

                                                               BUHREN




Es sind möglichst 2-3 unterschiedliche Evaluationsmethoden und –perspektiven bei der
Evaluation von ein und denselben Sachverhalt einzusetzen. Man spricht in diesem Fall von
Methoden – Perspektiven – Triangulation.
                                              Schule
z. B.



                                             Evaluation
                                                von
                                             Unterricht


                     Lehrer                                             Ausbildungsbetriebe




Vor der Evaluation sind bereits die Standards und Indikatoren festzulegen.
Man sollte sich bereits vor Beginn der Evaluation darüber einigen, wann man mit dem
Ergebnis zufrieden ist.


TOP 7

Grafstat – Ein Programm zur Datenbearbeitung und -analyse
Dr. Claus Buhren

Bestellung (kostenlos): Grafstat 2000 (Autor: Uwe Diener, Universität München)

Bundeszentrale für politische Bildung
Berliner Freiheit 20
53111 Bonn
Fax: 01888/515586
e-mail: ernst@bpb.bund.de
homepage: http://www.grafstat.de
Die Evaluation ist auch über Internet möglich,
Anmeldung über den server – learn-line (in NRW)




                                                          14
D:\Docstoc\Working\pdf\8e7f8d59-fb56-4e62-90d6-3eba16f21561.doc



TOP 8

„Stolpersteine“ und Hindernisse in Evaluationsprozessen
Abschlussdebatte


               Probleme und Widerstände

                  Zeitverschwendung
                  unklare Ziele
                  Außeninteresse
                  Kontrolle und Rechtfertigung
                  keine neuen Erkenntnisse
                  Arbeitsüberlastung

                                  BUHREN




                                     Abschließende Hinweise

      mit überschaubarem Bereich starten
      interessierte Kleingruppen gewinnen
      klare Zielsetzungen für die Evaluation
      kleine Gruppen bei der Erarbeitung des Evaluations-Fragebogens bilden
       (ca. 5-8 Personen)
      Pretest ist wichtig
      Evaluation nicht verordnen
      keine „Problemevaluation“ machen
      jederzeit Transparenz schaffen
      Prozess und Ergebnisse dokumentieren
      über Erfolge informieren
      schnelle Auswertung/Rückmeldung im Zeitraum von ca. 4-6 Wochen nach
       Datenerhebung
      Evaluation muss Folgen haben, Veränderungen müssen spürbar sein

                                                BUHREN




                                                        15

				
DOCUMENT INFO
Shared By:
Categories:
Stats:
views:205
posted:7/3/2010
language:German
pages:15