Diplom-Studiengang Psychologie

Document Sample
Diplom-Studiengang Psychologie Powered By Docstoc
					 Zur prognostischen Validität von
       Assessment Centern




Ein empirische Überprüfung anhand einer
    270-Grad-Vorgesetztenbeurteilung
                                                                     2



I. Einleitung
II. Assessment Center
        1. Definition
        2. Einsatzgebiet
        3. Durchführung in der vorliegenden Untersuchung
        3.1. Anforderungsprofil
III. Leistungsbeurteilungen
        1. Definition
        2. 360-Grad- Beurteilungen
        3. 270-Grad-Beurteilungen in der vorliegenden Untersuchung
        4. Fragebogenkonstruktion
IV. Problemstellung
        1. Fragestellung
        2. Durchführung/Zeitleiste
V. Auswertung und Interpretation
        1. Konsequenzen aus der Voruntersuchung
        2. Ergebnisse der Hauptuntersuchung
        2.1. Ergebnisse der Hypothese 1
               MTMM-Validierung
               Kreuztabelle
               Faktorenanalyse
        2.2. Ergebnisse der Hypothesen 2-4
VI. Zusammenfassung
                                                                                              3



I. Einleitung
Potenzialbeurteilungen sind Mutmaßungen über die Fähigkeit einer Person,
eine latente Qualifikation zu einer manifesten Qualifikation zu machen.
Trauernicht (2001, S. 26) definiert Potenzial als Ausprägungsgrad der
Qualifikation einer Person vor dem Hintergrund gegebener und zukünftiger
Anforderungen zu einem bestimmten Zeitpunkt.
Im Rahmen der Berufseignungsdiagnostik werden dazu eignungsdiagnostische
Verfahren entwickelt, deren Ziel es ist, Prognosen über beruflichen Erfolg auf
der Grundlage von Indikatoren zu messen (Schuler & Höft, 2001, S. 94ff).

Die Vorhersage beruflicher Leistung minimiert das Risiko, durch falsche
Personalentscheidungen hohe Fehlinvestitionen zu tätigen (Obermann, 1992).

Als wichtigstes Merkmal zur Validierung eines Auswahlverfahrens wird die
prognostische Validität angesehen. Diese gibt an, inwieweit sich eine Prognose
durch eine erneute Messung zu einem späteren Zeitpunkt bestätigt. Die Güte
der Prognose wird abgeleitet aus dem Zusammenhang zwischen Prädiktor und
Kriterium, der mit dem Korrelationskoeffizienten r erfasst wird.

Demzufolge lassen sich verschiedene Auswahlinstrumente nach ihrer
Prognosegüte klassifizieren. Tabelle 1 stellt die Koeffizienten der
prognostischen Validität einzelner eignungsdiagnostischer Verfahren dar:


Tabelle 1:            Koeffizienten der prognostischen Validität von Auswahlverfahren (nach
                      SCHULER, 1996, S.)

Prädiktor                                      Validitätskoeffizient

Allgemeine kognitive Fähigkeitstest            .51

Arbeitsproben                                  .54

Gewissenhaftigkeitstests                       .31

Strukturierte Einstellungsinterviews           .51

Unstrukturierte Einstellungsinterviews         .38

Fachkenntnistests                              .48

Probezeit                                      .44

Biographische Interviews                       .35

Assessment Center                              .37

Interessen                                     .10

Graphologie                                    .02



Tabelle 1 kann man entnehmen, dass die prognostischen Validitätskoeffizienten
der einzelnen diagnostischen Verfahren zwischen r= 0,02 bis r = 0,54 liegen.
                                                                                               4



Dazu muss man bedenken, dass r = 0,5 einer gemeinsamen Varianz von 25%
(r²) entspricht.
Assessment Center werden in Wissenschaft und Praxis als aussagekräftigstes
Verfahren zur Einschätzung und Prognose von Management- und Berufs-
potentialen angesehen (Sarges, 1996). Eine Erläuterung dieses Verfahrens soll
im folgenden Abschnitt vorgenommen werden.


II. Assessment Center
1. Definition

„Assessment Center“ ist der Name einer multiplen Verfahrenstechnik, zu der
mehrere eignungsdiagnostische Instrumente oder leistungsrelevante Aufgaben
zusammengestellt werden). Charakteristisch für Assessment Center ist, dass
mehrere Personen (etwa 6 bis 12) gleichzeitig daran teilnehmen und dass auch
die Einschätzung von mehreren unabhängigen Beurteilern (im Verhältnis etwa
1:2 zur Zahl der Beurteilten) vorgenommen werden. Die Beurteilergruppe
besteht vor allem aus Linienvorgesetzten sowie aus Psychologen und
Mitarbeitern des Personalwesens.

Die wichtigsten im Assessment Center gebräuchlichen Einzelverfahren sind
 Individuell auszuführende Arbeitsproben und Aufgabensimulationen (v.a.
   Organisation-, Planungs-, Entscheidungs-, Controlling- u.Analyseaufgaben)
 Gruppendiskussionen mit und ohne Rollenvorgabe
 Vorträge und Präsentationen
 Rollenspiele (z.B. Verkaufsgespräche)
 Einzel-, Gruppen und Boardinterviews
 Selbstvorstellung
 Wirtschaftsspiele
 Fähigkeits- und Leistungstests
 Persönlichkeits- und Interessenstests
 Biographische Fragebogen
 Lockerungsübungen

Die definierenden Merkmale eines Assessment Centers sind in Tabelle 2
nochmals zusammengefasst.

Tabelle 2: Definierende Merkmale des ACs (aus SARGES, 1996)

Definierende Merkmale des ACs

       Mehrere Kandidaten werden
       von mehreren geschulten Beobachtern (meist von 4-6 Linienführungskräften höherer
        Hierarchiestufen oder Psychologen)
       in einer Vielzahl von Beurteilungssituationen (Übungen, Tests, Interviews u.a.)
       über einen längeren Zeitraum (meist 2 - 3 Tage)
       im Hinblick auf wichtige Erfolgskriterien für den Beruf (z.B. Durchsetzungsvermögen,
        Initiative, komplexes Denken)
       nach festgelegten Regeln (z.B. erst beobachten, dann bewerten) beurteilt.
                                                                               5




2. Einsatzgebiete

Der Hauptverwendungszweck von AC ist die Personalauswahl von externen
Bewerbern und die Potentialanalyse für interne Bewerber. Dabei steht die
Prognose der Führungskompetenz im Zentrum des Interesses.

Genauere Daten, für welche Zielgruppen ACs von Unternehmen schwerpunkt-
mäßig eingesetzt werden, können Tabelle 3 entnommen werden.


Tabelle 3:          Einsatzgebiete von ACs (nach KRAUSE et al., 2001)

Zielsetzung                   Interne Bewerber      Externe Bewerber

Personalauswahl               33%                   78%

Potenzialanalyse              71,6%                 9,2%

Trainingsbedarfsanalyse       58,2%                 7,8%



3. Durchführung in der vorliegenden Untersuchung

Im Mittelpunkt der Untersuchung von M. Korth steht das Entwicklungs-
Assessment Center eines deutschen Produktionsunternehmens der
Automobilindustrie. Dieses AC wird vor Ort zur internen Personalauswahl für
die Meisterlaufbahn eingesetzt.
Im Unternehmen wurde 1993 ein Entwicklungsprogramm für Meister eingeführt,
dessen Ziel der systematische Aufbau von Meisternachwuchskräften
entsprechend den unternehmensinternen Anforderungen ist.

Das Entwicklungsprogramm umfasst mehrere Schritte. Nach dem Erwerb des
IHK-Meisterbriefes und internen Weiterbildungen wird als
Vorauswahlinstrument ein strukturiertes biographisches Interview eingesetzt.
Mittels eines Potenzialanalyseverfahrens nach der AC-Methode werden dann
Meisternachwuchskandidaten ausgewählt. Den Abschluss dieses Programms
bildet eine Empfehlung für oder gegen die Meisterlaufbahn.

Insgesamt nehmen jeweils zehn Kandidaten und sechs Beobachter aus dem
Unternehmen an einem Entwicklungs-AC teil, welches von zwei Moderatoren
begleitet wird. Das AC-Verfahren dauert insgesamt drei Tage.

Für jeden Teilnehmer wird jedes der 11 Kriterien mehrmals von
unterschiedlichen Beobachtern in unterschiedlichen Übungen bewertet. Direkt
im Anschluss an die jeweilige Übung erhält jeder Teilnehmer ein Feedback über
seine Beurteilungen in der vorangegangenen Übung. Bei diesen Ergebnissen
handelt es sich um jeweils zwischen drei Beobachtern harmonisierte Werte. Am
dritten Tag des ACs werden in einer Beobachterkonferenz die Ergebnisse der
einzelnen Beobachter und der Übungen zu einem Gesamtergebnis
                                                                               6



harmonisiert. Anschließend wird jedem Teilnehmer in einem Feedbackgespräch
sein Gesamtergebnis zurückgemeldet.

3.1. Anforderungsprofil

Grundlage des Programms bildet ein Anforderungsprofil, das aus dem
Meisterleitbild des Unternehmens abgeleitet wurde. Das Meisterleitbild wurde
von Führungskräften, der Unternehmensleitung, dem Betriebsrat, Angehörigen
des Personalswesens und Meistern gemeinsam erarbeitet und gilt seither als
Grundlage für die Auswahl neuer Meister.

Das Anforderungsprofil umfasst die drei Dimensionen
   Umgang mit Problemen
   Antrieb
   Umgang mit Menschen

Diese Dimensionen werden anhand von elf Kriterien abgebildet. Genaueres
kann Tabelle 4 entnommen werden.


Tabelle 4: Das Anforderungsprofil des Entwicklungs-Programms

Umgang mit Problemen

1. Analysefähigkeit (AN)
2. Geistige Beweglichkeit (GB)
3. Planerische und organisatorische Fähigkeiten (PO)

 Antrieb

4. Selbstvertrauen (SV)
5. Zielorientierung und Initiative (ZI)
6. Entscheidungsbereitschaft (ET)

 Umgang mit Menschen

7. Einfühlungsvermögen (EF)
8. Kontaktfreudigkeit (KT)
9. Teamführungsfähigkeit (TF)
10. Konfliktfähigkeit (KF)
11. Überzeugungs- und Durchsetzungsfähigkeit (ÜD)



Die nachfolgende Tabelle 5 definiert die einzelnen Kriterien.
                                                                                                7



Tabelle 5:              Definition des Anforderungsprofils

I. Dimension: Umgang mit Problemen
1. Analysefähigkeit

Fähigkeit, Probleme zu erkennen und Ursache-Wirkungsbeziehungen geistig zu durchdringen.

2. Geistige Beweglichkeit

Fähigkeit, Probleme sowohl generell als auch speziell betrachten und dabei bewusst den
Auflösungsgrad der Problembetrachtung je nach Erfordernissen variieren zu können und neue
Lösungsideen entwickeln zu können.

3. Planerische und Organisatorische Fähigkeiten

Fähigkeit, die eigene Arbeit systematisch unter Berücksichtigung von Prioritäten, Terminen und
Zeitaufwand zu planen und die Arbeitsausführung so zu organisieren, dass die Ziele erreicht
werden.

II. Dimension: Antrieb
4. Selbstvertrauen

Vertrauen zu der eigenen Fähigkeit auch neue, ungewohnte und schwierige Situationen in
Verbindung mit einer optimistischen Problemsicht mit Ruhe und Gelassenheit (erfolgreich)
bewältigen zu können.

5. Zielorientierung und Initiative

Fähigkeit, vor dem Hintergrund klarer und realistischer Ziele aus eigenem Antrieb heraus zu
handeln, Probleme aktiv aufzugreifen und deren Lösung voranzutreiben.

6. Entscheidungsbereitschaft

Fähigkeit, inhaltliche Entscheidungen nicht auf die "lange Bank" zu schieben, sondern sie
zeitgerecht, fundiert und ausgewogen zu treffen.

III. Dimension: Umgang mit Menschen
7. Einfühlungsvermögen

Fähigkeit, sich sowohl auf der sachlichen als auch der gefühlsmäßigen Ebene in andere
Menschen hineinversetzen und deren Probleme verstehen zu können.

8. Kontaktfreudigkeit

Fähigkeit, Kontakte zu Gesprächspartnern aktiv herzustellen, aufrecht zu halten und sich auf
den Gesprächspartner angemessen einstellen zu können.

9. Teamführungsfähigkeit

Fähigkeit, die Mitarbeit der Teammitglieder zu gewinnen und ein gemeinsam getragenes
Ergebnis zu erzielen, andere zu begeistern, mitzureißen und die Leistungspotentiale zur
Erreichung der gemeinsamen Ziele zu aktivieren.

10. Konfliktlösungsfähigkeit

Fähigkeit, Konflikte zu erkennen, im Konfliktfall tolerant die Meinungen anderer zuzulassen,
wenn sie der eigenen Vorstellung widersprechen und die Konfliktlösung aus einem fair
geführten Ausgleich der Interessen herbeizuführen.

11. Überzeugungs- und Durchsetzungsfähigkeit

Fähigkeit, die Interessen anderer zu verstehen und eigene klar darzustellen, mit Widerständen
umzugehen und durch überzeugende Argumente eine Handlungsstrategie abzuleiten.
                                                                                           8



Die Potenzialeinschätzungen werden im AC durch die Beurteilung dieser elf
Kriterien vorgenommen. Das Meisterverhalten wird dazu auf einer 5-stufigen
Skala von 1 = nicht erkennbar bis 5 = deutlich erkennbar beurteilt.


         1=                  2=                3=          4=                5=
   nicht erkennbar     wenig erkennbar    erkennbar   gut erkennbar   deutlich erkennbar

Abbildung 1:         Bewertungsskala des ACs



Um eine Empfehlung für die Meisterlaufbahn zu erhalten, ist es notwendig, dass
für jede der drei AC-Dimensionen die Mehrzahl der Kriterien mit mindestens 3 =
erkennbar beurteilt werden. Das bedeutet, dass die Kompensation einzelner
Kriterien möglich ist.
Zur Erleichterung der Beurteilung dienen den Beurteilern Verhaltensanker, die
als direkte Verhaltensindikatoren für die Kriterienbeurteilung genutzt werden
können.


III. Leistungsbeurteilungen
1. Definition

Der systematische Ablauf von Personalauswahl und –entwicklung setzt eine
Erfolgskontrolle, d.h. die Evaluation einer Maßnahme voraus. Um Aussagen
über die Prognosegüte eines eignungsdiagnostischen Verfahrens machen zu
können, müssen notwendigerweise die eingetretenen Erfolge mit den
vorhergesagten Zielen verglichen werden.

Die Prognosen basieren auf Messung von Indikatoren, d.h. Präditoren für die
berufliche Leistung. Die tatsächliche berufliche Leistung gilt als Kriterium,
welches erst zu einem späteren Zeitpunkt gemessen wird.

Viele deutsche Unternehmen verfügen über formalisierte
Personalbeurteilungssysteme, mit denen Leistungsindikatoren anhand einer
mehrstufigen Skala beurteilt werden. Diese schriftlichen
Mitarbeiterbeurteilungen werden dann z.B. als subjektive Indikatoren zur
Validierung von Auswahlinstrumenten eingesetzt.

Klassische Vorgesetztenbeurteilungen haben allerdings den Nachteil, dass die
Leistungsbeurteilung lediglich von oben nach unten vorgenommen werden. In
der Ohio-Studie (Bray & Grant, 1974) konnte gezeigt werden, dass eine
Beurteilung von mehreren unabhängigen Beobachtern von Vorteil ist.
Als Kombination von verschiedenen Beurteilungsrichtungen bietet sich die 360-
Grad-Beurteilung an, die im Folgenden genauer dargestellt wird.
                                                                                   9



2. 360-Grad- Beurteilungen

Bei der 360-Grad-Beurteilung handelt es sich um eine besondere Methode der
Mitarbeiter-Beurteilung. Zusätzlich zur klassischen Vorgesetztenbeurteilung, die
sozusagen „abwärts“ vorgenommen wird, werden Seitwärtsbeurteilungen von
Kollegen, Aufwärtsbeurteilungen von Mitarbeitern, Selbstbeurteilungen und
Beurteilungen externer Kunden kombiniert.

Je nachdem, wie viele Beurteilungsebenen integriert werden, unterscheidet
man zwischen der 180-Grad-Beurteilung mit zwei Ebenen, der 270-Grad-
Beurteilung mit drei Ebenen und der 360-Beurteilung mit vier Ebenen.
Werden zusätzlich Lieferanten und externe Kunden einbezogen, so spricht man
von 540-Grad-Beurteilungen; wird zusätzlich noch die „Familie der
Führungskraft“ aufgenommen, handelt es sich um eine 720-Grad-Beurteilung.

Zielgruppe dieses Verfahrens sind primär Führungskräfte.

Die definierenden Mermale der 360-Grad-Methode lassen sich wie folgt
zusammenfassen:
Verschiedene Stelleninhaber in einer Organisation schätzen anhand eines
Beurteilungsfragebogens das Verhalten eines anderen Mitarbeiters des
Unternehmens schriftlich ein. Der Ist-Zustand wird anhand von Verhaltensdaten
erhoben. Die Beurteilung erfolgt anonym. Die Daten werden durch Dritte
ausgewertet

Edwards & Ewen (2000, s. 70) bezeichnen 360-Grad-Beurteilungssysteme als
valider und glaubwürdiger als Einzelschätzungen, was jedoch bisher in keiner
direkten Vergleichsstudie nachgewiesen wurde.


3. 270-Grad-Beurteilungen in der vorliegenden Untersuchung

Die Erhebung der prognostischen Validität des Entwicklungs-ACs wird druch
den Vergleich zwischen prognostiziertem erfolgreichem Meisterverhalten und
einer Fragebogenbeurteilung des aktuellen Meisterverhaltens vorgenommen.
In Abstimmung mit dem Unternehmen wurde ein Fragebogen konstruiert. Die
schriftliche Beurteilung der Meister basiert auf der Methode der 360-Grad-
Beurteilung. Dieser sollte von jeweils zwei Mitarbeitern und Kollegen ausgefüllt
werden.

Der entwickelte Fragebogen wurde innerhalb des Unternehmens „270-Grad-
Beurteilung“ genannt, da die Bezeichung „360-Grad-Beurteilung“ bereits an ein
anderes Personalentwicklungsverfahren des Unternehmens vergeben war.
                                                                                              10




    Beurteilung im 270°Ansatz


                                        Vorgesetzter
                                         Fremdbeurteilung




         Selbst-                                                            Kollege
       beurteilung                         Meister
                                                                      Fremdbeurteilung




                                          Mitarbeiter
                                         Fremdbeurteilung




Abbildung 2:          Beurteilung im 270-Grad-Ansatz



4. Fragebogenkonstruktion

In Anlehnung an das Anforderungsprofil des ACs wurde die berufliche Leistung
anhand der elf Kriterien des Anforderungsprofils durch 90 Items
operationalisiert. Die Items wurden dabei jeweils an vor Ort relevante
Situationen der Meisterarbeit angelehnt. Tabelle 6 gibt je ein Beispiel für jedes
der 11 Kriterien.


Tabelle 6                 Fragebogenitems mit Kriterien

Mein Meister...

...sucht nach den Ursachen von Problemen (Analysefähigkeit)
...integriert unterschiedliche Aspekte in seine Sichtweise (Geistige Beweglichkeit)
...plant Arbeitsabläufe nach ihrer Wichtigkeit (Planerische & organisatorische Fähigkeiten)
....bleibt in stressigen Situationen ruhig und gelassen (Selbstvertrauen)
...setzt klare Ziele (z.B. Kosten, Stückzahl, Qualität, Sauberkeit)
  (Zielorientierung& Initiative)
...trifft Entscheidungen, die nachvollziehbar sind (Entscheidungsbereitschaft)
...kann auf andere eingehen (Einfühlungsvermögen)
...stellt eine für mich angenehme Gesprächsatmosphäre her (Kontaktfähigkeit)
...steuert die Gruppe auf das gemeinsame Ziel zu (Teamführungsfähigkeit)
...führt faire Auseinandersetzungen (Konfliktlösungsfähigkeit)
...vertritt bei Bedarf den eigenen Standpunkt auch gegen Widerstände (Überzeugungs-
  und Durchsetzungsfähigkeit)
                                                                                11




FOLIE FRAGEBOGEN ENDFASSUNG


Für die Beurteilung der Verhaltensweisen wurde eine 5-stufige Likert-Skala
ausgewählt, da es für das Unternehmen von besonderem Interesse war, eine
Ähnlichkeit zwischen den Skalen des Fragebogens und des ACs herzustellen.
Personen, die bereits mit den AC-Skalen vertraut waren, sollten nicht durch
eine andersartige Skala verwirrt werden. Allerdings wurde zusätzlich noch auf
Unternehmenswunsch die Kategorie 0 = kann ich nicht beantworten
aufgenommen.


IV. Problemstellung
1. Fragestellung

AC-Beurteilungen werden heute immer mehr in Unternehmen für
personalpolitische Entscheidungen eingesetzt. Mit Hilfe dieses Verfahrens
werden Mitarbeiter ausgewählt, entwickelt und bezüglich ihres Potentials
beurteilt.

Bisher konnte aber die Prognosegüte von ACs nicht ausreichend abgesichert
werden. Daher sollte aus Unternehmenssicht die ökonomische Zielsetzung des
ACs einer strengeren Gütekontrolle unterzogen werden, als dies bisher in den
meisten Unternehmen der Fall ist.

Hieraus lässt sich die generelle Fragestellung ableiten, ob die AC-Prognosen
valide Prädiktoren für den beruflichen Erfolg von Mitarbeitern sind.

Die einzelnen Fragestellungen der Untersuchung von M. Korth sind im Detail:

   1. Gibt es einen Zusammenhang zwischen den Prognosen des ACs und
      einer späteren Einschätzung des Berufserfolgs durch eine 270-Grad-
      Beurteilung?
   2. Beurteilen Mitarbeiter, Kollegen und Unterabteilungsleiter den Meister in
      der 270-Grad-Vorgesetzenbeurteilung unterschiedlich?
   3. Gibt es Unterschiede in der Vorhersagegüte des ACs für bestimmte
      Produktionsbereiche? Hat die Anzahl der Personen in einer
      Meisterschaft einen Einfluß auf die 270-Grad-Beurteilung der Meister?
   4. Gibt es Unterschiede zwischen den Selbstbeurteilungen und den
      Fremdbeurteilungen?
                                                                              12




2. Durchführung/Zeitleiste

      Itemselektion für den Fragebogen
      Zustimmung von Betriebsrat und Datenschutz
      Voruntersuchung: 10 Tage, beginnend am 05.07.2002, 6 Meister, 27
       Fremdbeurteiler
      Rücklauf 33 Fragebögen
      Reliabilitätsbestimmung:
       Schwierigkeitsindex: 30 Items zeigten sich als zu leicht und wurden für
       die Hauptuntersuchung aus dem Fragebogen entfernt
       Trennschärfe: 4 Items korrelierten mit dem eigenen Kriterium unterhalb
       von 0.3 und weitere 12 Items korrelierten höher mit anderen Kriterien als
       mit dem eigenen und wurden somit aus dem Fragebogen
       ausgeschlossen.
       Interne Konsistenz: abgesichert
      Stichprobenplanung:
       nach Schuler et al. (1995) sollte eine Zeitspanne von 1,5 bis 2 Jahren
       zwischen der Berufserfolgsprognose und der erneuten Messung des
       Berufserfolges liegen (Angemessene Einarbeitungszeit, danach nimmt
       die Güte der Vorhersage immer weiter ab). Daher umfasst die
       Untersuchungsstichprobe die AC-Jahrgänge 1997 bis 1999: 139 Meister,
       139 Vorgesetzte, 278 Kollegen und 278 Mitarbeiter
      Untersuchung 24.07.2002 bis 27.08.2002
      Rücklauf: 53 Selbsteinschätzungen, 211 Fremdeinschätzungen,
       vollständige 270-Grad-Beurteilungen dabei von 30 Meistern
      Statistische Analysen: Schwierigkeitsindex, Trennschärfe,
       Kriterienreliabiliät sowie statistische Überprüfungen der Hypothesen


V. Auswertung und Interpretation

1. Konsequenzen aus der Voruntersuchung

Die Ergebnisse der Konsistenzanalyse zeigten, dass die interne Konsistenz des
Fragebogens gegeben war.
Der Fragebogen für die Hauptuntersuchung wurde auf 47 Items reduziert und
erfolgte regelgeleitet anhand im voraus definierter Grenzen für die Trennschärfe
und den Schwierigkeitsindex.

Aus den Ergebnissen wurde ferner geschlossen, dass die Beantwortung
negativ formulierter Items Halo-Effekten unterliegt; es wurde vermutet, dass die
Skala des Fragebogens nicht geeignet war, um diese Items sinnvoll zu
beantworten. Aus diesem Grunde wurden in der Hauptuntersuchung keine
negativ formulierten Items aufgenommen.
                                                                                 13



2. Ergebnisse der Hauptuntersuchung

Der überarbeitete Fragebogen wurde in der Hauptuntersuchung erneut einer
Reliabilitätsprüfung unterzogen. Die Ergebnisse zeigen, dass alle 47 Items über
einen ausreichenden Schwierigkeitsindex verfügen. Die Trennschärfeanalyse
ergab, dass lediglich drei Items mit den anderen Kriterien höher korrelieren als
mit dem eigenen Kriterium.
Die Reliabilität der 270-Grad-Beurteilung reichte demnach aus, um die
Ergebnisse der prognostischen Validität ausreichend abzusichern und
individuelle Unterschiede zwischen den Teilnehmern aufzudecken.


2.1. Ergebnisse der Hypothese 1


Hypothese 1:
Es besteht ein positiver Zusammenhang zwischen den AC-Ergebnissen und
den späteren Beurteilung der Meister im 270-Grad-Ansatz.


Multitrait-Multimethod-Validierung

Die prognostische Validität der AC-Prognosen wird anhand von
Zusammenhangshypothesen bestimmt. Die statistische Absicherung der
Prognosegüte erfolgte durch einen Vergleich der Kriterienbeurteilungen im AC
mit denen in den 270-Grad-Beurteilungen.

Die Daten wurden anhand einer MTMM-Validierung ausgewertet. Dabei werden
verschiedene Beurteilungsaspekte = Traits (in diesem Falle die Kriterien) sowie
verschiedene Beurteiler = Monorater miteinander verglichen.

„Die Multitrait-Multimethod-Methode überprüft, mit welcher
Übereinstimmung verschiedene Methoden dasselbe Konstrukt erfassen
(konvergente Validität)
und wie gut verschiedene Konstrukte durch eine Methode differenziert
werden (diskriminante Validität)“ (Bortz & Döring, 1995, S. 188ff).

Laut FISSENI (1997, S.108ff) basiert eine effektive MTMM-Valdierung auf den
folgenden Kriterien:
1. Die konvergenten Validitäten sollen sich signifikant von Null unterscheiden
2. Die konvergenten Validitäten sollen höher liegen, als die diskriminanten
    Validitäten bei gleicher Methode.
3. Die konvergenten Validitäten sollen höher liegen, als die diskriminanten
    Validitäten bei verschiedenen Methoden.
4. Die Muster der divergenten Validitäten sollen äquivalent sein.



TABELLE AUSTEILEN / FOLIE PP mit Codierungen und Fisseni-Kriterien
                                                                                  14



       ANAC GBAC POAC SVAC ZIAC ETAC EFAC          KTAC TFAC KFAC ÜDAC
ANS     -0,18
GBS     -0,29 -0,17
POS     -0,32  0,04 -0,01
SVS     -0,18 -0,01 -0,22 0,24
ZIS     -0,45 -0,09  0,00 0,10 0,03
ETS     -0,16  0,08 -0,06 0,19 0,02 0,13
EFS     -0,17  0,12 -0,01 0,14 0,04 0,11 0,08
KTS     -0,31  0,18  0,01 0,16 0,07 0,00 0,06       0,35
TFS      0,01 -0,03 -0,02 0,19 -0,04 0,21 0,08      0,18 -0,08
KFS      0,03 -0,06 -0,14 0,18 -0,05 -0,16 0,24     0,25 -0,08    0,03
ÜDS     -0,16  0,01  0,01 0,33 0,06 0,41 0,00       0,18 0,07     0,22    0,11
ANMA     0,24
GBMA     0,13  0,21
POMA     0,20  0,30  0,00
SVMA     0,24  0,07  0,04 -0,08
ZIMA     0,23  0,22  0,07 0,04 0,23
ETMA     0,17  0,06  0,02 -0,13 0,17 -0,03
EFMA     0,09  0,07  0,04 -0,16 0,13 -0,01 0,05
KTMA     0,23  0,19  0,17 -0,09 0,28 0,06 0,05      0,22
TFMA     0,14  0,16 -0,03 -0,09 0,10 0,11 -0,08     0,16 -0,10
KFMA     0,19  0,11  0,10 -0,04 0,14 0,03 -0,09     0,14 -0,06    0,14
ÜDMA     0,24  0,05  0,11 -0,07 0,28 0,11 -0,12     0,19 -0,03    0,18    -0,10
ANKO    -0,21
GBKO    -0,36  0,04
POKO    -0,30 -0,06  0,15
SVKO    -0,28 -0,14  0,11 0,03
ZIKO    -0,39 -0,07  0,10 0,15 -0,02
ETKO    -0,29 -0,06  0,06 -0,02 -0,09 0,07
EFKO    -0,27 -0,15  0,06 -0,18 -0,05 0,06 0,19
KTKO    -0,33 -0,07  0,07 0,06 -0,07 0,15 0,19     -0,04
TFKO    -0,18 -0,14  0,06 -0,13 -0,04 0,05 0,22    -0,12   0,20
KFKO    -0,35 -0,16 -0,09 -0,20 -0,17 -0,09 0,29   -0,25   0,29   -0,43
ÜDKO    -0,36 -0,13 -0,05 -0,10 -0,14 0,03 0,19    -0,24   0,14   -0,47   -0,05
ANVG     0,01
GBVG     0,10  0,03
POVG     0,00 -0,20 -0,11
SVVG    -0,11  0,11  0,02 -0,09
ZIVG    -0,04 -0,01 -0,01 -0,01 -0,04
ETVG    -0,04 -0,23  0,00 -0,10 -0,13 -0,05
EFVG    -0,15 -0,04 -0,07 -0,07 -0,15 -0,09 0,18
KTVG    -0,10  0,19 -0,10 -0,11 -0,09 -0,08 0,11    0,07
TFVG    -0,06 -0,19 -0,15 -0,20 -0,27 -0,08 0,09   -0,07 -0,23
KFVG    -0,06 -0,06 -0,02 -0,04 -0,06 -0,23 0,18    0,14 -0,18    0,11
ÜDVG     0,00 -0,10  0,03 -0,07 -0,06 -0,11 0,21    0,02 -0,05    0,08    0,03

  Abbildung 3. MTMM-Valdierung der 270-Grad-Beurteilung mit den AC-Ergebnissen


Die Graphik stellt die Korrelationen der jeweils elf Kriterien zwischen den
Selbstbeurteilungen (S), Mitarbeitern (MA), den Kollegen (KO) und den
Vorgesetzten (VG) mit den Ergebnissen der elf Kriterien im AC dar. Die
Hauptdiagonalen sind jeweils fett gedruckt. Die farbige Hervorhebung bzw.
Schattierung kennzeichnet die Dimensionen, zu denen die Kriterien gehören.

Die konvergenten Validitäten sind aus den Hauptdiagonalen abzulesen. Sie
geben an, wie hoch gleiche Dimensionen (z.B. Analysefähigkeit) über
verschiedene Beurteilungen (z.B. Vorgesetztenbeurteilungen) korrelieren.

Es zeigt sich, dass die konvergenten Validitäten zwischen den Gruppen der
270-Grad-Beurteilung und der AC-Beurteilung nicht signifikant sind.
                                                                               15



Ähnlich verhält es sich bei den Diskriminante Validitäten.

       ANAC GBAC POAC SVAC ZIAC ETAC EFAC KTAC TFAC KFAC ÜDAC
ANS
GBS
POS      r= -0,16
SVS
ZIS
ETS      r= -0.10       r= 0,12
EFS
KTS
TFS
         r= -0,06       r= 0,11       r= 0,11
KFS
ÜDS
ANMA
GBMA
        r= 0,18
POMA
SVMA
ZIMA
ETMA    r= 0.12        r= 0,03
EFMA
KTMA
TFMA    r= 0,12        r= 0,05       r= 0,04
KFMA
ÜDMA
ANKO
GBKO
POKO     r= -0,12
SVKO
ZIKO
ETKO     r= 0,11        r= 0,02
EFKO
KTKO
TFKO
         r= -0,14       r= -0,05      r= 0,01
KFKO
ÜDKO
ANVG
GBVG
         r= -0,03
POVG
SVVG
ZIVG
ETVG     r= -0.03       r= -0,07
EFVG
KTVG
TFVG     r= -0,06       r= -0,11      r= 0,05
KFVG
ÜDVG



Abbildung 4. Mittlere diskriminante Validitäten innerhalb der Dimensionen


Die obere Abbildung zeigt die mittleren diskriminanten Validitäten jeder
Dimension. Die mittleren diskriminanten Validitäten der Kriterien mit der
eigenen Dimension zeigen die grauen Felder. Es zeigt sich, dass die Kriterien
höhere diskriminante Validitätskoeffizienten mit anderen Dimensionen haben
(weiße und gelbe Felder), als mit der eigenen Dimension. Diese müssten aber
entsprechend den Vorgaben der MTMM-Validierung signifikant höher ausfallen
als die mittleren diskriminanten Validitäten der Kriterien mit den anderen
Dimensionen. Anhand der Grafik ist zu erkennen, dass die mittleren
diskriminanten Validitäten der AC-Beurteilung die höchsten Korrelationen haben
mit den Mitarbeiterbeurteilungen für die Dimension „Umgang mit Problemen“
(r=0,18). Für die anderen Dimensionen sind die mittleren diskriminanten
Validitäten für die Selbstbeurteilungen am höchsten („Antrieb“ r=0,12, „Umgang
mit Menschen“ r=0,11). Es zeigt sich allerdings, dass die mittleren Korrelationen
der Kriterien der 270-Grad-Beurteilung außerhalb der eigenen Dimension
erschreckend hoch sind. Während z. B. die Kriterien der Dimension „Umgang
mit Problemen“ mit den Kriterien der AC-Beurteilungen dieser Dimension im
                                                                               16



mittel zu r=0,18 korrelieren, sind die mittleren Korrelationen der
Mitarbeiterbeurteilung ebenfalls für die Kriterien der anderen beiden
Dimensionen mit den AC-Beurteilungen der Dimension „Umgang mit
Menschen“ fast entsprechend hoch („Antrieb“ r= 0,12, „Umgang mit Menschen“
r=0,12).

Vor diesem Hintergrund ist abzuleiten, dass die Voraussetzungen einer
effizienten MTMM-Validierung nicht erfüllt sind, da

 die konvergenten Validitäten nicht signifikant von Null verschieden sind,
 die diskriminanten Validitäten bei gleicher Methode nicht signifikant kleiner
  sind als die konvergenten Validitäten,
 die diskriminanten Validitäten bei verschiedenen Methoden nicht signifikant
  kleiner sind, als die konvergenten Validitäten und
 die diskriminanten Validitäten bei gleicher Methode nicht signifikant höher
  sind, als die diskriminanten Validitäten bei unterschiedlichen Methoden.


Die Hypothese muss aufgrund der MTMM-Validierung somit verworfen werden.
Um eine Absicherung dieser Ergebnisse vorzunehmen, wurden weitere
statistische Analysen herangezogen.


Kreuztabelle

Anhand von Kreuztabellen wurde der Vergleich zwischen den AC-Beurteilungen
und den Beurteilungen durch die Vorgesetzten, die Mitarbeiter und die Meister
vorgenommen. Insgesamt wurden vier Kreuztabellen für jede der hierarchi-
schen Gruppen der 270-Grad-Beurteilungen im Vergleich zu den AC-Ergebnis-
sen gerechnet. Die Daten wurden hierfür dichotomisiert, d.h. die Ergebnisse
wurden in zwei Gruppen aufgeteilt, nämlich in „Beurteilungen größer oder gleich
3“ und „Beurteilungen kleiner als 3 = erkennbar“.

Es zeigten sich jeweils nur in ungefähr einem Drittel der Fälle Übereinstim-
mungen zwischen den Beurteilungen des AC und den einzelnen Gruppen der
270-Grad-Beurteilungen. Näheres dazu kann Tabelle 7 entnommen werden.


Tabelle 7:            Anzahl der Übereinstimmungen zwischen AC-und 270-Grad-
                      Beurteilungen

Übereinstimmungen mit den AC-Ergebnissen

Selbstbeurteilung                10          33,3%

Mitarbeiterbeurteilung           10          33,3%

Kollegenbeurteilung              11          36,7%

Vorgesetztenbeurteilung          10          33,3%
                                                                                           17



Die Kreuztabellen zeigen somit auch keine signifikanten Ergebnisse, d.h. auch
mit diesem Verfahren lässt sich kein signifikanter Zusammenhang zwischen der
AC- und der 270-Grad-Beurteilung nachweisen.

Ferner wurden noch eine Regressionsanalyse durchgeführt und die kanoni-
schen Korrelationen berechnet, auf die an dieser Stelle aber nicht weiter ein-
gegangen werden soll, da die Ergebnisse nicht signifikant waren.

Damit bestätigen diese Ergebnisse nicht die Befunde bisheriger Untersuchun-
gen zur prognostischen Validität von Assessment Centern. Das Ziel dieser
Untersuchung, eine systematische Kovarianz zwischen der Vorhersage von
Berufserfolg durch die AC-Beurteilungen und einer Berufserfolgsmessung durch
die 270-Grad-Beurteilung nachzuweisen ist nicht erreicht. Die Ergebnisse
weisen darauf hin, dass es den Beurteilern nicht gelingt, eine differenzierte 270-
Grad-Einschätzung vorzunehmen.


Faktorenanalyse

Faktorenanalysen werden im Zusammenhang mit Korrelationsrechungen
eingesetzt, um zu überprüfen, in welchem Maße unterschiedliche Variablen
etwas Gemeinsames messen. In dieser Untersuchung sollte die Faktoren-
analyse aufzeigen, auf welche latenten Faktoren die Ergebnisse der einzelnen
Items zu reduzieren sind.

Bei einer Hauptachsen-Faktorenanalyse wurden die elf Untersuchungskriterien
einer Faktorenanalyse unterzogen. Es zeigte sich, dass nur ein Faktor
extrahiert wurde, der insgesamt 76,8 % der Gesamtvarianz aufklärt. Tabelle 8
zeigt den Eigenwerteverlauf der Daten.


Tabelle 8:    Eigenwerte der Faktorenanalyse



                                                   Summen von quadrierten Faktorladungen
                  Anfängliche Eigenwerte                      für Extraktion
  Faktor   Gesamt    % der Varianz Kumulierte %     Gesamt  % der Varianz Kumulierte %
  1          8,672         78,838         78,838      8,443        76,752         76,752
  2           ,438          3,985         82,822
  3           ,374          3,398         86,220
  4           ,305          2,772         88,992
  5           ,263          2,391         91,382
  6           ,246          2,240         93,622
  7           ,189          1,714         95,336
  8           ,165          1,501         96,837
  9           ,156          1,414         98,251
  10          ,112          1,017         99,268
  11     8,055E-02           ,732        100,000
                                                                                18



Alle Kriterien der Untersuchung haben dabei hohe Ladungen auf den
extrahierten Faktor. Entsprechend ist dieser Faktor als „Berufserfolg des
Meisters“ zu interpretieren. Die unterschiedlichen Dimensionen der
Untersuchung konnten allerdings nicht extrahiert werden. Die einzelnen
Ladungen der Kriterien auf den extrahierten Faktor können Tabelle 9
entnommen werden.


Tabelle 9:             Ladungen der Kriterien auf die Faktoren

             Faktor
               1
  AN            ,872
  GB            ,858
  PO            ,869
  SV            ,818
  ZI            ,866
  ET            ,910
  EF            ,918
  KT            ,840
  TF            ,895
  KF            ,880
  ÜD            ,905



Es ist zu vermuten, dass die Beurteiler nicht in der Lage waren, eine wirkliche
Differenzierung der Kriterien nachzuvollziehen. Möglicherweise spiegelt der
extrahierte Faktor die individuelle Vorstellung der Beurteiler über einen „guten“
Meister wieder.

Aufgrund des Ausschlusses der Teilnehmer ohne Empfehlung für die
Meisterlaufbahn entfiel die Kontrollgruppe. Dadurch war die Varianz stark
eingeschränkt. Eine Einbindung dieser Teilnehmergruppe wäre zur Absicherung
der internen Validität von großem Vorteil gewesen.

Zusammenfassen lässt sich sagen, dass die Prognosegüte des Assessment
Centers nicht abgesichert werden konnte. Gleichzeitig konnte nicht geklärt
werden, ob es überhaupt einen Zusammenhang zwischen dem Prädiktor und
dem Kriterium gibt.
                                                                              19



2.2. Ergebnisse der Hypothesen 2-4


Hypothese 2:
Die Übereinstimmung zwischen den AC-Ergebnissen und der Beurteilung durch
den Vorgesetzten ist größer, als die zwischen den AC-Ergebnissen und den
Beurteilungen der Mitarbeiter, Kollegen und der Meister selbst.


Die korrelativen Zusammenhänge zwischen den Beurteilungen durch das AC,
die Vorgesetzten, Kollegen, Mitarbeiter und die Meister selbst wurden anhand
einer Produkt-Moment-Korrelation errechnet. Dabei zeigten sich lediglich
signifikante Übereinstimmungen zwischen den Vorgesetzten- und
Mitarbeiterbeurteilungen. Allerdings fällt auf, dass die Korrelationen zwischen
den verschiedenen Gruppen der 270-Grad-Beurteilung sämtlich höher sind als
die Übereinstimmungen mit den AC-Prognosen. Details sind in Tabelle 9 zu
finden.


Tabelle 9: Produkt-Moment-Korrelation der Gesamtergebnisse der Gruppen

                    AC           Selbst       Mitarbeiter         Kollegen

Selbst              0,015

Mitarbeiter         0,153        0,154

Kollegen            -0,055       0,206        0,129

Vorgesetzte         -0,083       0,328        0,455*              0,225
* diese Korrelation ist signifikant auf einem -Niveau von 0,05



Die Hypothese 2 muss aufgrund der Ergebnisse zurückgewiesen werden. Es
ergeben sich keine signifikanten Unterschiede bezüglich der Höhe der
Korrelationskoeffizienten zwischen dem AC und den Beurteilungen durch die
Vorgesetzten, Mitarbeiter, Kollegen und die Meister selbst.

Eine mögliche Ursache könnte darin liegen, dass die Beurteiler des ACs
speziell geschult wurden und gelernt hatten, methodengeleitet zu arbeiten,
während die Teilnehmer der 270-Grad-Beurteilungen ihre Einschätzungen
vermutlich eher spontan treffen.

Der Faktorenanalyse nach zu schließen kann eine weitere Ursache die
mangelnde Differenzierungsfähigkeit der Beurteiler sein.
                                                                                20




Hypothese 3a:
Die 270-Grad-Beurteilung der Meister der technisch und fachlich orientierten
Bereiche fällt signifikant besser aus, als die 270-Grad-Beurteilung der Meister
aus Fachbereichen mit großen Arbeitsanteilen an der Mitarbeiterführung.



Hypothese 3b:
Die 270-Grad-Beurteilung der Meister mit großen Meisterschaften fällt für die
Kriterien der Dimension „Umgang mit Menschen“ signifikant besser aus, als die
270-Grad-Beurteilung der Meister mit kleinen Meisterschaften.



Hypothese 4:
Die Übereinstimmungen zwischen den Ergebnissen der verschiedenen
Fremdbeurteilern   der    270-Grad-Beurteilung  sind     höher,  als  die
Übereinstimmungen      zwischen   den    Selbstbeurteilungen    und  den
Fremdbeurteilungen.


Es zeigten sich keine konstanten signifikanten Effekte der Moderatorvariablen
auf die Dimensionen, d.h.
a) es gibt keine signifikanten Unterschiede in der Bewertung der Meister aus
unterschiedlichen Bereichen
b) die Meisterschaftsgröße hat keinen Einfluss auf die Beurteilungen
c) der Beurteilungstyp hat keine Auswirkung


VI. Zusammenfassung
M. Korth überprüfte mit Ihrer Untersuchung die Vorhersagegüte eines
Entwicklungs-ACs, welches zur Meisterauswahl in einem deutschen
Produktionsunternehme eingesetzt wird.
Die aktuelle Leistungsbeurteilung wurde anhand eines schriftlichen Verfahrens
im 270-Grad-Ansatz durchgeführt, welches auf dem Anforderungsprofil des
Assessment Centers beruhte.
Die Absicherung der Reliabilität des Fragebogens erfolgte anhand
verschiedener Gütekriterien.

Die Untersuchungstichprobe bestand aus Teilnehmern, die in den Jahren 1997
bis 1999 das AC mit einer positiven Empfehlung absolviert hatten.

Zur Erhebung der prognostischen Validität wurden die 270-Grad-Beurteilungen
der verschiedenen Beurteilergruppen (Mitarbeiter, Kollegen, Vorgesetzte und
Meister selbst) anhand einer Multitrait-Multimethod-Validierung verglichen.
                                                                              21



Im Mittelpunkt der Arbeit stand die Annahme potentieller Unterschiede
zwischen den unterschiedlichen hierarchischen Beurteilergruppen.

Die Ergebnisse zeigten jedoch keine bzw. nur geringe Korrelationen zwischen
den diversen Beurteilergruppen und den AC-Ergebnissen.

Vor dem Hintergrund dieser Untersuchung konnte die prognostische Validität
des untersuchten ACs nicht nachgewiesen werden.

				
DOCUMENT INFO
Shared By:
Categories:
Tags:
Stats:
views:18
posted:2/23/2012
language:German
pages:21