Forschungsinitiative ASCOT (2011-2015)

Die Forschungsinitiative ASCOT war das Vorgängerprogramm von ASCOT+. Die Projekte entwickelten Kompetenzmodelle und computerbasierte Kompetenzmessverfahren für sechs Berufe mit über 800 Testaufgaben und prüften diese an 12.000 Berufsschüler/-innen.

Forscherin am Bildschirm

In der Forschungsinitiative ASCOT entwickelten Wissenschaftler/-innen Kompetenzmodelle und -Messverfahren für sechs Ausbildungsberufe.

iStock / fizkes

ASCOT war eine 2011 gestartete und 2015 abgeschlossene Forschungsinitiative des Bundesministeriums für Bildung und Forschung (BMBF). Ihr Ziel war die Messung beruflicher Kompetenzen von Auszubildenden mit Hilfe computerbasierter Verfahren. Zu diesem Zweck entwickelten die geförderten Projekte Kompetenzmodelle und Messinstrumente für sechs Berufe aus drei Berufsfeldern. Auf ihnen und ihrem methodischen Ansatz baut die Forschungs- und Transferinitiative ASCOT+ auf.

Das Kompetenzkonzept von ASCOT berücksichtigte drei Kompetenzebenen: die berufsfachlichen (domänenspezifischen) Kompetenzen als Zentrum der Analyse, berufsspezifische soziale und kommunikative Kompetenzen sowie Problemlösungskompetenzen und schließlich allgemeine Kompetenzen wie Lese-, mathematische und naturwissenschaftliche Kompetenzen.

Die Projekte

Folgende Projekte waren an der Forschungsinitiative ASCOT beteiligt:

CoBaLIT

Das Verbundprojekt CoBALIT (Competencies in the Field of Business and Administration, Learning, Instruction, and Transition) verfolgte das Ziel, Kompetenzen zu beschreiben und zu messen, die im Rahmen der dualen Ausbildung zur Industriekauffrau/zum Industriekaufmann erworben werden. Dieser Ausbildungsberuf kann für den Bereich der kaufmännischen Berufsbildung als exemplarisch gelten.

Im Rahmen von Arbeitsplatz- und Literaturanalysen wurden typische berufliche Situationen identifiziert und notwendige Kompetenzen modelliert. Es ergaben sich drei zentrale Kompetenzbereiche, die sich inhaltlich abbilden und valide messen lassen: kaufmännische Literalität (mathematische Algorithmen und sprachliche Konzepte auf kaufmännische Situationen anwenden), Geschäftsprozesskompetenz (in kaufmännisch-beruflichen Situationen sachangemessen handeln) sowie Intrapreneurship-Kompetenz (in kaufmännisch-beruflichen Situationen unternehmerische Gelegenheiten wahrnehmen, Ideen entwickeln und umzusetzen).

Simulation ALUSIM

Testumgebung ALUSIM mit Aufgabe

Für die Messung der drei Kompetenzbereiche wurde die computerbasierte Testumgebung ALUSIM als mediale Unternehmenssimulation (weiter-)entwickelt. Darin bot der fiktive Betrieb ALUSIM GmbH als Hersteller von Aluminiumverpackungen den authentischen Rahmen für die Simulationen realer Tätigkeiten. Hiermit ließen sich die von den Auszubildenden zu bearbeitenden authentischen betrieblichen Aufgaben einschließlich der dafür notwendigen Handlungs-­ und Kommunikations­abläufe darstellen.

Die Testumgebung ALUSIM mit den in ASCOT entwickelten Testaufgaben wurde in 51 Schulen aus sieben Bundesländern bei insgesamt 2.187 Auszubildenden eingesetzt.

Im Ergebnis ist es gelungen, für die oben genannten Kompetenzbereiche Testaufgaben zu entwickeln, die zuverlässig messen und einen breiten Schwierigkeitsbereich abdecken. Ferner ist es auch gelungen, Aufgaben zu entwickeln, die für mehrere kaufmännische Berufe nutzbar wären. Insgesamt zeigen die Ergebnisse, dass die Mehrzahl der Auszubildenden am Ende ihrer Ausbildung über fundierte fachliche Kenntnisse verfügen. Sie sind in der Lage diese Geschäftsprozesskompetenz auch in konkreten beruflichen Situationen anzuwenden.

Projektbeteiligte:

  • Universität Paderborn, Prof. Dr. Esther Winther (Verbundkoordination)
  • SOFI Göttingen, Prof. Dr. Martin Baethge
  • Universität Göttingen, Prof. Dr. Susan Seeber
  • LMU München, Prof. Dr. Susanne Weber / Prof. Dr. Clemens Draxler

Weitere Kooperationspartner (finanziert vom Schweizer Bundesamt für Berufsbildung und Technologie):

  • Prof. Dr. Franz Eberle, Universität Zürich
  • Prof. Dr. Stephan Schumann, Universität Freiburg

CoSMed

Das Verbundprojekt CoSMed (Competence Measurement based on Simulations and adaptive Testing in Medical Settings) entwickelte ein Kompetenzmodell für Medizinische Fachangestellte und ein computerbasiertes, videogestütztes Testverfahren zur Messung der beruflichen Kompetenzen.

Das Projekt identifizierte drei Handlungsbereiche mit für Medizinische Fachangestellte typischen Denk- und Verhaltensweisen, aber auch unterschiedlichen kognitiven Anforderungen: Patientenversorgung, -begleitung und -betreuung einschließlich elementarer diagnostischer und medizinischer Leistungen, Labortätigkeiten und Aufgaben im Bereich des Hygienemanagements sowie verwaltungsbezogene Tätigkeiten. Die Bewältigung der Anforderungen dieser drei Bereiche erfordert neben Fachwissen auch die Interaktion mit Anderen. Daher wurden auch sozial-kommunikative Kompetenzen untersucht.

Videobasierte Simulation

Aufgabe aus dem videogestützten Test

Das Projekt entwickelte ein Testverfahren mit fünf Komponenten: einen adaptiven Test zur Erfassung des beruflichen Fachwissens, einen videogestützten Test zur Messung beruflicher Handlungskompetenzen, einen videogestützten Test zur Erfassung sozial-kommunikativer Kompetenzen, einen Kontextfragebogen zu biografischen Merkmalen und wahrgenommenen Merkmalen der betrieblichen und schulischen Ausbildungsbedingungen sowie einen adaptiven Test zur Messung mathematischer, naturwissenschaftlicher und lesebezogener Kompetenzen. Der video- und simulationsbasierte Test war als virtuelle Arztpraxis mit verschiedenen Akteuren gestaltet.

Die Hauptstudie zur Messung der berufsfachlichen Kompetenzen wurde in acht Bundesländern mit 1.155 Schülern aus 37 Schulen durchgeführt. Am Testmodul der sozial-kommunikativen Kompetenzen nahmen zusätzlich 901 Auszubildende teil.

Die Auswertung der Daten zeigte, dass das Testinstrument die im Kompetenzmodell angenommenen drei Dimensionen abbildet und Aussagen zu den Kompetenzen der Jugendlichen ermöglicht. Beim erreichten Kompetenzniveau wurde deutlich, dass die Testteilnehmenden die curricularen und in der beruflichen Praxis artikulierten und beobachteten Anforderungen am Ende der Ausbildung nur bedingt erreichten. Daraus ließen sich Folgerungen für die Gestaltung von Lern- und Ausbildungsprozessen ziehen.

Projektbeteiligte:

  • Universität Göttingen, Prof. Dr. Susan Seeber (Verbundkoordination), Prof. Dr. Matthias Schumann (Anwendungssysteme und E-Business)
  • Bundesinstitut für Berufsbildung (BIBB), Dr. Agnes Dietzen
  • Technische Universität Darmstadt, Prof. Dr. Birgit Ziegler
  • Universität Jena, Prof. Dr. Andreas Frey

DomPL-IK

Das Verbundprojekt DomPL-IK (Domänenspezifische Problemlösekompetenz bei Industriekaufleuten) hatte das Ziel, ein valides computerbasiertes Testverfahren zu schaffen, mit dem die domänenspezifische Problemlösekompetenz angehender Industriekaufleute erfasst werden kann. Als exemplarisches Entscheidungs- und Tätigkeitsfeld wurde Controlling ausgewählt. Hier nahm das Projekt sprach- und zahlenbasierte Steuerungs- und Entscheidungsaufgaben im mittleren Management in den Blick.

Bei der Kompetenzmodellierung wurden auch nicht-kognitive Facetten berücksichtigt und insgesamt vier Kompetenzdimensionen unterschieden: Wissensanwendung, Handlungsregulation, Selbstkonzept und Interesse. Das Projekt entwickelte drei authentische und praxisrelevante Problemszenarien: Abweichungsanalyse, Lieferantenauswahl (Nutzwertanalyse) und Eigenfertigung vs. Fremdbezug. In allen Szenarien mussten Handlungsbedarfe und Informationsquellen identifiziert, Informationen geprüft und verarbeitet, begründete Entscheidungen getroffen und diese Entscheidungen kommuniziert werden. Für die Erfassung nicht-kognitiver Facetten wurde die Methode der „eingebetteten Erlebensstichproben“ (EES) entwickelt.

Screenshot der Bürosimulation

Screenshot der Bürosimulation

Die Tests wurden in der TeBaDoSLA-Testumgebung (Technology-Based Domain-Specific Learning Assessment) der Universität Bremen umgesetzt, einer Bürosimulation, die berufstypische Werkzeuge wie eine Tabellenkalkulation und Informationsmaterialien bereitstellte und ein freies Navigieren innerhalb der je 30-minütigen Problemszenarien erlaubte.

Die Hauptstudie wurde mit 786 Probandinnen und Probanden durchgeführt. Das Ergebnis war: Das entwickelte Kompetenzmodell bot eine gute Grundlage zur Beschreibung und Analyse von Problemlösekompetenzen. Es war domänenspezifisch für Industriekaufleute gefasst, aber so offen angelegt, dass es auch auf andere Berufe übertragen werden kann. Sowohl das domänenspezifische Vorwissen als auch die Qualität der Problemlösungen streuten breit zwischen den Auszubildenden. Die entwickelte Testumgebung war einfach zu bedienen und Probandinnen und Probanden schätzten die Umsetzung der Szenarien als realistisch ein. Auszubildende, Lehrkräfte und Ausbildungsverantwortliche stellten heraus, die Plattform gerne zu Lernzwecken nutzen zu wollen.

Projektbeteiligte:

  • Universität Bamberg, Prof. Dr. Detlef Sembill / Dr. Andreas Rausch (Verbundkoordination)
  • Universität Mannheim, Prof. Dr. Jürgen Seifried
  • Universität Bremen, Prof. Dr. Karsten Wolf
  • Universität Frankfurt, Prof. Dr. Eveline Wuttke
  • DIPF, Dr. Thomas Martens

KOKO EA

Ziel des Verbundprojektes KOKO EA (Berufsfachliche Kompetenzen von Elektronikerinnen und Elektronikern für Automatisierungstechnik) war es, für den Beruf des Elektronikers für Automatisierungstechnik ein empirisch geprüftes Kompetenzmodell zur beruflichen Kompetenz am Ende der Ausbildung  sowie hochwertige, technologiebasierte Instrumente zu deren Erfassung bereitzustellen.

Zentrale Anforderungsbereiche des Berufes sind das Erstellen, Erweitern, Anpassen, Verbessern und Optimieren von automatisierungstechnischen Anlagen und entsprechenden Steuerungsprogrammen. Besonders wichtig sind Aufgaben im Bereich der Programmänderung bzw. der eigenständigen Neuprogrammierung von speicherprogrammierbaren Steuerungen und Fehlerdiagnosen in einschlägigen Anlagen. Von Interesse war auch, welche Kompetenzniveaus die Auszubildenden erreichen und ob Abweichungen zwischen den curricularen Anforderungen und den tatsächlich erreichten Kompetenzen auftreten. Analysiert wurde darüber hinaus am Beispiel des Fachwissens, welche Beiträge Schule und Betrieb für den Aufbau des Fachwissens erbringen.

Innerhalb des Projekts wurden drei Tests zur technologiebasierten Erfassung berufsfachlicher Kompetenzen entwickelt und validiert: ein Fachwissenstest, ein Test zur Erfassung der analytischen Problemlösekompetenz und ein Test zur Erfassung der konstruktiven Problemlösekompetenz. Die in den Tests eingeforderten Leistungen wurden mit Expertinnen und Experten aus Betrieben, Schulen und der Prüfungspraxis abgestimmt.

Computersimulation zur Erfassung der analytischen Problemlösekompetenz

Computersimulation zur Erfassung der analytischen Problemlösekompetenz

In die Tests zum Fachwissen wurden 33 Schulen aus neun Bundesländern mit 1.011 Probanden einbezogen. Das Fachwissen setzt sich zusammen aus elektrotechnischen Grundlagen, elektrischer Energietechnik und Automatisierungstechnik. Die Messgenauigkeit des Fachwissenstests erreichte gute bis befriedigende Werte. Die vorgenommenen Niveaumodellierungen dokumentieren, dass die größten Anteile der Auszubildenden auf den beiden unteren Kompetenzstufen verortet sind. Als besonders herausfordernd erwiesen sich Aufgaben im Bereich der Automatisierungstechnik. Analysen zu den Einflüssen der schulischen und betrieblichen Lerngelegenheiten zeigten, dass curriculare Schwerpunktsetzungen größere Anteile des Fachwissens erklären als andere Qualitätsmerkmale der Ausbildung.

Die Teilstudien zur analytischen und konstruktiven Problemlösekompetenz wurden mit jeweils ca. 300 Auszubildenden durchgeführt. Die entwickelten Instrumente erwiesen sich als valide und im Hinblick auf die Messgenauigkeit als gut bis zufriedenstellend. Im Falle der analytischen Problemlösekompetenz, die über die Fähigkeit erfasst wurde, in einem Automatisierungssystem Fehler zu diagnostizieren, erwies sich die eingesetzte Simulationsanlage als genauso geeignet wie eine reale Modellanlage. Zugleich zeigen die Analysen für die konstruktive Problemlösekompetenz, die über die Fähigkeit Automatisierungssysteme zu programmieren erfasst wurde, dass diese Kompetenzfacette mit Papier- und Bleistifttests gleichwertig wie in realen Programmierumgebungen gemessen werden kann. Das Fachwissen erweist sich als starkes Erklärungsmoment für die analytische und konstruktive fachliche Problemlösekompetenz.

Projektbeteiligte:

  • Universität Stuttgart, Prof. Dr. Reinhold Nickolaus (Verbundkoordination)
  • Pädagogische Hochschule Ludwigsburg, Prof. Dr. Bernd Geißel
  • Elektro Technologie Zentrum (etz) der Innung für Elektro- und Informationstechnik Stuttgart, Dr. Jürgen Jarosc

KOKO Kfz

Ziel des Projektes KOKO Kfz (Berufsfachliche Kompetenzen von Kfz­-Mechatronikern) war, für den Ausbildungsberuf des Kfz-Mechatronikers ein empirisch geprüftes Modell zur Fachkompetenz und hochwertige Instrumente zu deren Erfassung am Ende der Ausbildung bereitzustellen.

Aufbauend auf Vorarbeiten zur Erfassung des Fachwissens und der Fehlerdiagnosekompetenz wurden die vorhandenen Tests weiterentwickelt und ergänzend Tests zur Erfassung der Service- und Reparaturkompetenzen entwickelt.

Sämtliche Entwicklungen erfolgten in enger Abstimmung mit Experten aus der Praxis (Schule, Betrieb, Prüfungsverantwortlichen) so, dass typische Anforderungen abgebildet wurden. Insgesamt wurden in die Datenerhebungen 918 Auszubildende aus vier Bundesländern eingebunden. Für eine kleinere Stichprobe wurden ergänzend auch Tests zur Erfassung von Basiskompetenzen und der betrieblichen Ausbildungsqualität in Kooperation mit anderen Projekten innerhalb des Forschungsprogramms eingesetzt.

Screenshot aus der Kfz-Computersimulation

Screenshot aus der Kfz-Computersimulation

Der computerbasierte Test zur Erfassung der Fehlerdiagnosekompetenzen wurde erweitert um Fehlerfälle in den Bereichen Motormanagement, Beleuchtung und Fahrwerk. Die authentische Simulation des Fahrzeugs und der Diagnoseinstrumente erwies sich als hoch valide und führte zu gleichen Ergebnissen wie die Kompetenzerfassung am realen Kraftfahrzeug.

Der Fachwissenstest (Papier- und Bleistifttest) wurde weiter optimiert und erwies sich als reliabel. Der Einsatz dieses Tests bei den Auszubildenden ergab, dass die erfassten Leistungen breit streuen und ein substantieller Anteil der Auszubildenden die in den Curricula ausgewiesenen Lernziele nicht erreicht.

Der Test zur Erfassung der Reparaturkompetenz wurde mit videobasierten Arbeitsaufträgen gestaltet und erwies sich zur Erfassung des Handlungswissens als objektiv und reliabel.

In Analysen zu Zusammenhängen zwischen Fachwissen und Kompetenzen stellte sich das Fachwissen als mächtiger Einflussfaktor für die berufsfachlichen Problemlöseleistungen heraus.

Projektbeteiligte:

  • Universität Stuttgart, Leitung Prof. Dr. Reinhold Nickolaus (Einzelvorhaben); Mitarbeiter und Mitarbeiterinnen mit Leitungsaufgaben für Projektteile: Dr. Stephan Abele und Dr. Tobias Gschwendtner

TEMA

Das Verbundprojekt TEMA (Entwicklung und Erprobung von technologieorientierten Messinstrumenten zur Feststellung der beruflichen Handlungskompetenz in der Pflege älterer Menschen) entwickelte ein computerbasiertes, valides Erhebungsinstrument zur Kompetenzmessung in der Altenpflege am Ende der Ausbildung.

Das Projekt erfasste die Kompetenzanforderungen des Berufsbildes und erstellte ein Kompetenzmodell der pflegerischen Fachkompetenz. Das Kompetenzmodell enthält die drei Teilkompetenzen des abzubildenden klientenbezogenen Kompetenzbereiches, nämlich diagnostisch-reflexive, praktisch-technische und interaktiv-kommunikative Kompetenz. Spezifische Anforderungen an das kompetente Handeln sind eine kontextualisierte, stark situativ-fallbezogene Ausrichtung, pflegeprozessuales Geschehen sowie sozial-kommunikative und emotionsbezogene Aspekte des Pflegehandelns.

Auf Basis des Kompetenzmodells wurde ein Testverfahren erstellt, mit dem am Computer berufstypische Handlungssituationen dargestellt werden können. Das computerbasierte Testverfahren bot die Möglichkeit, Aufgaben mit hoher Authentizität zu entwickeln. So konnten komplexe und realitätsnahe berufliche Handlungssituationen mit unmittelbaren Handlungssaufforderungen generiert und videografisch umgesetzt werden.

Testumgebung aus TEMA

Aufgabe aus dem computerbasierten Testverfahren

Die Simulation wurde mit 402 Pflegeschülerinnen und -schülern getestet. Eine zentrale Herausforderung bei der Entwicklung des computerbasierten Testverfahrens war, die beruflichen Handlungssituationen in videografisch dargestellte Pflegesituationen umzusetzen. Fachleute und Auszubildende bestätigten die hohe Validität der Abbildung beruflicher Handlungssituationen und die Kongruenz zwischen Videoanreiz und Testaufgaben.

Weitere Herausforderungen für das Testverfahren bestanden in einfacher Bedienbarkeit, einer guten Orientierung sowie Testsicherheit angesichts unterschiedlicher Computeraffinität der Nutzerinnen und Nutzer und einem anspruchsvollen Testsetting. Auch hier bestätigten die empirischen Begleituntersuchungen wie auch die Analyse der Testleistungen eine hohe Praktikabilität des Testverfahrens.

Zusammenfassend zeigte sich, dass mit dem entwickelten Testverfahren der fokussierte unmittelbar klientenbezogene Kompetenzbereich zuverlässig abgebildet werden kann. Zentrale Aspekte des theoretischen Kompetenzmodells und des Messverfahrens sind auch auf die Gesundheits- und Krankenpflege übertragbar.

Projektbeteiligte:

  • Forschungsinstitut Betriebliche Bildung (f-bb) gGmbH, Dr. Ottmar Döring (Verbundkoordination)
  • Universität Bamberg, Prof. Dr. Eveline Wittmann
  • DIPF, Prof. Dr. Johannes Hartig
  • Fachhochschule Bielefeld, Prof. Dr. Ulrike Weyland, Prof. Dr. med. Annette Nauerth

MaK-adapt

Das Querschnittsprojekt MaK-adapt (Messung allgemeiner Kompetenzen – adaptiv) entwickelte drei computerbasierte adaptive Testverfahren, mit denen allgemeine Kompetenzen in Mathematik, Naturwissenschaften und Lesen gemessen werden können. Diese wurden den anderen ASCOT-Projekten zur Verfügung gestellt, um Zusammenhänge zwischen beruflichen Fachkompetenzen und allgemeinen Kompetenzen untersuchen zu können. Die Mitarbeiterinnen und Mitarbeiter konnten bei der Erstellung der Tests auf bestehendes Aufgabenmaterial zurückgreifen.

Im Ergebnis konnten die ASCOT-Projekte mit den bereitgestellten Testverfahren allgemeine Kompetenzen auf hocheffiziente Weise webbasiert messen, um sie für inhaltliche Auswertungen nutzen zu können. Der Ansatz des computerisierten adaptiven Testens war im Bereich der beruflichen Ausbildung neu und ermöglichte erstmals eine schnelle, hocheffiziente Messung allgemeiner Kompetenzen.

Die drei unabhängig voneinander einsetzbaren, computerisierten, adaptiven Instrumente stehen in einer Offlineversion auch künftig für Forschung und Lehre zur Verfügung.

Die in der Pilotierungsstudie und in den Projekten ermittelten Kompetenzwerte (Stichprobengrößen: N = 1.958 für Mathematik, N = 555 für Naturwissenschaften, N = 2.280 für Lesen) wurden in Referenztabellen zusammengestellt, die einen Vergleich künftiger Messergebnisse erlauben.

Projektbeteiligte:

  • Uni Göttingen, Prof. Dr. Susan Seeber
  • Uni Jena, Prof. Dr. Andreas Frey
  • Uni Darmstadt, Prof. Dr. Birgit Ziegler

SiKoFak

Das Querschnittsprojekt SiKoFak (Ausbildungsqualität und Kompetenzmessung – Systemische und individuelle Kontextfaktoren) entwickelte ein Analyseinstrument, um Ausbildungsqualität und individuelle Faktoren von Auszubildenden empirisch erfassen zu können. Damit sollte es für die berufsspezifischen ASCOT-Projekte möglich sein, Zusammenhänge festzustellen zwischen gemessenen beruflichen Kompetenzen, betrieblicher und schulischer Ausbildungsqualität und individuellen Ausbildungsvoraussetzungen und -interessen.

Das erstellte Modell unterschied bei den institutionellen Faktoren Betrieb und Berufsschule zwischen im Hintergrund wirkenden strukturellen Merkmalen der Ausbildungsorganisation und unmittelbar wirkenden Prozessmerkmalen der Ausbildungsqualität. Bei den individuellen sozialen Kontextfaktoren wurde unterschieden zwischen indirekt wirkenden Ressourcen der sozialen Herkunft und der Bildungs- und Erwerbsbiografie sowie den unmittelbar im Prozess wirkenden Ausbildungsdispositionen wie Lernmotivation und berufliche Identifikation. Die Kontext- und Qualitätserfassung geschah über die Wahrnehmung der Auszubildenden mit Hilfe eines voll standardisierten Fragebogens.

Im Ergebnis lag ein Erhebungsinstrument für institutionelle und individuelle Einflussfaktoren beruflicher Kompetenzen von hoher Validität und Reliabilität vor. Es ließen sich damit eindeutige Zusammenhänge zwischen erworbenem Kompetenzniveau und betrieblicher Ausbildungsqualität zeigen. Mit dem Analyseinstrument soll es für Betriebe, Berufsschulen und Prüfungsinstanzen möglich sein, Ansatzpunkte zur Verbesserung von Ausbildungsqualität zu finden.

Projektbeteiligte:

  • SOFI Göttingen, Martin Baethge

Die Messinstrumente

Um die beruflichen Kompetenzen von Auszubildenden umfassend und realitätsnah erfassen zu können, entwickelten die Projekte Messinstrumente, die berufliche Arbeits- und Geschäftsprozesse möglichst authentisch abbilden. Die Messinstrumente wurden zumeist als Computersimulationen mit Testaufgaben gestaltet, die zentrale Ausschnitte der beruflichen Praxis widerspiegeln und von Auszubildenden das Denken in Abläufen und Zusammenhängen erfordern. Zum Einsatz kamen aber auch Papier-und-Bleistift-Tests („Paper-pencil“). Insgesamt wurden über 800 Testaufgaben – hiervon 560 computerbasierte – neu entwickelt.

Die Aufgaben orientierten sich eng an den realen beruflichen Gegebenheiten, aber auch an curricularen Rahmenbedingungen. Praxisvertreter aus Schulen und Unternehmen bestätigten, dass mit den in ASCOT entwickelten Verfahren konkrete Kompetenzerwerbsprozesse authentisch abgebildet werden konnten. Die Aufgaben erlaubten Urteile und Reflexionen, stellten auf Handlungen und auf das grundlegende Verstehen der Handlungen ab.

Die entwickelten computerbasierten Messverfahren ermöglichen es, verschiedene Arbeitssituationen unterschiedlich schwierig zu simulieren. Auch ließen sich damit Interaktionen sowie Transferleistungen der Probanden abbilden. Es zeigte sich, dass computerbasierte Testformate und -abläufe die Objektivität der Testverfahren steigerten, da sie den Einfluss von Testleitung und Testumgebung verringern. Zudem steigerten multimediale und interaktive Anreize die Testmotivation der Auszubildenden (z.B. Video, Animation, authentische Simulation von Arbeitsmitteln).

Die Erhebungen

An der empirischen Überprüfung der Instrumente waren über 12.000 Berufsschülerinnen und -schüler aus 13 Bundesländern und rund 300 Schulen beteiligt. Die befragten Schülerinnen und Schüler befanden sich überwiegend am Ende ihrer Berufsausbildung. Die Prüfdauer variierte von 140 bis zu 240 Minuten.

Die Ergebnisse

Die Projektergebnisse zeigen, dass es mit den entwickelten Verfahren sehr gut möglich ist, große Ausschnitte beruflicher Handlungskompetenz in den ausgewählten Berufen abzubilden. Dies gilt sowohl für berufsspezifische Kompetenzen, wie Rechnungswesen für Industriekaufleute, wie auch für berufsübergreifende Kompetenzen, wie etwa kaufmännische Mathematik. Alle Projekte erfassten zudem einheitlich berufliche Grundqualifikationen (mathematische, naturwissenschaftliche und Lesekompetenzen) sowie übergreifende Merkmale von Ausbildungsqualitäten (soziale und regionale Kontextfaktoren, Lernmotivation), um Kompetenzausprägungen erklären zu können. Damit liegen valide und erprobte Testverfahren zur Feststellung von Kompetenzen in den Ausbildungsgängen vor.

Aus den Arbeiten in ASCOT sind zudem vielfältige, teils hochkarätige wissenschaftliche Artikel und Vorträge bei nationalen und internationalen Fachtagungen hervorgegangen, die die nationale wie internationale Berufsbildungsforschung bereichern.