Schon seit einiger Zeit, insbesondere aber nach der konsequenten Durchsetzung des sozialversicherungsrechtlichen Verbots, Beschäftigte des Freistaats Bayern (§§ 611, 611a BGB) durch Werkverträge (§ 631 BGB) eine zusätzliche, über den Lohn hinausgehende Vergütung für Klausurkorrekturen zu gewähren, werden die Korrekturen von Klausuren im Examensklausurenkurs scharf kritisiert. Angesichts von rund 200 Klausuren pro Woche ist es schwierig, motivierte Personen zu finden, die freiwillig Ausarbeitungen von bis zu 20 getippten Seiten ausführlich würdigen und kommentieren. Oftmals beschränkt sich die Korrektur auf drei bis vier Randbemerkungen und einen abschließenden Satz sowie die Angabe der Note. Als Vorbereitung für die Klausuren in der Staatsprüfung ist dies nur eine begrenzte Hilfe. Zudem sind den Aufgabenstellerinnen und Aufgabenstellern bei der Durchsicht mitunter geradezu willkürliche Bewertungen aufgefallen - "8 Punkte" könnten auch "2 Punkte" oder "14 Punkte" sein. Selbst die Hoffnung, dass die Korrektur derjenigen im Examen entspricht, wird allenfalls im Ansatz erfüllbar, denn Korrekturassistenten korrigieren gerade nicht in der Staatsprüfung und haben oftmals (auch aus Zeitgründen) einen anderen Maßstab als Praktikerinnen/Praktiker und Professorinnen/Professoren.
Eine denkbare Verbesserung der Situation könnte der Einsatz von KI-Systemen bei der Korrektur bieten - die bereits ab dem kommenden Wintersemester 2026/2027 umsetzbare wäre. Im Rahmen eines umfangreichen Pilotversuchs wurden hierzu im Rahmen einer von Prof. Dr. Rafael Harnos gestellten Klausur im Examensklausurenkurs drei KI-Systeme einem Härtetest unterzogen: 150 Klausuren wurden nicht nur von einem menschlichen Korrekturassistenten, sondern zusätzlich durch alle drei Systeme kommentiert und bewertet.
Angetreten sind:
- Das von einem Team unter Leitung u.a. von Prof. Dr. Urs Kramer im Rahmen eines BMBF-Projekts und mit StMWK Förderung entwickelte "DeepWrite"
- Das privatwirtschaftlich angebotene System der "KlausurenKiste"
- Ein Prompt des Instituts für Rechtsdidaktik, das auf einem handelsüblichen Sprachmodell eingesetzt wurde.
Allen Systemen gemeinsam ist, dass sie sehr umfangreiches Feedback geben - sogar "zu umfangreiches", wie viele Studierenden zurückmeldeten. Bei der Bewertung waren sich die Systeme weitgehend einig - Abweichungen von mehr als drei Punkten gab es nicht. Ganz anders im Vergleich zu den menschlichen Korrekturen - hier gab es zwar überwiegend ebenfalls eine ähnliche Note, aber auch Abweichungen (im Extremfall um 8 Punkte). Die entsprechenden Klausuren werden von Professoren manuell durchgesehen, um die Ursache zu erforschen.
Neben statistischen Analysen und Vergleich einzelner Korrekturen suchen wir aber auch gezielt das Feedback unserer Studierenden - unter https://examen.jura.uni-passau.de/klausur/ki können Sie einige Beispiele für Korrekturen ansehen und (wichtiger) unter https://examen.jura.uni-passau.de/klausur/mcevaluation Ihre Meinung kundtun.
Der zweite Pilotversuch steht bereits kurz bevor - auch die Klausur von Dr. Carolin Maus wird durch eine KI bewertet, die auf Grundlage der Reaktionen auf den ersten Testverlauf auf Basis von Anthropic Claude neu entwickelt wurde. Zudem wurden KI-Werkzeuge entwickelt, um Lösungsskizzen um alternative Lösungswege zu verbessern und Rohpunkteschemata zu Klausuren entwickeln, wodurch die KI-Korrektur qualitativ aufgewertet wird.
Sollte die KI-Korrektur überzeugen, könnten die für Korrekturassistenten aufgewendeten Mittel stattdessen etwa im Institut für Rechtsdidaktik für eine neue Stelle eingesetzt werden, deren Aufgabe es wäre, in jedem Termin anhand von Stichproben die Qualität der Korrektur zu gewährleisten und das Korrekturprompt laufend zu verbessern. Eine entsprechende Entscheidung wird aber ausschließlich in Absprache mit den Studierenden getroffen.
