So haben wir getestet

Alle Schritte der Studie „Der Ehrliche ist der Dumme?“ im Detail: wie die Lebensläufe entstanden sind, wie das KI-Modell entschieden hat und was wir zur Kontrolle geprüft haben.

1Die Frage

Wenn eine KI die erste Auswahl unter Bewerbern trifft: Lädt sie den besser qualifizierten Bewerber ein, oder den mit dem besser formulierten Lebenslauf? Und was ändert sich, wenn einer der beiden seinen Lebenslauf von einer KI überarbeiten lässt?

Um das zu messen, muss feststehen, wer wirklich der Bessere ist. Bei echten Bewerbungen weiß das niemand sicher. Deshalb und aus Datenschutzgründen haben wir keine echten Bewerbungen verwendet, sondern Testlebensläufe erstellt, deren Qualifikation wir genau kennen.

2Die Bewerber

Wir haben 50 Bewerberprofile für ein Praktikum in der Softwareentwicklung erzeugt. Die Stelle passt zum Bewertungsschema von HackerRank, das für genau solche Bewerbungen gebaut ist (siehe Schritt 3). Die Profile stammen aus einem Zufallsgenerator mit festem Startwert, nicht aus einem KI-Modell. Wer denselben Startwert nutzt, erhält genau dieselben 50 Profile.

• Fünf Qualifikationsstufen: unterdurchschnittlich, durchschnittlich, solide, stark und herausragend. Unqualifizierte Bewerber gibt es bewusst nicht.
• Nur Fakten: Studium und Studienjahr, Kurse, Programmiersprachen, Werkzeuge, eigene Projekte, Beiträge zu Open-Source-Projekten.
• Ein Qualitätswert von 0 bis 100 fasst diese Fakten zusammen. Die Formel haben wir vorab festgelegt. Er ist unsere eigene Messgröße und dient nur dazu, Paare zu bilden und den Unterschied zwischen zwei Bewerbern zu beschreiben.

3Zwei Fassungen je Bewerber

Für jedes Profil hat ein KI-Modell zwei englische Lebensläufe geschrieben, aus denselben Fakten:

• Der einfache Lebenslauf: Das Modell kannte nur die Fakten und sollte daraus einen Lebenslauf schreiben, ohne auf bestimmte Kriterien zu achten.
• Der KI-optimierte Lebenslauf: Das Modell kannte zusätzlich das öffentlich zugängliche Bewertungsschema von HackerRank und sollte den Lebenslauf darauf zuschneiden. Neue Angaben waren ausdrücklich verboten.

4Kontrolle auf Erfundenes

Jeder Lebenslauf wurde in einem eigenen Prüfschritt Satz für Satz mit den Fakten verglichen. Jede Aussage, die die Fakten nicht hergeben, wurde markiert:

• Erfundene, überprüfbare Angaben, etwa eine Software, mit der die Person nie gearbeitet hat: Das kam bei 7 der 50 KI-optimierten Lebensläufe vor, bei den einfachen bei keinem. Diese 7 Bewerber haben wir komplett aus dem Test genommen.
• Ausschmückungen ohne neue Fakten, etwa „im laufenden Betrieb eingesetzt“: Die sind erlaubt geblieben. Genau das ist der Unterschied, den die Studie misst.

5Die Paare

Aus den 43 verbleibenden Bewerbern haben wir 40 Paare gebildet. Jeder Bewerber kommt in höchstens zwei Paaren vor. Die Paare sind bewusst so gewählt, dass die beiden meist ähnlich gut sind, weil das bei echten Stellen am Ende der Normalfall ist.

6Die Auswahl

Die Entscheidung traf ein gängiges, günstiges KI-Modell: Claude Haiku 4.5 von Anthropic. Die Aufgabe lautete sinngemäß: „Es gibt einen Praktikumsplatz und zwei Bewerbungen. Wähle eine Person für das Vorstellungsgespräch. Beide oder keiner ist nicht möglich.“ Dazu eine Begründung in höchstens 20 Wörtern.

• Keine Bewertungskriterien vorgegeben. Das KI-Modell kannte die Kriterien nicht, auf die der KI-optimierte Lebenslauf zugeschnitten war.
• Jede Entscheidung einzeln. Jeder der 240 Durchläufe startete neu, ohne Erinnerung an frühere Entscheidungen.
• Beide Reihenfolgen. Jedes Paar wurde zweimal vorgelegt, einmal mit dem einen, einmal mit dem anderen Bewerber zuerst.
• Verblindet. Die Dateinamen verrieten weder die Fassung noch, wer der Bessere ist.

7Drei Durchgänge

Im direkten Vergleich mit dem ersten Durchgang kippten 42 von 80 Entscheidungen zugunsten des Schwächeren, eine einzige kippte in die andere Richtung. Zählt man nur ganze Paare, sind es 25 von 40 Paaren, keines in die Gegenrichtung.

8Zweiter Test: Bewertung nach Punkten

Zusätzlich hat ein KI-Modell jeden Lebenslauf einzeln nach dem Bewertungsschema von HackerRank mit 0 bis 120 Punkten bewertet, einmal die einfache, einmal die KI-optimierte Fassung derselben Person. Das betraf die 43 Bewerber ohne erfundene Angaben, jeder Lebenslauf wurde dreimal bewertet, gezählt hat der mittlere Wert. Getestet mit zwei Modellen: Claude Haiku 4.5 und Claude Opus 5.

• Mehr Punkte für dieselbe Person: im Schnitt +11,3 Punkte bei Haiku, +5,8 bei Opus. Bei rund 9 von 10 Bewerbern stieg die Bewertung.
• Wer am meisten gewinnt: Bewerber, die die meisten Anforderungen erfüllen, also gut, aber nicht herausragend sind: +18,8 Punkte bei Haiku. Der Vorsprung der nächstbesseren Stufe schrumpft damit von 24 auf 6 Punkte. Die schwächsten und die stärksten Bewerber gewinnen kaum etwas (+2,5 und +2,0).
• Wo die Optimierung wirkt: vor allem bei Projekten und Open-Source-Beiträgen (je +3,7 Punkte), kaum bei aufzählbaren Kenntnissen (+0,6).
• Gemischtes Feld: Optimiert die Hälfte der Bewerber, stellen sie bei Haiku 66,6 Prozent der Bewerber mit den höchsten Punktzahlen, bei Opus 54,9 Prozent.
• Die Rangfolge bleibt erhalten, wenn alle optimieren: Die Punkte folgen dann weiterhin der echten Qualifikation.

9Was wir zur Kontrolle geprüft haben

• Zufall: Der Unterschied zwischen dem ersten und dem zweiten Durchgang ist statistisch eindeutig (gepaarter exakter Test, Irrtumswahrscheinlichkeit weit unter 0,1 Prozent).
• Reihenfolge: Das KI-Modell wählte den zuerst gezeigten Bewerber in 116 von 240 Fällen (48 Prozent), bevorzugte also keine Position.
• Länge: KI-optimierte Lebensläufe sind etwa doppelt so lang (rund 390 statt 200 Wörter). Sind beide KI-optimiert, wird trotzdem wieder der Bessere gewählt. Die Länge allein erklärt das Ergebnis also nicht.
• Mehrfach verwendete Bewerber: Mit 18 Paaren, in denen jeder Bewerber nur einmal vorkommt, ergibt sich dasselbe Bild (20 von 36 Entscheidungen gekippt).
• Wiederholung: Ein zweiter Lauf mit 120 Entscheidungen und anderen Paaren zeigte dasselbe Muster.

10Was die Studie nicht zeigt

• Getestet wurde ein einzelnes KI-Modell, keine Recruiting-Software, wie Firmen sie einsetzen. Andere Modelle und Programme können anders entscheiden.
• Die Lebensläufe sind Testlebensläufe, englisch und für eine einzige Stelle. Andere Berufe und deutsche Lebensläufe haben wir noch nicht getestet.
• Die Paare sind bewusst ähnlich gut gewählt. Die Zahlen sind deshalb keine Quote für alle Bewerbungen.
• Wie viele Firmen eine KI vorsortieren lassen, haben wir nicht untersucht.
• Name, Geschlecht und Herkunft: In kleinen Zusatztests änderte ein anderer Name (Herkunft) keine von 12 Entscheidungen, ein anderes Geschlecht eine von 6. Eine große Benachteiligung hätten wir gesehen, eine kleine können wir nicht ausschließen.

11Daten und Kontakt

Durchgeführt im Juli 2026 von Sprad, Wien. Alle 240 Entscheidungen samt Begründung des KI-Modells, die Profile und beide Lebenslauf-Fassungen liegen vor und können für journalistische oder wissenschaftliche Zwecke angefragt werden: [email protected].

← Zurück zur Studie