Ohne Tricks funktioniert
das Screening. Bis eine Seite
ein Tool kauft.
Wir haben 240 Screening-Entscheidungen im direkten Vergleich zweier Kandidaten durchgespielt. Bei ehrlichen Lebensläufen wählte der Screener in 85 Prozent der Fälle den objektiv stärkeren. Nachdem der schwächere Kandidat seinen Lebenslauf durch ein KI-Tool geschickt hatte, gewann er zwei von drei Entscheidungen, die er zuvor zu Recht verloren hatte.
80 erzwungene Entscheidungen pro Bedingung. Die mittlere Zeile ist die ganze Geschichte: Das Ranking bricht nicht zusammen, weil es das Tool gibt, es bricht zusammen, weil nur eine Seite es hat. Geben Sie beiden dasselbe Tool, und das Ranking kehrt zurück — 86 Prozent, statistisch nicht von der ehrlichen Basislinie zu unterscheiden.
Ein Interview-Slot.
Zwei Lebensläufe. Ihre Wahl.
Wer Lebensläufe einzeln bewertet, geht im Rauschen unter: Unterschiede von wenigen Punkten lassen sich nicht von der Streuung zwischen Durchläufen unterscheiden. Eine erzwungene Wahl zwischen zwei Kandidaten kennt dieses Rauschen nicht. Deshalb reichen hier 40 Paare, wo Scoring-Studien Tausende brauchen.
Jedes Profil wurde aus einer geschriebenen Spezifikation generiert, wer stärker ist, ist also eine Eigenschaft der Daten, nicht die Meinung eines Modells. Die Paare überspannen Qualitätsunterschiede von 1 bis 47 Punkten auf dem eigenen Index der Studie.
Der Optimierer durfte umformulieren, umstrukturieren, Keywords spiegeln und bereits vorhandene Erfolge quantifizieren. Neue Arbeitgeber, Jahre, Zertifikate oder Skills waren verboten. Die sieben Profile, deren optimierte Version Fakten erfand, wurden vor dem Durchlauf aussortiert.
Jedes Paar wurde einem separaten Beurteilungs-Agenten in beiden Sitzpositionen vorgelegt, ein Urteil pro Agent, Reihenfolge der Durchläufe zufällig gemischt. Kein Agent sah je zwei Durchläufe, sodass nichts fallübergreifend verglichen werden konnte.
Gleiche Person, gleiche Fakten,
gegenteiliges Ergebnis.
Die ehrliche Bedingung ist keine Formalität, sie ist die tragende Kontrolle: Ohne den Nachweis, dass der Screener richtig liegt, wenn niemand schummelt, wäre alles andere hier bedeutungslos. Dann haben wir genau eine Sache geändert — der Lebenslauf des schwächeren Kandidaten lief durch das Tool.
Gepaart gegen die Kontrolle: p = 1 × 10−11 auf Entscheidungsebene, 6 × 10−8 auf Paarebene.
Und es übersteht den strengsten Schnitt. Bei 18 Paaren, so gebaut, dass jedes Profil genau einmal vorkommt — 108 weitere Urteile, kein Profil wiederverwendet — kippen 20 von 36 Entscheidungen, p = 1,9 × 10−6. Gleiches Bild, unabhängige Rechnung.
Es liegt nicht am Tool.
Sondern daran, wer es hat.
Drei naheliegende Einwände, drei im Durchlauf eingebaute Gegenproben. Jede musste halten, sonst wäre der Befund in sich zusammengefallen.
Stimmt: rund 392 Wörter gegen 197. Deshalb haben wir die Bedingung gefahren, in der beide Seiten optimieren. Wäre Länge der Treiber, wäre diese Bedingung ein Münzwurf.
86 % · gepaart p = 1,0Jedes Paar wurde in beiden Sitzpositionen beurteilt. Über alle 240 Urteile gewann der zuerst genannte Kandidat 116-mal.
48 % · p = 0,65Ehrlich gegen ehrlich wählte er den stärkeren Kandidaten in 85 Prozent der Entscheidungen — und ab einem Abstand von 15 Indexpunkten in jeder einzelnen.
20 von 20 · große AbständeDer Schaden entsteht nicht dadurch, dass es das Tool gibt. Er entsteht dadurch, dass es nicht jeder hat.
Geben Sie beiden Kandidaten dasselbe Tool, und das Ranking ist wieder intakt — 86 Prozent, gegen 85 in der ehrlichen Basislinie, gepaart p = 1,0. Das ist ein sauberes Nullergebnis, und es ist die nützlichste Zahl auf dieser Seite: Reguliert werden muss der ungleiche Zugang, nicht die Technologie.
Das Tool ist etwa
25 Indexpunkte wert.
Liegt der Abstand darunter, kippt es zwei von drei Entscheidungen. Darüber keine einzige. Der Anteil bezieht sich nur auf Entscheidungen, die in der ehrlichen Kontrolle richtig waren — wer die Fälle mitzählt, in denen der Screener ohnehin falsch lag, lässt das Tool harmlos aussehen.
Unter einem Abstand von 25 Punkten: 42 von 60 Entscheidungen kippten. Bei 25 und mehr: 0 von 8. Fisher-Exakt-Test, p = 0,00021. Ein zweiter, nahezu unabhängiger Durchlauf mit anderen Paaren zeigt dasselbe Muster — 75 Prozent im Band 15–24, 11 Prozent über 25.
Das oberste Band ruht auf 8 Entscheidungen aus 4 Paaren. Null von acht ist ein starkes Signal, dass eine Schwelle existiert; es legt nicht genau fest, wo sie liegt. Und der Qualitätsindex ist eine eigene Konstruktion dieser Studie — “25 Punkte” ist eine Größe innerhalb dieses Projekts, keine Branchenskala.
Optimierung hebt nicht die Schwachen.
Sondern die Fast-Guten.
43 Kandidaten, fünf Skill-Level, festgelegt vor der ersten Bewertung. Der Zugewinn durch das Umformulieren derselben Fakten folgt einem umgekehrten U — nichts ganz unten, nichts ganz oben, alles im oberen Mittelfeld. Genau dort wird über Einladungen entschieden.
Durchschnittlicher Punktgewinn durch Optimierung, je Skill-Level, auf einer 120-Punkte-Skala. Unten gibt es nichts aufzuhübschen. Oben war die Substanz schon lesbar, und die Bewertung liegt nahe der Obergrenze. Die Konsequenz widerspricht der naheliegenden Geschichte: Umschreiben hilft nicht schlechten Kandidaten, sich an guten vorbeizuschmuggeln. Es hilft guten Kandidaten, zu den sehr guten aufzuschließen.
Ehrlich trennt das System alle fünf Skill-Level. Wenn ein Teil des Feldes optimiert, verschmelzen zwei davon — 24 Punkte echter Unterschied, weg.
Und die Reihenfolge selbst übersteht das: Die Rangkorrelation zwischen dem ehrlichen und dem optimierten Ranking bleibt bei 0,94. Was bricht, ist nicht die Abfolge, sondern die Schwelle. Ein Shortlist-Schnitt durch ein Band, in dem zwei Level zu einem verschmolzen sind, ist ein Schnitt durch Rauschen.
Nicht, wer Sie sind.
Sondern, wie Ihr Text klingt.
Wir haben nach einem Gender-Effekt gesucht und dabei zwei Dinge getrennt, die alle früheren Versuche vermischt hatten: Schreibstil und Identität. Dieselben drei Faktensets, dieselbe Rolle, ausbalancierte Reihenfolge, erzwungene Paarwahl. Nur einer der beiden Faktoren hatte überhaupt einen Effekt.
Beide Kandidaten männlich. Nur der Ton unterscheidet sich.
Verschiebt sich das Ergebnis hier, kann es nur daran liegen, wie der Lebenslauf geschrieben ist — selbstbewusst und anspruchsvoll gegen schlicht und sachlich.
Beide selbstbewusst geschrieben. Nur die Person unterscheidet sich.
Name, Pronomen und geschlechtsspezifische Mitgliedschaften vertauscht, alles andere identisch. Wenn es einen Identitätseffekt gibt, muss er sich hier zeigen.
Beide Splitter aus dem Balken oben, neu gezeichnet auf einer 0–6-Prozent-Skala. Die volle Breite hier entspricht 6 Prozent der Gesamtvarianz.
Erklärter Anteil der Bewertungsvarianz. Register wiegt Gender um den Faktor 26 auf. Vertauschen Sie nur das Gender, bleibt die Entscheidung in 5 von 6 Zellen gleich; vertauschen Sie nur das Register, kippt sie in 3 von 6. Das rahmt die ganze Frage neu: Belohnt wird eine Art zu schreiben — und eine Art zu schreiben ist käuflich. Substanz nicht.
9 von 12 ist eine Tendenz, kein Beweis. Der Register-Effekt zeigte sich zweimal unabhängig bei 9 von 12; gepoolt sind das 18 von 24, p = 0,023 — aber die beiden Durchläufe tragen unterschiedliche Störfaktoren, deshalb ist die übereinstimmende Richtung das Argument, nicht der gepoolte p-Wert. Eine saubere Antwort braucht etwa 40 Paare.
Ein Filter entfernt
97,6 % des Signals.
Wir haben das Modell gezwungen, bei jedem Lebenslauf die Wahrscheinlichkeit zu schätzen, dass es sich um eine Frau handelt — “kann ich nicht sagen” war ausdrücklich nicht erlaubt, denn eine Ausweichantwort misst die Bereitschaft, sich festzulegen, nicht den Informationsgehalt des Textes. Anschließend haben wir denselben Test mit mechanisch geschwärzten Lebensläufen wiederholt.
Ungeschwärzt überschneiden sich die Schätzungen überhaupt nicht: 99 und 99 bei den Frauen, 5 und 2 bei den Männern. Diese Positivkontrolle macht die zweite Zeile lesbar — ohne sie könnte “das Modell sieht nichts” auch nur bedeuten, dass das Instrument stumpf ist. Die Schwärzung ist regelbasiert, ohne Modellbeteiligung: E-Mail, Anrede, Name, Telefon, geschlechtsspezifisch markierte Organisationen, Pronomen, Alter. Eine unabhängige Studie berichtet dieselbe Größenordnung, minus 97 Prozent, für mechanische Namensschwärzung.
Dass ein mechanischer Filter das Signal entfernt. 97,6 Prozent einer Spanne von 95,5 Punkten, runter auf 2,3.
GemessenDass eine Fairness-Anweisung im Prompt nichts bewirkt. Das Experiment dafür wurde gebaut und lief nie. Die Literatur sagt, es funktioniert nicht; wir haben keine eigenen Daten.
Nicht gemessenSelbst vollständig anonymisiert bildet das Modell eine Vermutung — und nennt Fußball-Ehrenamt, Klettern und Motorsport als Gründe. Dieser Kanal übersteht die Namensschwärzung.
Klein, nicht nullWelch t = 0,95 bei der geschwärzten Gruppe, nicht signifikant, aber Cohen d = 0,55 — bei 6 gegen 6 Lebensläufen ist der Test zu schwach, um den Rest als null zu bezeichnen. Er ist klein, nicht nachweislich abwesend. Und in unserem eigenen Setup änderte der Identitätstausch keine Entscheidungen, es gab also keinen gemessenen Bias, den der Filter reparieren müsste. Das Argument fürs Filtern steht auf anderem Grund: Ein Signal, das nie in den Input gelangt, kann nicht auf das Ergebnis wirken.
Was diese Studie
nicht zeigen kann.
Dieser Abschnitt ist kein Kleingedrucktes. Eine Studie, die nur veröffentlicht, was sie stützt, ist eine Broschüre. Hier steht jede Stelle, an der kritische Leser nachhaken sollten.
Eine Rolle, ein Modell, sechs Faktensets, ein Merkmal. Wir haben Gender getestet. Ethnizität, Alter, nationale Herkunft und Behinderung sind ungetestet — und die Literatur findet größere Effekte für Ethnizität als für Gender.
Mit einem Instrument, das empfindlich genug ist, um den Unterschied zwischen ehrlich und optimiert bei p = 0,001 zu erkennen, bewegte das Vertauschen von Name, Pronomen und Zugehörigkeit nichts. Das Konfidenzintervall schließt einen Identitätseffekt oberhalb von etwa 31 Prozentpunkten aus — nicht darunter. Das steht im Einklang mit den stärksten Felddaten: 83.000 echte Bewerbungen, kein signifikanter Gender-Effekt.
Die Hälfte dieser Behauptung stammt von uns, die andere Hälfte ist geliehen, deshalb haben wir sie getrennt. Die Filter-Hälfte ist gemessen. Die Prompt-Hälfte stützt sich auf Preprints von 2026, von denen einer in die andere Richtung zeigt. Wir haben unsere eigene Behauptung heruntergestuft, statt die schwächere Hälfte von der Autorität der stärkeren profitieren zu lassen.
9 von 12, zweimal, ist eine Tendenz. Es braucht etwa 40 Paare, um ein Ergebnis zu werden. Wir berichten es als wahrscheinlichste Erklärung, nicht als Beweis.
Es wurde nach den obigen Regeln gebaut und durfte nie Fakten erfinden. Ein Consumer-Dienst, der doch lügt, ist eine offene und vermutlich deutlich hässlichere Frage — die sieben Profile, bei denen unser eigenes Tool ins Erfinden abdriftete, wurden entfernt statt gemessen.
Jedes Urteil auf dieser Seite stammt von Haiku 4.5, ein Job, englischsprachige Lebensläufe, ein Urteil pro Durchlauf. Externe Validität ist ungetestet, ebenso die Stabilität über wiederholte Durchläufe.
Die Paare wurden bewusst auf ähnliche Kandidaten gewichtet, denn es ging darum, die Kurve zu finden, nicht eine Schlagzeilen-Zahl. Wer eine Rate für echte Bewerbungen braucht, braucht eine Stichprobe echter Bewerbungen.
Optimierung brachte 11,3 Punkte beim günstigen Modell und 5,8 beim Frontier-Modell — und das günstige ist dasjenige, das 50.000 Bewerbungen im Jahr screent, wodurch die Kostenentscheidung zur Fairness-Entscheidung würde. Zwei Datenpunkte machen das zu einer Hypothese, kein Gesetz.
“11 von 12” war eine echte Messung, nur der falschen Größe.
Der erste Durchlauf verglich 12 Paare und fand, dass das Tool 11 davon kippte. Es war kein Rechenfehler — diese 12 Paare lagen zufällig bei Qualitätsunterschieden von 16 bis 22 Punkten, genau in dem Band, in dem das Tool am wirksamsten ist. Hochskaliert auf 240 Urteile über alle fünf Abstandsbänder ist das ehrliche Bild das oben auf dieser Seite: eine Schwelle, keine universelle Umkehr. Der größere Durchlauf macht die Behauptung kleiner und den Mechanismus klarer.
Deshalb filtern wir,
und sagen es offen.
Ein Screening-System, das Formulierungen belohnt, misst den Zugang zu Tools. Was wir aus dieser Studie gelernt haben, ist direkt in unser eigenes Screening eingeflossen — und in das, was wir darüber zu versprechen bereit sind.