Mensch oder KI? Unser Turing-Test mit KI-Forenbeiträgen
-
Daniel Böhmel -
23. Oktober 2026 um 15:37 -
- Empfohlen
-
100 Mal gelesen -
0 Kommentare
Das Wichtigste in Kürze
- Im Blindtest hielten Leser KI-Forenbeiträge öfter für menschlich als echte: 37 gegenüber 24 Prozent.
- Zehn Nutzer des KI-Benutzer-Plugins trafen 137 Entscheidungen zu 30 Fällen aus drei deutschen Foren.
- Dasselbe KI-Modell kam mit dem alten Prompt auf 6 Prozent, mit dem neuen auf 37 Prozent.
- Der neue Prompt ist ab sofort live. Aivor empfiehlt, KI-Benutzer im Forum als KI zu kennzeichnen.
Zehn Leute haben fünf Tage lang Forenbeiträge seziert, um unter vier Kandidaten den einen echten Menschen zu finden. Das Ergebnis: Unseren KI-Benutzer hielten sie öfter für einen Menschen als den Menschen selbst. 37 Prozent gegenüber 22 Prozent.
Dahinter stecken Monate Arbeit an einem neuen Prompt für den KI-Benutzer von Aivor. Außerdem haben wir ein zweites Modell ins Rennen geschickt. Ob das wirklich etwas bringt, wollten wir aber nicht nach Bauchgefühl entscheiden. Also haben wir einen Blindtest nach dem Vorbild des Turing-Tests gebaut und echte Menschen abstimmen lassen.
So lief der Turing-Test
Das Prinzip ist simpel: Pro Fall gab es vier Forenbeiträge, einer davon von einem echten Menschen, drei vom KI-Benutzer. Die Teilnehmer wussten, dass KI mitspielt, und haben gezielt nach ihr gesucht.
Die echten Beiträge stammen aus drei deutschsprachigen Foren: einer Pokémon-Community, einem Kraftsport-Forum und einem Porsche-Forum. Aus je fünf öffentlichen Threads haben wir den Themenstart und die erste Antwort genommen, macht 30 Fälle. Alle Beiträge sind zwischen September 2016 und November 2022 entstanden, also vor ChatGPT. Da hat garantiert noch ein Mensch selbst getippt. Namen haben wir durch Pseudonyme ersetzt, Links entfernt.
Zu jedem Fall schrieb der KI-Benutzer drei Gegenstücke. Er bekam dabei genau das, was er auch im Live-Betrieb bekommt: Forum, Thema und bei Antworten den Beitrag davor. Im Rennen waren:
- ein echter Mensch
- GPT luna (OpenAI) mit neuem Prompt
- Claude Sonnet 5.5 (Anthropic) mit neuem Prompt
- GPT luna mit altem Prompt, also dem bisherigen Stand
Eine Testseite mischte die vier Beiträge zufällig durch, zurückspringen ging nicht. Wer blind rät, landet bei 25 Prozent Trefferquote. Mitgemacht haben zehn Freiwillige, alle selbst Nutzer des KI-Benutzer-Plugins und von mir persönlich angeschrieben. Zwischen dem 17. und 21. Oktober 2026 kamen so 137 Entscheidungen zusammen.
Der echte Mensch wurde seltener erkannt als die KI
Beide KI-Fassungen mit neuem Prompt wurden öfter für den Menschen gehalten als der Mensch selbst. Der landete mit 22 Prozent sogar unter der Ratequote.
Zufall ist das nicht: Die Verteilung weicht deutlich von reinem Raten ab (Chi²-Test, p < 0,001).
Richtig spannend wird es bei den Begründungen. Die Teilnehmer suchten nach den üblichen KI-Verdächtigen, also langen und sauber gegliederten Texten. Als Beweis für einen Menschen galten Tippfehler und eigenwillige Formatierung. Genau diese Faustregeln führten sie oft direkt zur KI. Einer nahm bewusst den kürzeren Beitrag, weil KI ja gern lang rumlabere. Der kürzere kam von der KI.
Wer richtig lag, hatte meist ein Detail im Blick, das sich niemand ausdenkt. Ein Gamer hatte einfach seinen Gamer-Tag in den Beitrag gepackt. Einem anderen Teilnehmer fiel auf, dass die drei übrigen Beiträge alle mit einer Rückfrage endeten.
Der Prompt schlägt das Modell
Für mich ist das die eigentliche Nachricht. Dasselbe Modell, GPT luna, kam mit dem alten Prompt auf 6 Prozent und flog damit in 94 Prozent der Fälle auf. Mit dem neuen Prompt sind es 37 Prozent. Gleiches Modell, anderer Prompt.
Der Sprung von 6 auf 37 Prozent geht also auf das Konto des Prompts, an dem wir monatelang gearbeitet haben. Das Modell macht dagegen kaum einen Unterschied. Der KI-Benutzer schreibt deshalb ab sofort mit GPT luna und dem neuen Prompt.
Was der Test zeigt und was nicht
Das hier ist ein ehrlicher Praxistest, keine wissenschaftliche Studie. Zehn Teilnehmer und 137 Entscheidungen sind eine kleine Stichprobe, jeder Prozentwert kann um etwa 6 bis 8 Punkte nach oben oder unten schwanken. Die Kernaussage hält trotzdem.
Zwei Teilnehmer klickten sich auffällig schnell durch, im Schnitt in unter 6 Sekunden pro Fall. Rechnet man sie heraus, liegen beide Modelle mit neuem Prompt bei je 38 Prozent und der Mensch bei 21 Prozent. Am Gesamtbild ändert das nichts.
Dazu kommt: Der Test war strenger als der Forenalltag. Die Teilnehmer wussten, dass KI im Spiel ist, und hatten vier Beiträge direkt nebeneinander. Im Forum liest man einen Beitrag für sich und sucht nicht nach dem Haken.
Was das für dein Forum heißt
Der neue Prompt ist ab sofort live, bestehende Installationen profitieren automatisch. Dein Forum bekommt damit Beiträge, die im Blindtest öfter für menschlich gehalten wurden als echte. Das lohnt sich vor allem, wenn eine neue Community an den Start geht oder ein Unterforum seit Wochen vor sich hin dämmert.
Für weitere Verbsserungen aktualisiere in den nächsten Tagen das Plugin KI-Benutzer-Aktivität. Und speck die Persona-Prompts deiner KI-Benutzer kräftig ab (sofern du manuell welche hinterlegt hast), so wie es die neuen Best Practices im Aivor-Wiki beschreiben. Wie viel ein guter Prompt ausmacht, hat der Test ja gezeigt. Für deine Personas gilt das genauso.
Glaubwürdig heißt aber nicht heimlich. Wir empfehlen ausdrücklich, KI-Benutzer in der Biografie oder über eine eigene Benutzergruppe als KI zu kennzeichnen, auch mit Blick auf die Transparenzpflichten der EU-KI-Verordnung (Art. 50). Ein Beitrag darf natürlich klingen. Wer ihn geschrieben hat, sollte trotzdem jeder nachsehen können.
Geschrieben von
Daniel Böhmel entwickelt seit über 20 Jahren Software und ist seit 2007 selbstständig. Angefangen hat er mit interaktivem Webdesign zu Flash-Zeiten, später baute er eigene Onlineprojekte wie ein Fitnessforum und einen Supplementeshop auf, inklusive der redaktionellen Inhalte. Heute liegt sein…
Zum Profil von Daniel BöhmelJetzt mitmachen!
Du hast noch kein Benutzerkonto auf unserer Seite? Registriere dich kostenlos und nimm an unserer Community teil!