Erkennung von KI-generierten Texten mit dem KI-Detektor

Das Wichtigste auf einen Blick

• check_circleDer KI-Detektor von PlagAware erkennt Texte, die von einer generativen KI wie ChatGPT erzeugt wurden, anhand von stereotypischen Formulierungen.
• check_circleBei der KI-Erkennung werden keine Daten an ChatGPT oder andere externe Dienstleister geschickt - alle Daten verbleiben bei PlagAware.
• check_circleAuch natürliche Texte können Stilelemente und Formulierungen aufweisen, die häufig in KI-generierten Texten vorkommen. Eine Häufung von stereotypischen KI-Formulierungen ist also kein belastbarer Beweis, dass ein Text von einer KI erstellt wurde.

Woran erkennt PlagAware KI-generierte Texte?

Texte, die von künstlichen Intelligenzen (KIs) wie ChatGPT, Copilot, LLaMA oder Gemini erstellt oder umgeschrieben wurden, basieren auf umfassenden Sprachmodellen (Large Language Models, LLMs). LLMs sind statistische Modelle, welche die wahrscheinlichste Abfolge von Wörtern in einem gegebenen Zusammenhang vorhersagen und auf diese Weise Texte erzeugen können.

Die Vorhersage von Wortfolgen anhand von statistischen Wahrscheinlichkeiten führt allerdings dazu, das gewisse Wortkombinationen häufiger verwendet werden, als dies üblicherweise in "natürlichen" - menschlich erstellten Texten - der Fall wäre.

Diese stereotypischen Häufungen KI-typischer Formulierungen erkennt der KI-Detektor von PlagAware und zeigt sie als farbliche Markierung im Text an. Dabei wird sowohl die relative Häufigkeit auffälliger Formulierungen, als auch der Grad der Auffälligkeit einer einzelnen Formulierung - deren Relevanz - bewertet. Die Relevanz gibt an, um wieviel häufiger eine Formulierung in KI-generierten Texten im Vergleich zu natürlichen Texten vorkommt.

Anzeige des KI-Detektors und der Stilanalyse im Ergebnisbericht

Kicken Sie auf die Schaltfläche KI / Stilanalyse, um von der Ansicht der Plagiatsprüfung in die Ansicht des KI-Detektors und der Stilananlyse zu wechseln. Dadurch werden anstelle der gefundenen Quellen verschiedene Metriken zur Analyse des Textstils und zur KI-Typizität (siehe unten) eingeblendet.

Die zusätzlichen Elemente in der Ansicht des KI-Detektors

Abweichend von der Ansicht des Ergebnisberichts der Plagiatsprüfung finden sich in der Ansicht des KI-Detektors die folgenden Elemente:

1. Wechsel zwischen den Ansichten der Plagiatsprüfung und der KI- / Stilanayse.
2. Auswahl der Text-Metrik, welche im Hauptfenster der Ansicht angezeigt werden soll.
3. Farblegende zur Interpretation der gewählten Metrik.
4. Prüftext mit hinterlegter Markierung entspechend der gewählten Metrik. Wenn Sie die Maus über den Text bewegen, wird die (gefilterte) Metrik des jeweiligen Satzes zusammen mit dem ermittelten Rohwert angezeigt.
5. Wahl des Anzeigefilters, der für die Darstellung im Hauptfenster verwendet wird.

Die Berechnung der KI-Typizität

Der Begriff der KI-Typizität ist ein Maß für die Häufigkeit von KI-stereotypischen Formulierungen und für die Relevanz dieser Formulierungen in einem Text. Die KI-Typizität wird als Prozentwert zwischen 0% und 100% angegeben und im Text mit den Farben grün bzw. rot hinterlegt.

Dabei sind die Prozentwerte und Farben wie folgt zu interpretieren:

• arrow_forwardGrün - KI-Typizität 0% - 50%: Textpassagen, die grün hinterlegt sind, zeigen eine Häufung von Formulierungen, die eher typisch für natürliche (also Nicht-KI generierte) Texte sind.
• arrow_forwardNeutral - KI Typizität um 50%: Textpassagen ohne farbliche Markierung weisen Texte mit Formulierungen aus, die gleichermaßen in natürlichen und in KI-generierten Texten zu finden sind.
• arrow_forwardRot - KI-Typizität 50% - 100%:Textpassagen, die rot hinterlegt sind, zeigen eine Häufung von Formulierungen, die eher typisch für KI-generierte Texte sind

Je kräfter die Farbhinterlegung dargestellt ist, desto größer ist die Häufung von typischen Formulierungen, und desto typischer sind die verwendeten Formulierungen im markierten Text. Für die KI-Typizität bedeutet das eine starke Abweichung vom neutralen Mittelwert 50%.

Die KI-Typizität wird - wie alle anderen Metriken - für jeden Satz berechnet. In der Regel schwanken diese Werte innerhelb eines Abschnitts erheblich um einen Mittelwert, sodass eine Mittelung über mehrere Sätze innerhalb eines Abschnitts einfacher zu interpretieren ist und zu eindeutigeren Ergebnissen führt. Diese Mittelung finden Sie im Bereich Anzeigefilter in den Ansichtsoptionen auf der rechten Seite des Hauptfensters.

Wie zuverlässig ist der KI Detektor bzw. die KI-Typizität?

Der KI Detektor erkennt statistisch signifikante Häufungen von Formulierungen, die durch den Einsatz von KI-Tools auftreten.

Dabei ist zu beachten, dass diese Häufungen nicht zwangsweise auftreten müssen, wenn ein Text von einer KI erstellt wurde. Insbesondere die "Kreativität" einer KI, sowie der verwendete Stil, kann erheblich vom gewählten KI-Modell und von den Vorgaben an die KI, dem so genannten "Prompt", beeinflusst werden. Dies kann zu einer fehlerhaften Einschätzung als "natürlicher Text" führen, obwohl der Text tatsächlich von einer KI erstellt wurde (Fehler 1. Ordnung).

Daneben arbeiten LLMs mit statistischen Wortwahrscheinlichkeiten, die aus großen Textbeständen ermittelt wurden. Daher ist das Maß für die KI-Typizität immer auch ein Maß dafür, wie exakt ein Text den Stil einer typischen Veröffentlichung des jeweiligen Sachgebiets trifft. Ein entsprechend formulierter Text kann daher fälschlicherweise als "KI-generierter Text" eingestuft werden, obwohl der Text tatsächlich von einem menschlichen Autor erstellt wurde (Fehler 2. Ordnung).

Die Ergebnisse des KI-Detektors werden bei PlagAware deshalb als KI-Typizität, und nicht als KI-Wahrscheinlichkeit oder KI-Klassifikation angegeben. Die KI-Typizität stellt den Grad einer KI-typischen Formulierung dar und ist kein Beweis für den Einsatz einer KI.

Metriken zur Lesbarkeit eines Texts

Oftmals verraten sich Textabschnitte, die von unterschiedlichen Autoren (was die Erstellungen eines Texts mittels KI einschließt) verfasst wurden, durch Stilbrüche im Text. Deshalb bietet PlagAware bietet neben der KI-Typizität des KI-Detektors weitere Metriken an, die dazu dienen sollen, diese Stilbrüche im Text zu erkennen und farblich darzustellen. Neben der Erkennung von Stilbrüchen können diese Metriken jedoch auch dazu verwendet werden, schwer verständliche Textabschnitte zu erkennen, um sie durch einfachere Formulierungen verständlicher zu gestalten.

Derzeit bietet PlagAware die nachfolgend beschriebenen Metriken zur Bewertung der Lesbarkeit eines Textes an. Weitere Hintergrundinformationen zu diesen und weiteren Maßzahlen für die Lesbarkeit finden Sie im Wikipedia-Artikel zum Lesbarkeitsindex. In den Lesbarkeitsindex fließen in der Regel die Anzahl der Wörter pro Satz, die relative Anzahl komplexer mehrsilbiger Wörter, sowie die Anzahl einfacher einsilbiger Wörter ein. Er trifft jedoch nur indirekte Aussagen über spezifischere Texteigenschaften, wie die sprachliche Gewandtheit oder die Verwendung von umgangssprachlichen Ausdrücken.

• check_circleWiener Sachtextformel - Die Wiener Sachtextformel wurde von Richard Bamberger und Erich Vanecekdient aufgestellt und dient Abschätzung der Lesbarkeit von deutschen Texten. Die Metrik repräsentiert die Klassenstufe im deutschen Schulsystem, für die ein Text geeignet ist. So steht die Stufe 4 für einen sehr leichten Text, komplizierte Texte werden durch höhere Werte bis zu 16 abgebildet.
• check_circleLesbarkeit nach Gunning Fog - Der Lesbarkeitsindex nach Gunning Fog - entwickelt von Robert Gunning - ist eine Entsprechung der Wiener Sachtextformel für die englische Sprache und das US-Schulsystem. Wie bei der Wiener Sachtextformel werden einfache Texte durch die Zahl 4, schwere Texte durch die Zahl 16 repräsentiert. Bei PlagAware kommt eine modifizierte Variante des Gunning Fog Index zum Einsatz, der die größere Länge deutscher Wörter im Vergleich zur englischen Sprache kompensiert.
• check_circleLesbarkeit nach Felsh - Der Lesbarkeitsindex "Felsh Reading Ease" wurde von Rudolf Flesch entwickelt und von Toni Amstad auf die deutsche Sprache übertragen. Im Gegensatz zur Wiener Sachtextformel und zum Fog-Index nimmer der Felsh-Index Werte zwischen 100 (für sehr leichte Texte) und 0 (für sehr schwere Texte) an.

Die Farbskala zeigt die Lesbarkeit der jeweiligen Metrik als Hintergundfarbe des Prüftexts an. Dabei steht die Farbe grün stets für einen leichten Text, während die Farbe rot einen schweren Text markiert (unabhängig vom gewählten Lesbarkeitsindex).

Verwendung des Anzeigefilters

Alle beschriebenen Metriken - die KI-Typizität und und die verschiedenen Lesbarkeitsindizes - werden jeweils pro Satz berechnet. Da die Metriken von Satz zu Satz erheblich voneinander abweichen können, kann eine sinnvolle Aussage jedoch oftmals nur für einenn längeren Textabschnitt bzw. eine gewisse Anzahl an fortlaufenden Sätzen getroffen werden.

Deshalb bietet PlagAware verschiedene Anzeigefilter an, die mehrere aufeinanderfolgende Sätze in Betracht zieht und dem jeweiligen Satz einen gemittelten Wert zuweist. Die tatsächlich ermittelten Daten werden dabei nicht verändert, es wird also nur die Darstellung angepasst. PlagAware bietet die folgenden Anzeigefilter an:

• check_circleMedian - Der für den untersuchten Satz ermittelte Wert wird zusammen mit den Werten der jeweils zwei vorhergehenden und nachfolgenden Sätze verglichen. Die Werte aller 5 Sätze werden aufsteigend sortiert, der mittlere Wert wird dem untersuchten Satz zugeordnet. Der Median eignet sich insbesondere dazu, einzelne Ausreißer zu eliminieren und stellt den Default-Anzeigefilter dar.
• check_circleBilateraler Filter - Der bilaterale Filter ist ein digitaler Filter, der kleinere lokale Abweichungen egalisiert, aber größere Sprünge ("Kanten") in den Rohdaten so weit wie möglich erhält. Details zur Berechnung des bilateralen Filters finden Sie im Wikipedia-Artikel "Bilaterale Filterung". Mehr als die anderen Filter erhält der bilaterale Filter starke Abweichungen von einem Satz auf den nächsten, während gleichzeitig regionale kleinere Unterschiede in der Bewertung der Sätze geglättet werden.
• check_circleMittelwert - Wie auch der Median-Filter berücksichtigt der Anzeigefilter "Mittelwert" den jeweils untersuchten Satz und seine beiden Vorgänger und Nachfolger. Der Anzeigewert des Satzes wird gemittelt aus den Werten dieser Sätze, wobei benachbarte Sätze stärker gewichtet werden als entferntere Sätze. Dieser Filter glättet die angezeigten Werte am harmonischsten, erzeugt aber auch eine gewisse Unschärfe für eine satzgenaue Betrachtung.
• check_circleRohdaten - Es wird kein Anzeigefilter verwendet, sondern die für den jeweigen Satz ermittelten Werte werden direkt angezeigt.

Sie können die jeweiligen Anzeigefilter nach Ihren prsönlichen Vorlieben und der Art des Textes wechseln, ohne dass dabei die berechneten Metriken verändert werden. Der Anzeigefilter wird auch bei der Darstellung der Balkengrafik bei der Auswahl der Metrik berücksichtigt, sodass Sie unmittelbar einen grafischen Eindruck von der Arbeitsweise des Anzeigefilters erhalten.

Fallbeispiele von KI-generierten Texten

Fallbeispiel 1: Vollständig KI generierter Text zum Thema "Lese- und Rechtschreibkompetenz"

Verwendeter Prompt: "Erstelle einen Text für eine Seminararbeit zum Thema: "Einfluss von künstlicher Intelligenz auf die Schreib- und Lesekompetenz von Schülern der gymnasialen Oberstufe!"

Die Abbildung zeigt die Bewertung des PlagAware KI-Detektors für den von ChatGPT (Modell GPT-4o mini) erstellten Text. In der Darstellung der Balkengrafik wurde der Default-Anzeigefilter "Median" verwendet. Es ist zu erkennen, dass nahezu der vollständige Text eindeutig KI-typische Formulierungen aufweist. Formulierungen in dieser Häufung und Konsistenz begründen einen deutlichen Anfangsverdacht, dass zur Erstellung des Texts ein KI-Modell zum Einsatz gekommen ist.

Den vollständigen interaktiven Bericht der Plagiatsprüfung und des KI-Detektors für Fallbeispiel 1 können Sie unter dem folgendn Link abrufen: Interaktiver Prüfbericht zum Fallbeispiel 1 - KI-generierter Text zur Schreib- und Lesekompetenz.

Fallbeispiel 2: Von KI umgeschriebene Wikipedia-Quelle zum Thema "Quantencomputer"

Verwendeter Prompt: "Schreibe den Wikipedia-Artikel Abschnitt als Teil einer Seminararbeit über Quantencomputer um!"

Der Prüftext besteht aus zwei Abschnitten: In der ersten Hälfte des Prüftexts wurde der Wikipedia-Artikel unverändert übernommen. Die zweite Hälfte des Prüftexts besteht aus dem von ChatGPT umgeschriebenen Text. Es ist deutlich zu erkennen, dass die erste Hälfte als "KI-untypisch" eingeschätzt wurde, was an der schwach grünen Färbung ersichtlich ist. In der zweite des Prüftexts hingegen wurden deutliche Anzeichen für einen KI-generierten Text erkannt, was durch die schwach bis kräftig rote Hervorhebung angezeigt wird.

Den vollständigen interaktiven Bericht der Plagiatsprüfung und des KI-Detektors für Fallbeispiel 2 können Sie unter dem folgenden Link abrufen: Interaktiver Prüfbericht zum Fallbeispiel 2 - Von KI umgeschriebene Wikipedia-Quelle zum Thema Quantencomputer.

Kosten für den KI-Detektor

Der KI-Detektor von PlagAware ist in der Plagiatsprüfung inkludiert und wird automatisch im Hintergrund durchgeführt, sobald eine Plagiatsprüfung durhcgeführt wird. Für die Plagiatsprüfung inkl. KI-Detektor fallen 1 ScanCredit pro 250 Worte (Suche in Online-Quellen) bzw. 1 ScanCredit pro 1000 Worte (reine Suche in Bibliothekstexten - Kollusionsprüfung) an. Weitere Informationen zur Preisstruktur von PlagAware finden Sie in der Übersicht der Lizenzmodelle.

Ergänzungen und darüber hinausgehende Einstellmöglichkeiten des KI-Detekors sind für die nahe Zukunft geplant.

Liegt eine Täuschungsabsicht vor?

Bei der Beurteilung der Täuschungsabsicht ist zu beachten, dass eine KI gegebenenfalls als erlaubtes Hilfsmittel zur Formulierung eigener Texte angesehen werden kann. ChatGPT & Co. stellen damit eine logische Fortführung der Rechtschreibprüfung, der Grammatikprüfung oder des Thesaurus dar, welche in allen modernen Textverarbeitungsprogrammen zum Einsatz kommen. Die Frage nach der Täuschungsabsicht kann also nicht unbedingt auf die Frage nach der KI-Unterstützung beim Schreiben eines Texts reduziert werden.

Vielmehr sollte der Frage nachgegeangen werden, ob nicht angegebene Quellen unerlaubterweise durch eine KI umgeschrieben und als eigene Texte ausgegeben wurden. Diese Frage kann (Stand heute) nur durch eine manuelle Bewertung (z.B. mündliche Nachprüfung) beantwortet werden.