Akademiker arbeiten daran, ChatGPT und andere KI-Skripte zu erkennen


Wenn Menschen schreiben, hinterlassen sie subtile Signaturen, die auf die gehaltvollen, intelligenten Ursprünge der Prosa hinweisen. Ihre Auswahl an Wörtern und Phrasen ist vielfältiger als die, die von Schreibmaschinen ausgewählt werden. Menschliche Schriftsteller stützen sich auch auf Kurzzeit- und Langzeiterinnerungen, die sich an eine Reihe von gelebten Erfahrungen erinnern und den persönlichen Schreibstil beeinflussen. Und im Gegensatz zu Maschinen sind Menschen anfällig für kleine Tippfehler, wie ein falsch gesetztes Komma oder ein falsch geschriebenes Wort. Solche Attribute verraten die Menschlichkeit des Textes.

Aus diesen Gründen sind KI-Tools zur Erkennung von Handschriften oft so konzipiert, dass sie nach in Prosa verborgenen menschlichen Unterschriften „suchen“. Aber die Suche nach Unterschriften stellt Detektive vor ein Rätsel, die versuchen, zwischen von Menschen geschriebener und maschinell geschriebener Prosa zu unterscheiden.

„Wenn ich eine sehr intelligente KI bin und ihre Erkennung umgehen möchte, füge ich möglicherweise absichtlich Tippfehler in meine Texte ein“, sagte Diyi Yang, Assistenzprofessor für Informatik an der Stanford University.

In diesem Katz-und-Maus-Spiel arbeiten einige Informatiker daran, KI-Autoren menschenähnlicher zu machen, während andere daran arbeiten, Erkennungswerkzeuge zu verbessern. Akademische Bereiche entwickeln sich in diese Richtung. Aber einige auf der globalen Bühne der künstlichen Intelligenz sagen, dass das Ergebnis dieses Spiels eine ausgemachte Sache ist.

„Langfristig ist es fast sicher, dass wir KI-Systeme haben werden, die Texte produzieren, die kaum von von Menschen geschriebenem Text zu unterscheiden sind“, sagte Yoshua Bengio, der „Godfather of AI“ und Turing-Preisträger, der oft als der bezeichnet wird Nobel der Informatik, sagte Innerhalb der Hochschulbildung in einem E-Mail-Austausch. Bengio ist Professor für Informatik an der Universität von Montreal.

Die wissenschaftliche Gemeinschaft und die Hochschulbildung haben jedoch die Bemühungen zur KI-Handschrifterkennung nicht aufgegeben – und Bengio hält diese Bemühungen für lohnenswert. Einige sind motiviert, Unehrlichkeit in akademischen Aktivitäten zu entdecken. Andere versuchen, den öffentlichen Diskurs vor böswilliger Verwendung von Textgeneratoren zu schützen, die Demokratien untergraben können. (CEOs von Bildungstechnologieunternehmen haben möglicherweise Dollarzeichen in ihren Augen.) Wieder andere werden von philosophischen Fragen darüber angetrieben, was Prosa menschlich macht. Was auch immer die Motivation ist, jeder muss sich mit einer Tatsache auseinandersetzen:

„Es ist sehr schwierig, maschinell generierten Text oder KI zu erkennen, insbesondere mit ChatGPT“, sagte Yang.

Die „Explosion“ menschlicher Prosa

Während eines kürzlichen Urlaubs ging Edward Tian, ​​​​ein Senior an der Princeton University, in ein lokales Café. Dort entwickelte er GPTZero, eine Anwendung, die erkennen soll, ob ein Text von einem Menschen geschrieben wurde, oder ChatGPT – einen Chat-Bot mit künstlicher Intelligenz, der mit Benutzern auf dialogorientierte Weise interagiert, einschließlich der Beantwortung von Fragen, dem Eingeständnis ihrer Fehler, der Anfechtung von Unwahrheiten und der Zurückweisung unangemessene Anfragen. Tians Bemühungen dauerten nur wenige Tage, aber sie basierten auf jahrelanger Forschung.

Ihre Bewerbung hat zwei Schreibattribute: „Verwirrung“ und „Explosion“. Ratlosigkeit misst den Grad, in dem ChatGPT von der Prosa verwirrt ist; Ein hoher Verwirrungswert deutet darauf hin, dass ChatGPT die Wörter möglicherweise nicht hervorgebracht hat. Burstiness ist ein Gesamtindikator, der die Ratlosigkeit im Laufe der Zeit darstellt.

„Für einen Menschen scheint die Explosion überall zu sein. Es hat plötzliche Spitzen und plötzliche Ausbrüche“, sagte Tian. „Im Vergleich zu einem Computer- oder Maschinenassay sieht dieses Diagramm sehr flach aus und ist im Laufe der Zeit ziemlich konstant.“

Tian und seine Professoren stellen die Hypothese auf, dass die Explosion der von Menschen geschriebenen Prosa eine Folge der menschlichen Kreativität und des Kurzzeitgedächtnisses sein könnte. Das heißt, Menschen haben plötzliche Kreativitätsschübe, denen manchmal Pausen folgen. Unterdessen sind Maschinen, die auf Informationen aus dem Internet zugreifen, entweder „allwissend“ oder „irgendwie konstant“, sagte Tian.

Als GPTZero am 2. Januar der Öffentlichkeit vorgestellt wurde, erwartete Tian, ​​dass ein paar Dutzend Leute es ausprobieren würden. Aber die App ging viral. Seit ihrer Einführung haben Hunderttausende von Menschen aus den meisten US-Bundesstaaten und über 30 Ländern die App verwendet.

„Es war absolut verrückt“, sagte Tian und fügte hinzu, dass sich mehrere Risikokapitalgeber gemeldet hätten, um über seine App zu sprechen. „Generative KI und ChatGPT-Technologie sind brillant innovativ. Gleichzeitig ist es, als würde man die Büchse der Pandora öffnen … Wir müssen Schutzmaßnahmen schaffen, damit diese Technologien verantwortungsbewusst eingesetzt werden.“

Tian möchte nicht, dass Lehrer seine App als Werkzeug verwenden, um akademische Ehrlichkeit zu erzwingen. Vielmehr treibt ihn der Wunsch an, zu verstehen, was die menschliche Prosa einzigartig macht.

„Das menschliche Schreiben hat etwas implizit Schönes“, sagte Tian, ​​​​ein Fan von Schriftstellern wie John McPhee und Annie Dillard. „Computer erfinden nichts Originelles. Sie nehmen im Grunde riesige Teile des Internets auf und erbrechen Muster.“

Keine Penalty-Detektoren

Genau wie Wettervorhersage-Tools liefern bestehende KI-Tools zur Erkennung von Handschriften Aussagen über Wahrscheinlichkeiten. Daher können selbst hohe Wahrscheinlichkeitswerte nicht vorhersagen, ob ein Autor empfindungsfähig war.

„Die große Sorge ist, dass ein Lehrer den Detektor benutzt und dann den Schüler traumatisiert, indem er ihm die Schuld gibt, und es endet mit einem Fehlalarm“, sagte Anna Mills, Englischlehrerin am College of Marin, über die aufkommende Technologie.

Aber Lehrer können ihren Schülern aus anderen Gründen als der Durchsetzung des Ehrenkodex Tools zur KI-Handschrifterkennung einführen. Zum Beispiel, Nestor Pereira, Vizedekan für akademische und Lerntechnologien am Miami Dade College, sieht KI-Tools zur Erkennung von Handschriften als „Sprungbrett für Gespräche mit Studenten“. Das heißt, dass Studenten, die versucht sind, KI-Schreibwerkzeuge zu verwenden, um ihr Schreiben falsch darzustellen oder zu ersetzen, es laut Pereira in Gegenwart solcher Werkzeuge noch einmal überdenken.

Aus diesem Grund verwendet Miami Dade eine kommerzielle Softwareplattform – die den Schülern zeilenweise Feedback zu ihrem Schreiben gibt und Schülerdiskussionen moderiert – die kürzlich eine KI-Handschrifterkennung integriert hat. Pereira befürwortete das Produkt in einer Pressemitteilung des Unternehmens, obwohl er erklärte, dass weder er noch seine Institution Zahlungen oder Geschenke für die Befürwortung erhalten hätten. Er räumte jedoch ein, dass seine Unterstützung Grenzen habe.

„Wir sind definitiv besorgt über Fehlalarme“, sagte Pereira. Innerhalb der Hochschulbildung. „Ich mache mir auch Sorgen um falsch negative Ergebnisse.“

Neben Diskussionen über akademische Integrität sprechen Fakultätsmitglieder mit Studenten über die Rolle von KI-Tools zur Erkennung von Handschriften in der Gesellschaft. Einige sehen diese Gespräche als eine Notwendigkeit an, zumal erwartet wird, dass KI-Schreibwerkzeuge in den Post-College-Jobs vieler Studenten weit verbreitet sein werden.

„Diese Tools werden nicht perfekt sein, aber … wenn wir sie nicht für Tag-Zwecke verwenden, müssen sie nicht perfekt sein“, sagte Mills. „Wir können sie als Lernwerkzeug nutzen.“ Lehrer können die neue Technologie nutzen, um Schüler dazu zu ermutigen, sich an einer Vielzahl produktiver ChatGPT-Aktivitäten zu beteiligen, darunter Nachdenken, Fragen stellen, Debattieren, Erkennen von Mängeln und Experimentieren.

Darüber hinaus können Erkennungstools auf gesellschaftlicher Ebene die Bemühungen unterstützen, den öffentlichen Diskurs vor der böswilligen Verwendung von Textgeneratoren zu schützen, so Mills.. Beispielsweise können Social-Media-Plattformen, die bereits Algorithmen verwenden, um Entscheidungen darüber zu treffen, welche Inhalte gepusht werden, die Tools verwenden, um sich vor schlechten Akteuren zu schützen. In diesen Fällen können Quoten gut funktionieren.

„Wir müssen kämpfen, um die Menschlichkeit der Kommunikation zu bewahren“, sagte Mills.

Eine langfristige Herausforderung

In einem früheren Alter war eine leibliche Mutter, die ein Kind mit Hilfe einer angesehenen Adoptionsagentur anonym bei Adoptiveltern untergebracht hatte, möglicherweise zuversichtlich, dass ihre Vaterschaft niemals ans Licht kommen würde. Das änderte sich alles, als schnelle und erschwingliche DNA-Tests von Unternehmen wie 23andMe Adoptierten den Zugang zu Informationen über ihr genetisches Erbe ermöglichten.

Während aktuelle KI-Schreiberkennungstools bestenfalls unvollkommen sind, kann jeder Autor, der hofft, den Text eines KI-Autors als seinen eigenen auszugeben, in Zukunft veröffentlicht werden, wenn sich die Erkennungstools verbessern können.

„Wir müssen uns an den Gedanken gewöhnen, dass man einen Textgenerator nicht geheim halten kann“, sagte Mills. „Die Menschen müssen wissen, wann es dieser mechanische Prozess ist, der sich auf all diese anderen Quellen stützt und Vorurteile beinhaltet, die wirklich die Wörter zusammenfügen, die den Gedanken geformt haben.“

Tians GPTZero ist nicht die erste App, die KI-Handschrift erkennt, und wird wahrscheinlich auch nicht die letzte sein.

OpenAI, der Entwickler von ChatGPT, sieht Erkennungsbemühungen als „langfristige Herausforderung“. Untersuchungen an von GPT-2 generiertem Text zeigen, dass das Erkennungstool etwa 95 % der Zeit funktioniert, was „für eine autonome Erkennung nicht genau genug ist und mit Ansätzen gepaart werden muss, die auf Metadaten, menschlichem Urteilsvermögen und öffentlicher Aufklärung basieren, um erfolgreich zu sein .“ effektiver“, so OpenAI. Der Studie zufolge hängt die Erkennungsgenauigkeit stark von den Probenahmemethoden der Schulung und des Tests ab und davon, ob die Schulung eine Vielzahl von Probenahmetechniken umfasste.

Die nachträgliche Erkennung ist nur ein Ansatz für das Problem der Unterscheidung zwischen von Menschen geschriebenem und computergeschriebenem Text. OpenAI versucht, den ChatGPT-Text mit einem „Wasserzeichen“ zu versehen. Diese digitalen Signaturen können ein „unsichtbares geheimes Zeichen“ enthalten, das anzeigt, dass der Text von ChatGPT generiert wurde. Ein solches Signal wäre nur für diejenigen erkennbar, die den „Schlüssel“ zu einer kryptografischen Funktion besitzen – einer mathematischen Technik für sichere Kommunikation. Die Arbeit steht noch aus, aber einige Forscher und Brancheninsider haben bereits Zweifel am Potenzial des Wasserzeichens geäußert und Bedenken geäußert, dass Problemumgehungen trivial sein könnten.

Turnitin gab bekannt, dass es ein KI-Handschrifterkennungstool in der Entwicklung hat, das in „wissenschaftlichem Schreiben aus einer umfassenden Datenbank trainiert ist, im Gegensatz zu Inhalten, die nur der Öffentlichkeit zugänglich sind“. Einige Akademiker sind jedoch misstrauisch gegenüber kommerziellen Produkten zur KI-Erkennung.

“Ich denke nicht [AI-writing detectors] muss hinter einer Paywall sein“, sagte Mills.

Hochschulbildung passt sich (wieder) an

„Denken Sie darüber nach, was wir wachsen lassen wollen“, sagte Joseph Helble, Präsident der Lehigh University. „In den Zeiten vor dem Internet und vor der generativen KI ging es früher darum, Inhalte zu dominieren. Jetzt müssen die Schüler die Inhalte verstehen, aber es geht viel mehr darum, die Interpretation und Verwendung der Inhalte zu beherrschen.“

ChatGPT fordert die Hochschulbildung auf, zu überdenken, wie man Studenten am besten ausbildet, sagte Helble. Er erzählte die Geschichte eines Ingenieurprofessors, den er vor Jahren kennengelernt hatte und der Studenten durch mündliche Prüfungen bewertete. Die Prüfungen wurden mit einem Echtzeit-Schüler skaliert, sodass jeder Schüler etwas demonstrieren konnte. Darüber hinaus passte der Lehrer die Fragen während der Anwendung des Tests an, wodurch die Grenzen des Wissens und des Verständnisses der Schüler getestet wurden. Helble hielt den Ansatz damals für „radikal“ und räumt ein, dass es auch heute noch eine Herausforderung für Lehrer wäre, ihn umzusetzen. „Aber die Idee, dass [a student] Können in mehreren Dimensionen demonstrieren, eine 30-seitige Hausarbeit schreiben – diesen Teil müssen wir komplett überdenken.

Helble ist nicht der einzige Akademiker, der auf die Idee gekommen ist, manche Schreibarbeiten durch mündliche Prüfungen zu ersetzen. Künstliche Intelligenz, so scheint es, kann helfen, potenzielle Zeitbeschränkungen bei der Durchführung mündlicher Prüfungen zu überwinden.

„Das Bildungssystem muss sich anpassen [to ChatGPT’s presence] sich mehr auf Verständnis und Kreativität zu konzentrieren und teurere mündliche Prüfungen wie mündliche Prüfungen oder Prüfungen ohne Erlaubnis zur Verwendung von Technologie zu verwenden“, sagte Bengio und fügte hinzu, dass mündliche Prüfungen nicht oft abgelegt werden müssten. „Wenn wir an einen Punkt kommen, an dem wir nicht erkennen können, ob ein Text von einer Maschine geschrieben wurde oder nicht, müssen diese Maschinen auch gut genug sein, um den Text auszuführen [oral] Prüfungen selbst, zumindest für die häufigsten Leistungsnachweise innerhalb eines Schuljahres“.