ChatGpt generiert gefälschte klinische Studiendaten, um wissenschaftliche Hypothesen zu stützen

MADRID, 7. Dic. (EUROPA PRESS) –

Eine Gruppe von Forschern der Abteilung für Augenheilkunde an der Universität Magna Graecia in Catanzaro, Italien, hat die Technologie hinter ChatGPT mit künstlicher Intelligenz (KI) genutzt, um einen gefälschten Datensatz für klinische Studien zu erstellen und eine unbestätigte wissenschaftliche Behauptung zu untermauern. , Warnung vor der Gefahr dass diese Technologie für die Wissenschaft von Bedeutung sein kann, wie aus einem Brief hervorgeht, der in „Jama Ophtalmogoly“ veröffentlicht und von der Zeitschrift „Nature“ gesammelt wurde.

Durch künstliche Intelligenz (KI) generierte Daten verglichen die Ergebnisse zweier chirurgischer Eingriffe und gaben fälschlicherweise an, dass eine Behandlung besser sei als die andere. Zu diesem Zweck verwendeten die Autoren GPT-4, die neueste Version des Sprachmodells, auf dem ChatGPT läuft, zusammen mit Advanced Data Analytics (ADA), einem Modell, das die Programmiersprache Python integriert und statistische Analysen durchführen und Datenvisualisierungen erstellen kann.

„Unser Ziel war es hervorzuheben, dass in wenigen Minuten ein Datensatz erstellt werden kann, der nicht durch echte Originaldaten gestützt wird und der auch das Gegenteil oder die entgegengesetzte Richtung zu den verfügbaren Beweisen aufweist“, sagt Co-Autor der Studie und Chirurgenokular von der Universität Cagliari in Italien, Giuseppe Giannaccare, in „Nature“.

Nach dieser Erkenntnis gibt die Fähigkeit der KI, überzeugende Daten zu fabrizieren, bei Forschern und Zeitschriftenherausgebern Anlass zur Sorge hinsichtlich der Forschungsintegrität. „Es war eine Sache, dass generative KI zur Generierung von Texten verwendet werden könnte, die von Plagiatssoftware nicht erkannt werden könnten, aber die Fähigkeit, gefälschte, aber realistische Datensätze zu erstellen, ist die nächste Ebene der Sorge“, sagt die Mikrobiologin und unabhängige Forscherin Elisabeth Bik. .

So versichert Bik, dass diese Technologie „es jedem Forscher oder jeder Gruppe von Forschern sehr leicht machen wird, falsche Messungen bei nicht existierenden Patienten vorzunehmen, falsche Antworten auf Fragebögen zu geben oder große Datenmengen zu Tierversuchen zu generieren.“

Die Autoren beschreiben die Ergebnisse als eine „scheinbar authentische Datenbank“, doch als Spezialisten diese Daten untersuchten, bestanden sie bei der Authentizitätsprüfung nicht und enthielten verräterische Anzeichen einer Fälschung.

Um zu dieser Schlussfolgerung zu gelangen, baten die Forscher GPT-4 ADA, einen Datensatz über Menschen mit einer Augenerkrankung namens Keratokonus zu erstellen, die zu einer Verdünnung der Hornhaut führt und zu Konzentrationsproblemen und schlechter Sehkraft führen kann. Bei 15 bis 20 Prozent der Betroffenen umfasst die Behandlung eine Hornhauttransplantation, die durch einen von zwei Eingriffen durchgeführt wird.

Bei der ersten Methode, der durchdringenden Keratoplastik (PK), werden alle beschädigten Schichten der Hornhaut chirurgisch entfernt und durch gesundes Gewebe eines Spenders ersetzt. Beim zweiten Verfahren, der tiefen anterioren lamellären Keratoplastik (DALK), wird nur die vordere Schicht der Hornhaut ersetzt, während die innerste Schicht intakt bleibt.

Die Autoren beauftragten ChatGpt, Daten zu fabrizieren, um die Schlussfolgerung zu stützen, dass die DALK-Methode bessere Ergebnisse liefert als PK. Dazu baten sie ihn, einen statistischen Unterschied in einem bildgebenden Test aufzuzeigen, der die Form der Hornhaut beurteilt und Unregelmäßigkeiten erkennt, sowie einen Unterschied im Sehvermögen der Studienteilnehmer vor und nach den Eingriffen.

Die von der KI generierten Daten umfassten 160 männliche und 140 weibliche Teilnehmer und zeigten, dass diejenigen, die sich DALK unterzogen, sowohl beim Sehtest als auch beim Bildgebungstest bessere Ergebnisse erzielten als diejenigen, die PK unterzogen wurden, ein Befund, der im Widerspruch zu den Ergebnissen aktueller klinischer Studien steht. In einem Bericht aus dem Jahr 2010 über eine Studie mit 77 Teilnehmern waren die Ergebnisse von DALK bis zu zwei Jahre nach der Operation denen von PK ähnlich.

„Es scheint ziemlich einfach zu sein, Datensätze zu erstellen, die zumindest oberflächlich plausibel sind. Für das ungeübte Auge sieht dies also sicherlich wie ein echter Datensatz aus“, sagt Jack Wilkinson, Biostatistiker von der University of Manchester.

Offenbar scheinen die wissenschaftlichen Daten von Menschen und nicht von künstlicher Intelligenz generiert zu werden, doch die Forscher versichern, dass es durch gründliche Untersuchung möglich sei, den nichtmenschlichen Ursprung dieser Daten zu unterscheiden. „Wenn man sich den Datensatz sehr schnell ansieht, ist es schwierig, den nichtmenschlichen Ursprung der Datenquelle zu erkennen“, bemerkt der Chirurg Giuseppe Giannaccare.

Auf Anfrage des Magazins „Nature“ werteten die Forscher den gefälschten Datensatz mithilfe eines Erkennungsprotokolls aus, um dessen Echtheit zu überprüfen.

Dabei zeigte sich bei vielen „Teilnehmern“ eine Diskrepanz zwischen ihrem angegebenen Geschlecht und dem Geschlecht, das normalerweise von ihrem Namen erwartet würde. Darüber hinaus wurde keine Korrelation zwischen präoperativen und postoperativen Messungen der Sehfähigkeit und Augenbildgebungstests gefunden.

Darüber hinaus wurde die Verteilung der Zahlen in einigen Spalten des Datensatzes untersucht, um nach nicht zufälligen Mustern zu suchen. Die Werte aus den Augenbildern bestanden diesen Test, allerdings waren die Alterswerte einiger Teilnehmer auf eine Weise geclustert, die in einem echten Datensatz äußerst ungewöhnlich wäre, da es überproportional viele Teilnehmer gab, deren Alterswerte endete um sieben und acht.

„In der Realität reicht die Peer-Review oft nicht aus, um die Daten vollständig erneut zu analysieren, und es ist unwahrscheinlich, dass gut geplante Integritätsverletzungen mithilfe von KI erkannt werden“, sagt Bernd Pulverer, Chefredakteur von EMBO Reports, und fügt hinzu, dass die Qualität der Zeitschriften aktualisiert werden muss Kontrollen zur Identifizierung synthetischer Daten, die von KI generiert werden. .

Der Forscher Wilkinson leitet jedoch ein Gemeinschaftsprojekt zur Entwicklung statistischer und nichtstatistischer Tools zur Auswertung potenziell problematischer Studien, denn „so wie KI Teil des Problems sein könnte, könnte es für einige davon KI-basierte Lösungen geben.“ „Möglicherweise können wir einige dieser Kontrollen automatisieren“, sagt er.