Neue Forschungsstudie unter der Leitung von Prof. Dr. Stefan Gröner zum Thema Generative KI

Prof. Dr. Stefan Gröner leitet neue Forschungsstudien zum Thema

„Generative KI“

Zur Forschungsstudie:

Eine neue Studie zeigt KI-Erfolgsfaktoren für die für die menschliche Optimierung von Generativer KI.

KI wird immer mehr zur Schlüsselkomponente für die Erstellung von Texten und Bildern in den unterschiedlichsten Branchen. Diese Entwicklung macht auch vor dem Journalismus nicht Halt, und hier vor allem als Werkzeug bei der journalistischen Texterstellung. Die zentrale Debatte hierbei ist, ob die Technologie den Menschen (in diesem Fall den Journalisten) ersetzen wird oder ob beide zusammenarbeiten müssen, um erfolgreich zu sein. Ebenfalls essenziell ist die Frage, ob KI heute überhaupt in der Lage ist, journalistische Texte von redaktionell vergleichbarer Qualität zu erstellen wie wir sie heute etwa in der ZEIT, der Süddeutschen Zeitung oder der Frankfurter Allgemeinen Zeitung lesen. Ist dies nicht der Fall, müssen Wege gefunden werden, wie ein KI- generierter journalistischer Text im Nachhinein optimiert werden muss, um den Standards der Branche gerecht zu werden. Überlegungen wie diese beschäftigen auch die Wissenschaft, in der oft vom „algorithmischen Journalismus“, dem „computergestützten Journalismus“ oder dem „Roboterjournalismus“ gesprochen wird, wenn es darum geht, den Einsatz von KI im Journalismus zu untersuchen. Dadurch, dass KI eine große Bandbreite an Anwendungsmöglichkeiten bietet, gestaltet sich auch das Forschungsspektrum über den Einsatz im Journalismus vielfältig.

Das neue Berufsfeld Metajournalist

Konkret forscht die Wissenschaft heute zum Beispiel, wie KI Journalist:innen bei der Informationsgewinnung, der Nachrichtendistribution, der inhaltlichen Optimierung und der automatisierten Produktion von Inhalten helfen kann. Der Hauptfokus liegt hierbei auf der automatisierten Produktion von Inhalten. Dieser Prozess beschreibt die Umwandlung von strukturierten Daten in einen Text unter Mitwirkung von KI. Eingesetzt wird diese Methode im Journalismus schon länger, wenn auch nur für kurze, oft wiederkehrende Nachrichten wie z.B. Wahlergebnisse, Wetterberichte oder Sportergebnisse.

Mit fortschrittlichen KI-Modellen wie ChatGPT entstehen nun neue Möglichkeiten beim Einsatz, der auch die Produktion von längeren und komplexeren, journalistischen Texten ermöglicht. Wie eine konkrete Anwendung dahingehend aussehen kann, fehlt bislang in wissenschaftlichen Forschungen. Auch gibt es von Seiten der Wissenschaft noch keine klare Antwort auf die Frage, wie eine zukünftige Zusammenarbeit zwischen den beiden Akteuren (KI einerseits und Redaktion/Journalismus anderseits) aussehen soll. Aktuelle Debatten legen nahe, dass sich das klassische Berufsbild eines heutigen Journalisten hin zu einem sogenannten „Metajournalisten“ verändern wird, der den Umgang mit KI bestmöglich beherrscht anstatt mit dieser zu konkurrieren.

Erfolgsfaktoren für KI-Journalismus

Um diesen zentralen Fragen der Debatte wissenschaftliche Erkenntnisse beizusteuern, wurde im Rahmen einer empirischen Studie von Jonathan Posovatz an der Hochschule Fresenius unter Betreuung von Prof. Dr. Stefan Gröner untersucht, welche Erfolgsfaktoren für die Optimierung Transformer-generierter, komplexer journalistischer Texte entscheidend sind.

Dazu wurde zunächst mit Hilfe von neuester KI in Form von ChatGPT-4 ein komplexer, journalistischer Text nach Standards qualitativer Medienangebote (wie DER SPIEGEL, Süddeutsche Zeitung, DIE ZEIT, Frankfurter Allgemeine Zeitung) erstellt. In einem weiteren Schritt wurde der erzeugte Text von einer Journalistin der Süddeutschen Zeitung nach gängigen journalistischen Qualitätsmerkmalen wie Vielfalt, Objektivität, User Value, Emotionalität und Verständlichkeit optimiert. Diese zwei Textvarianten wurden dann im Anschluss jeweils 98 Leser:innen von qualitativ hochwertigen Medienangeboten in Deutschland randomisiert innerhalb einer online-Umfrage zur Bewertung vorgelegt. Die Bewertung erfolgte dabei anhand einer Skala, die aus 24 Gegensatzpaaren gebildet wurde. Alle Gegensatzpaare wurden dabei in Form eines Adjektivs aus den journalistischen Qualitätsmerkmalen gebildet. So konnte zum Beispiel die Verständlichkeit auf der Skala von „leicht verständlich“ bis „schwer verständlich“ bewertet werden. In der späteren Auswertung war somit der Vergleich der beiden Bewertungen der jeweiligen Texte möglich. Auch konnten daraus die Erfolgsfaktoren für die Optimierung identifiziert werden, etwa wenn eine Bewertung eines Gegensatzpaares bei dem optimierten KI-Text besser ausfiel, als bei dem ursprünglichen KI-Text. Die Ergebnisse zeigen eine bessere Bewertung des optimierten KI-Textes in 22 von 24 der Bewertungskriterien der Skala, wobei 19 dieser Bewertungen statistisch signifikant waren“, so die Forscher der Hochschulstudie.
Nur in der Kategorie „emotional“ bis „nüchtern“ schnitt der ursprüngliche KI-Text „besser“ ab, weil er emotionaler wahrgenommen wurde. Generell sprechen diese Ergebnisse für eine höhere Textqualität des optimierten KI-Textes und legen somit nahe, dass dem Journalismus weiterhin eine wichtige Rolle zukommt, in dem er KI-Texte durch gängige, journalistische Qualitätsdimensionen optimieren und somit deren Textqualität verbessern kann. Die Ergebnisse zeigen jedoch auch, dass neueste Transformer-Sprachmodelle wie ChatGPT-4 eigenständig komplexe, journalistische Texte erstellen können, die sich von einfacheren, automatisierten Nachrichtentexten wie z.B. Wetterberichten deutlich in deren Qualität abheben.
Trotz der besseren Bewertung des redaktionell optimierten KI-Textes erzielte der ursprüngliche KI-Text eine durchweg mittlere bis positive Bewertung“, berichtet die Studie.
Verstärkt wird diese Erkenntnis durch die Ergebnisse aus dem Teil, bei dem die Leser:innen befragt wurden, ob sie der Meinung sind, dass der gelesene Text KI-generiert wäre.
Über 50 % der Leser:innen konnten den KI-Text nicht als solchen identifizieren und 22 % dachten, er stamme von einem menschlichen Autor. Das unterstreicht das Potenzial von KI im Journalismus. Dieses Potenzial in Zusammenhang mit den Erfolgsfaktoren für die Optimierung der Texte scheint die bestmögliche Zusammenarbeit in Zukunft darzustellen.

Welche Erfolgsfaktoren hier entscheidend sind, lässt sich aus der Befragung erkennen: Bei der Verständlichkeit schnitt der optimierte KI-Text in 13 von 16 Kriterien besser ab. Besonders in den Bereichen einfache Satzstrukturen und Konkretisierung zeigte sich die Optimierung als effektiv. Somit kann diese Dimension als klarer Erfolgsfaktor bei der Optimierung bezeichnet werden. Daneben wurde auch die Objektivität des optimierten KI-Textes positiv bewertet, insbesondere hinsichtlich der Trennung von Fakten und Meinungen. In der Dimension der Vielfalt wurde der optimierte KI-Text als vielfältiger in der Darstellung empfunden. Dies könnte, so die Studie, teilweise auf die erhöhte Objektivität zurückzuführen sein, die eine einseitige Darstellung vermindert. Beim „User Value“ zeigte der optimierte KI-Text ebenfalls eine signifikante Verbesserung, indem er als informativer und orientierender empfunden wurde. Diese Erkenntnis korreliert gleichzeitig mit einer höheren Verständlichkeit. Weniger eindeutig ist die „Emotionalität“ als Erfolgsfaktor. Die Bewertung der Texte ist zwar unterschiedlich, kann jedoch nicht eindeutig als besser oder schlechter eingestuft werden. Dies deutet darauf hin, dass Optimierungen in diesem Bereich vielversprechend sein können, aber je nach Medium variieren. Bei Medien, die sich durch ihren emotionalen Stil auszeichnen, kann eine Optimierung sogar kontraproduktiv sein und der ursprüngliche KI-Text besser bewertet werden. Hingegen bei Medien, die einen nüchternen Stil verfolgen, kann eine journalistische Optimierung dahingehend sinnvoll sein. Deutlicher als Erfolgsfaktor einzustufen ist die Glaubwürdigkeit, die beim optimierten KI-Text als signifikant höher bewertet wurde, was in der aktuellen Debatte um die Glaubwürdigkeit von KI im Journalismus besonders relevant ist. Angesichts aktueller Trends und Forschungsergebnisse ist die Integration von KI in den Journalismus unvermeidlich. Die Herausforderung besteht darin, herauszufinden, wie dieser Einsatz am besten gestaltet werden kann.

Die Forschungsarbeit zeigt, dass KI, insbesondere fortschrittliche Modelle wie ChatGPT-4, komplexe, journalistische Texte generieren kann, die von Lesern positiv bewertet werden. Dennoch kann eine menschliche Optimierung diese Texte weiter verbessern, insbesondere in den Bereichen Verständlichkeit, Objektivität, User Value und der Glaubwürdigkeit. Dies weist auf eine zukünftige Synergie zwischen Journalist:innen und KI hin, wobei Journalist:innen lernen müssen, effektiv mit KI-Tools zu arbeiten. Diese „Metajournalisten“ könnten dann von KI profitieren, um sich auf andere, tiefgreifendere und zeitintensiveren Aspekte des Journalismus zu konzentrieren.

Prof. Dr. Stefan Gröner hält die Kick-off-Keynote zum Thema „Künstliche Intelligenz und der Faktor Mensch in der Finanzindustrie“ beim CITYWIRE Hamburg Retreat 2024

Die Integration von Künstlicher Intelligenz (KI) in die Finanzindustrie markiert einen bedeutenden Wandel in der Art und Weise, wie Finanzoperationen und -strategien formuliert und ausgeführt werden. Obwohl KI beispiellose Effizienz, Präzision und analytische Kraft bietet, bleibt der menschliche Faktor ein zentrales Element im Prozess der Strategieidentifikation und -umsetzung.

Weiterlesen »

Prof. Dr. Stefan Gröner hält den Eröffnungs-Vortrag zum Thema „Künstliche Intelligenz und Smart Cities in der Immobilienbranche“ beim Forum Zukunft 2024 des VDIV in Weimar

Die Einführung von Künstlicher Intelligenz und die Entwicklung von Smart Cities revolutionieren die Immobilienbranche in vielerlei Hinsicht. Diese Technologien bieten nicht nur innovative Lösungen zur Verbesserung der Effizienz und Rentabilität, sondern tragen auch dazu bei, den Sektor nachhaltiger und benutzerfreundlicher zu gestalten.

Weiterlesen »

Prof. Dr. Stefan Gröner hält die Keynote zum Thema „Mobilität der Zukunft“ bei der 4. VDV-Plattform zur digitalen Transformation des ÖPNV

Die Zukunft der Mobilität ist smart, vernetzt und nachhaltig. Künstliche Intelligenz wird nicht nur die Art und Weise, wie wir reisen, revolutionieren, sondern auch dazu beitragen, Verkehrsströme effizienter zu gestalten und Umweltauswirkungen zu minimieren. Als Zukunftsforscher ist es wichtig, die transformative Rolle dieser Technologien zu verstehen und zu kommunizieren.

Weiterlesen »

Vortrag von Prof. Dr. Stefan Gröner zum Thema „Künstliche Intelligenz und der Faktor Mensch im Gesundheitswesen“ beim YOUNG EXPERT MEETING und den AUSTRIAN DENTAL DAYS 2023

Die Integration von Künstlicher Intelligenz (KI) in die medizinische Praxis markiert einen bahnbrechenden Wandel im Gesundheitswesen. Dieser Vortrag beleuchtet, wie Künstliche Intelligenz die Rolle der Ärzte neu definiert und die Patientenversorgung revolutioniert. Die vielschichtigen Auswirkungen reichen von verbesserter Diagnosegenauigkeit bis hin zu personalisierten Behandlungsstrategien.

Weiterlesen »

Prof Dr. Stefan Gröner im Interview zu Digital Healthcare: Revolutionierung der Zukunft mit KI, AlphaFold und CRISPR/Cas9

In der dynamischen Welt der Medizintechnik eröffnet die digitale Gesundheitsfürsorge einen vielversprechenden Ausblick auf Veränderungen in der Patientenversorgung und den Behandlungsmethoden. Zwei bahnbrechende Technologien, das KI-Tool AlphaFold und CRISPR/Cas9, stehen an der Spitze dieser Revolution und weisen den Weg zu einer Zukunft, in der personalisierte und präzise Behandlungen nicht nur theoretisch denkbar, sondern bereits Realität sind.

Weiterlesen »