„Nichts sollte ganz automatisiert sein – es braucht immer einen Menschen im Prozess.“

Kai, dein Buch ist eine Hilfestellung für die vielen Leute, die schon von ChatGPT gehört, es vielleicht sogar ausprobiert haben, aber nun doch lernen wollen, wie man es richtig nutzt. Als KI-Experte und Berater: Was sind die häufigsten Fragen, die dir gestellt werden?

Kai Spriestersbach: Wonach jeder fragt, ist nach dem einen Prompting-Hack oder dem einen Tipp, der alle Probleme lösen soll. Mit allem, was gerade über KI berichtet wird, sind bei einigen Unternehmen offensichtlich völlig überzogene Erwartungen entstanden, die dann teils auch zu wirklich absurden oder wilden Fragen führen.

Hier würde uns ein Beispiel natürlich brennend interessieren.

Gerade kürzlich hat mich jemand aus der Schweiz kontaktiert, eine sehr hohe Person in einem sehr großen Schweizer Unternehmen. Die Person hat mir erzählt, dass das Unternehmen künftig seine Management-Risikobewertung mit GPT machen wolle, das Ziel sei „eine prozentuale Risikoeinstufung für verschiedene Szenarien“. Die Frage lautete: „Wie kriegen wir dafür denn jetzt die statistische Signifikanz aus der Maschine?“ (Lacht.) Dann habe ich erst mal erklären müssen, dass das in ihren bisherigen Tests mit KI zwar vielleicht so aussah, als hätte GPT die verfütterten Daten nach einer gewissen Methodik untersucht und deshalb etwas Ansprechendes ausgespuckt, aber dass das eben nur so aussah. Dass die KI also im Kern ganz anders funktioniert als von der Person und ihren Leuten angenommen und dass ihre Ansprüche auf dem von ihnen gewählten Weg sicher nicht erfüllt werden können. Dem Menschen hat es dabei sicherlich nicht an Intelligenz gefehlt. Aber was fehlt, ist das tatsächliche Verständnis von ChatGPT. Und damit verbringe ich immer noch die meiste Zeit: den Leuten zu erklären, was ChatGPT macht, warum, und was man damit dann tun kann – und was eben nicht.

Obwohl also eigentlich – hoffentlich! – alle wissen, dass sie Befehle in eine Maschine eingeben und nicht mit einem denkenden Individuum mit bestimmten Absichten sprechen, scheint es dennoch schwierig zu sein, sich dessen stets bewusst zu bleiben.

Wir Menschen sind nun halt auch keine reinen Vernunftwesen. Man denke nur an all die Biases. Und eben auch unseren Hang zur Anthropomorphisierung, zur Vermenschlichung von Technik. Das ist eines der Hauptprobleme: Du siehst was, das geht, und nimmst sofort an, dass damit dann auch alles andere geht. Aber das ist falsch, und wir müssen diskutieren, warum es falsch ist, gerade weil es im Moment so ein Riesenthema ist und eben auch viele gesellschaftliche Implikationen damit verknüpft sind. Mittlerweile will ich über Fragen wie „Wie kann ich meinen SEO-Text mit KI optimieren?“ gar nicht mehr reden. Natürlich beantworte ich das gern und kann verstehen, warum das die Leute interessiert, aber das ist halt nicht, worüber wir jetzt vordergründig sprechen sollten, wie ich finde.

Dein Buch dazu ist noch nicht alt. Gibt es schon Dinge, die sich seit dessen Veröffentlichung verändert haben?

Ja, es ist eine ganze Menge passiert. Der Einleitungsteil und der allgemeine Verständnisteil werden, sage ich jetzt einfach mal, die Zeit auch überleben. Darum empfehle ich das Buch auch nach wie vor, etwa für die Prompting-Beispiele. Aber eine ganze Menge zum Thema „Datenanalyse“ war noch nicht bekannt, auch bei der Bildergenerierung – die im Übrigen auch das Titelbild zu diesem Interview erweitert hat – und den Custom-GPTs gibt es nun im Buch Lücken, die zu füllen sind.

Was mir auch einfällt, ist, dass du darin als eine der Grenzen von ChatGPT aufzählst, dass man damit noch nicht aufs Internet zugreifen kann. Bei der Gratisversion ist das Stand heute immer noch so, ansonsten hat sich das aber geändert. Was würdest du also sagen, wo liegen heute die Grenzen von ChatGPT?

Das ist eine super Frage. Auch wenn ich jetzt Zugriff auf das Internet habe, besteht zum einen die Gefahr, selbst wenn eine Ausgabe als Nachweis eine Quelle bekommt, dass ChatGPT diese Quelle falsch wiedergibt. Zum anderen ist natürlich auch die Frage: Was ist überhaupt die Quelle? Es gibt jetzt einen Fall in den USA, da hat jemand mit dem Bing-Co-Assistenten eine Geschichte geschrieben und sie auf seinem Blog veröffentlicht. Da war eine Halluzination drin mit irgendwelchen Forschungsarbeiten, die es gar nicht gibt. Und ein anderer Nutzer hat dann über Bing wiederum das als Quelle serviert bekommen – und zwar als Fakt. Das ist so ein Fall von „die KI füttert sich am Ende des Tages selbst“. Und wir sehen jetzt immer öfter: Das ist definitiv ein Problem.

Limitieren sich die Möglichkeiten von ChatGPT vielleicht gewissermaßen auch selbst, eben durch die von dir erwähnten falschen Erwartungen und die Unkenntnis?

Absolut. Selbst Leute, die ich geschult habe, schreiben mir teilweise Sachen, bei denen ich die Hände über dem Kopf zusammenschlage. Erst heute habe ich wieder ein Problem bekommen, bei dem ChatGPT das falsche Werkzeug ausgewählt hat.

ChatGPT ist ein riesiger Werkzeugbaukasten, aber du kannst dir halt auch mit der Bohrmaschine deine Stromleitung anbohren, wenn du nicht mitdenkst.

Kai Spriestersbach

Und das wird uns auch die nächste Zeit noch begleiten, weil immer wieder Leute jetzt erst neu auf das Thema stoßen.

Gibt es noch andere Einschränkungen?

Eine ganz wichtige, die nach wie vor besteht, ist das Kontextfenster, also die Länge des zu verarbeitenden Textes. Es gibt zwar jetzt auch eine Ausweitung. Aber nehmen wir mal an, ich mache wirklich die vollen 128 000 Token voll, dann ist das Modell nicht in der Lage, den gesamten Text auf einmal sinnvoll zusammenzufassen. Der Inhalt vom Anfang und der vom Ende werden immer übergewichtet, in der Mitte geht oft Information verloren. Also muss man längere Texte nach wie vor abschnittsweise durchhangeln. Und ich finde es immer noch schlecht, dass OpenAI in ChatGPT nicht farblich markiert, was die KI überhaupt sehen kann. Auch in einem langen Chatverlauf – denn die KI weiß ja gar nicht mehr, was oben steht. Und ganz abgesehen davon: Trotz allem, was da an Finetuning passiert, bleiben Halluzinationen ein Problem. Auch wenn ich ChatGPT zum Beispiel genau sage, wo die Information ist, woraus etwa eine Zusammenfassung gemacht werden soll, können nach wie vor katastrophale Fehler oder Missverständnisse auftreten. Es wird besser, aber ganz ehrlich:

Ich habe auch Einblicke in aktuelle KI-Forschung und es hat noch niemand eine Idee, wie man das Problem mit den Halluzinationen grundsätzlich lösen kann.

Kai Spriestersbach

Es gibt zwar Strategien, um die Wahrscheinlichkeit, dass das passiert, zu verringern, die Trefferchance zu erhöhen usw. Aber grundsätzlich, auf Basis der aktuellen Technologie, lässt sich das Problem nicht ganz lösen.

Vielleicht ist das ja auch einfach ein falscher Anspruch, den wir an die KI haben, oder? Dass wir keine Recherche mehr selbst durchführen müssen?

Danke! Genau das. So wie es hieß: „Wir brauchen kein Google mehr, denn die KI weiß ja alles.“ – das dachte man selbst bei der Version ohne Web-Access schon, denn: „Es hat ja alles gelesen, ne?“ Jetzt hat sich eben diese falsche Anspruchshaltung entwickelt. Und das ist, glaube ich, das Allerwichtigste, dass wir wissen, was können wir von der KI erwarten und was auch nicht. Gerade weil niemand so richtig versteht, was da wirklich passiert. Es ist ja auch hochkomplex. Du kannst nicht sagen, dass diese fünf Dinge „gehen“ und diese zehn Sachen nicht. Manchmal hängt es nur am Prompting. Dazu gibt es jetzt laufend Paper. Leider lesen viele der Entscheidungsträger in den Unternehmen diese aber nicht, ja nicht mal deren Zusammenfassungen. Und dann rufen sie mich an und ich muss es ihnen erklären …

Wir haben es vorhin bereits angeschnitten: Was sind denn die aktuellen Tradeoffs zwischen den verschiedenen Varianten?

Stand jetzt funktioniert die kostenfreie Version von ChatGPT mit GPT 3.5, nicht mit GPT 4 – auch wenn es den Umweg gibt, über Microsoft Copilot auch Teile von GPT 4 zu nutzen. Ich hatte letztens eine Diskussion mit diversen Hochschulprofessorinnen und -professoren, denen allen nicht bewusst war, wie sehr sich die Bezahlversion von der anderen unterscheidet, die aber auch gedacht haben, sie bräuchten sie ja gar nicht, weil die Studierenden meist nicht genug Geld hätten, um dann ChatGPT 4 zu nutzen. Da hab ich gedacht: Glaubt ihr denn ernsthaft, dass sie genau bei den 20 Dollar im Monat sparen, mit denen sie sich so viel Arbeit vom Hals schaffen?! Da werden sie eher beim Essen sparen oder mal am Wochenende. Was ich sagen würde, ist, dass ChatGPT Plus leider „gesetzt“ ist im Moment. Es ist einfach State of the Art, es liefert die besten Ergebnisse. Aber generell ist das eine dynamische Entwicklung und nur sehr schwer abzusehen.

Hat ChatGPT also keine Konkurrenz?

Es gibt durchaus spannende Alternativen. Ich benutze ab und zu gerne Claude. Und auch selbst gehostete LLMs, die lokal laufen, kommen immer mehr. Die sind für viele grundlegende Sachen auch super geeignet. Was ich ebenfalls spannend finde, ist von Mistral, einer französischen KI-Firma, die „Mixtral“ rausgebracht hat. Das ist das erste Open-Source-Mixture-of-Experts-Modell, bei dem quasi mehrere Expertenmodelle zusammengebacken werden. Das kommt zwar nicht ganz an GPT 4 ran, aber eben fast, und dabei komplett open source, sodass ich es lokal betreiben kann. Natürlich ist das nicht ganz einfach, dazu braucht man recht teure Gaming-Grafikkarten, und selbst dann läuft es nur in einer abgespeckten Version mit nicht vollständiger Präzision. Dennoch: Es geht mittlerweile eine ganze Menge. Und ich denke, dass jetzt in diesem Jahr ganz viele auch datenschutzkonforme, lokal betriebene Alternativen auf den Markt kommen werden. Perplexity AI würde ich mir diesbezüglich auch angucken. Das ist superspannend, was die machen. Googles Gemini ist aus Deutschland heraus noch nicht zu benutzen, in den USA aber auch schon wesentlich besser als frühere Versionen.

Du hast vorhin schon mal die Prompt-Crafting-Tipps erwähnt, nach denen alle Welt fragt. Ganz grundsätzlich: Sollten Prompts lieber länger und ausführlicher oder lieber kürzer sein? Sollte man dabei, gerade wenn man auf Deutsch schreibt, auch auf die Grammatik achten, bei verschachtelten Sätzen beispielsweise?

Grundsätzlich ist die Regel, so präzise und so genau und so ausführlich wie möglich zu schreiben. Ich bin auch so ein Typ, ich könnte einen Satz über zwei DIN-A4-Seiten lang machen. Die Gefahr ist dann allerdings, dass das Sprachmodell das nicht mehr versteht. Also gilt tatsächlich, die Eingaben zwar ausführlich, präzise und konkret zu formulieren, aber eben auch strukturiert. Man kann beispielsweise auch einfach eingeben: „Hintergrundinformation“, Doppelpunkt und dann Leerzeile. Oder: „Deine Aufgabe“, Doppelpunkt usw. und den ganzen Prompt sauber so strukturieren.

Es ist also mitnichten so, dass man, um gute Ergebnisse zu erzielen, dürftigste Eingaben machen kann – im Gegenteil: Klar denken und klar schreiben sind bei den Anfragen an KI-Bots Vorraussetzungen für brauchbare Antworten.

Kai Spriestersbach

Zusammenfassung (Buch)

Richtig texten mit KI – ChatGPT, GPT-4, GPT-3 & Co.

Was ChatGPT und Co können und wie Sie die Texttools effektiv und umsichtig nutzen.

Kai Spriestersbach mvg verlag

Zusammenfassung ansehen

Auch bewährt hat sich so was wie dieses Few-Shot Learning, also dass man vier oder fünf Beispiele dazu gibt, wie der Input und wie der Output aussehen soll.

Wann macht das Sinn?

Zum Beispiel, wenn man eine Aufgabenstellung hat, die nicht so populär bzw. allgemein bekannt ist. Etwa, wenn man in einem Fachbereich oder einer Themennische arbeitet und GPT irgendwelche Muster oder besonderen Textdaten klassifizieren soll, also irgendwas tun muss, das kein Allgemeinwissen ist. In solchen Fällen kann ich nicht erwarten, dass GPT das aus sich heraus kann – denn wo soll das „Wissen“ des Bots herkommen, wenn es nicht in seinen Trainingsdaten ist? Und hier ist es dann hilfreich, GPT zu erklären: So funktioniert es allgemein, das ist der Hintergrund, das ist vielleicht sogar die Methodik und hier sind fünf Beispiele. Dann schafft GPT es tatsächlich, diese Art von Transfer-Learning hinzukriegen. Bei allzu komplexen Aufgaben, etwa bei der Vorhersage des Aktienkurses zum Beispiel oder bei Pokerspielen, geht das aber natürlich nicht.  

Hast du noch weitere Twists und Hacks für die Nutzung von GPT?

Generell muss man sagen, das ganze Thema Prompting ist ja nur notwendig, weil die Modelle gewisse Dinge noch nicht aus sich selbst heraus können. Wenn man sich die allerersten Prompts anguckt für GPT 3 damals, sieht man, dass man mit dem noch gar nicht so reden konnte wie mit den jetzigen Chatbots. Da wird sich also sicher noch mehr tun. Was ich im Buch noch gar nicht berücksichtigt habe, war das Dialoghafte, also dass man ja jetzt wirklich „reden“ kann mit dem Ding. Das heißt, ich kann auch sagen: „Das ist schon mal gut, aber mir gefällt der und der Aspekt nicht“, oder: „Guck mal, das und das hast du vergessen“, oder so. Und das finde ich mittlerweile das Spannendste, dass es so ein iterativer Prozess geworden ist, bei dem ich dann eben direkt Feedback liefern, nachschärfen oder den Kontext weiten kann – das kann, wenn man nicht von Beginn an so präzise denkt und schreibt, immerhin nach und nach mehr aus den Antworten herausholen. Ich bezweifle deshalb auch, dass „Prompt Engineer“ tatsächlich ein ganz neues Berufsfeld werden wird.

Wenn wir schon von Dingen reden, die überflüssig werden: Was bedeutet das Aufkommen von Tutoring-Systemen für Chat GPT und Prompt Crafting?

Ich glaube, es wird immer zwei Bereiche geben: spezialisierte Systeme für bestimmte Anwendungsfälle und General-Purpose-Tools. Spezialisierte Fälle, wie zum Beispiel „Khanmigo“ von der Kahn Academy, haben absolut ihre Daseinsberechtigung und solche Systeme machen total Sinn. Im Prinzip ist es dieselbe Technologie wie hinter GPT, aber mit sehr viel Drumrum, mit bestimmten Vorgaben, mit einem Modell, das gewisse Informationen abrufen kann und strukturiert. Und das ist sehr sinnvoll, denn:

Ich glaube nicht, dass GPT das Beste ist, um Schülerinnen und Schülern zu helfen.

Kai Spriestersbach

Aber auf der anderen Seite ist ein General-Purpose-Tool einfach toll, um erst mal Sachen auszuprobieren, um mal schnell irgendwas vergleichsweise Einfaches zu lösen oder Anwendungsfälle zu finden, die dann in strukturierte Software gegossen werden. Deshalb wird das eine das andere nicht ersetzen. Aber als Unternehmen würde ich schon auch schauen, ob es in meiner Branche schon eine Lösung gibt, die gut funktioniert, wo die Prozesse klar sind. Denn dann stelle ich lieber so was meinen Mitarbeitenden zur Verfügung, als zu sagen, hier habt ihr mal ChatGPT.

Wo siehst du denn die konkreten Anwendungsmöglichkeiten für verschiedene Firmen bzw. wo macht der Einsatz von ChatGPT Sinn?

Ich kann mir keine Firma vorstellen, in der es nicht irgendwo sinnvoll ist. Jede Firma kommuniziert, sei es über E-Mail, über MS Teams, egal über was – an all diesen Stellen kann es bereits Sinn machen. Ich hatte einen Kunden, der ganz viele Anfragen hatte, die zu klein waren, als dass sich ein Fachverkäufer für jede hinsetzen und Angebote schreiben könnte. Da haben wir mit KI eine Vorqualifizierung vorgenommen. Sie bestimmt also, was Projekte sind, die vielversprechend aussehen und die auch zum Beispiel regional „nah genug“ für die Erbringung einer Dienstleistung sind. So was hätte man früher wahnsinnig aufwendig programmieren müssen und jetzt sagst du einfach: „Wir sind hier, der Kunde ist da, wir liefern im Umkreis von 200 Kilometern.“ Man kann sehr viel damit und mit ähnlichen Set-ups machen. Aber die Frage, die ich mir eher stelle, ist: Wer soll das machen? Wer soll die Unternehmen tatsächlich an die Hand nehmen, um KI sinnvoll einzuführen?

Brauchen wir dazu mehr Leute im IT-Bereich?

Nein, dazu braucht es nicht zwangsweise einen Informatikhintergrund. Es hilft natürlich. Aber KI-Systeme haben immer auch Schnittstellen mit anderen Systemen. User Experience ist ein superzentrales Thema, denn die Menschen müssen ja am Ende damit arbeiten können. Auch Ethik ist sehr wichtig, gerade beim Thema Automatisierung. Falls ich den Lesenden dieses Interviews etwas mitgeben kann, dann:

Nichts, wirklich nichts, sollte ganz automatisiert sein – es braucht immer einen Menschen im Prozess.

Kai Spriestersbach

Eine KI darf nur Empfehlungen geben. Entscheidungen müssen immer von Menschen getroffen werden.

Das hört man selten. Überall heißt es immer, man soll Prozesse möglichst stark automatisieren. Wenn ich dich richtig verstanden habe, soll man GPT ja durchaus einbauen, aber wie legen Firmen denn gute Regeln für die Nutzung solcher Dienste fest?

Ich würde mir auf jeden Fall externe Hilfe holen und im Unternehmen eine Art Expertengremium bilden. Das dürfen dann nicht nur Techies sein, aber auch nicht nur Leute aus der BWL, die damit „irgendwie Geld sparen“ wollen, aber die qualitativen Unterschiede bei den Ergebnissen in ihrer Automatisierungseuphorie völlig ausblenden. Wie erwähnt müssen auch Themen wie Ethik zum Beispiel eine Rolle spielen. Man sollte sich an bestehenden Regulierungen orientieren – wie dem EU AI Act. Es gibt auch Empfehlungen von großen Unternehmen oder NGOs. Am Ende des Tages ist einfach wichtig, dass man sich innerhalb der rechtlichen Regulierungen bewegt und als Unternehmen für sich herausfindet, was das Richtige ist. Manche Unternehmen wollen nichts mit US-Diensten zu tun haben und alles lokal haben. Andere nutzen weiterhin gerne Microsoft Office und könnten dann auch gleich Azure nutzen. Elementar wichtig ist erst mal Verständnis und Awareness – auch und vor allem auf Managementebene. Sonst kann man über das Thema Richtlinien gar nicht sinnvoll diskutieren.

Herrscht in der Führungsebene noch eine Menge Unwissen?

Oh ja. Und das ist nicht nur insofern ein großes Problem, als wir vor dem Angst haben, was wir nicht kennen und nicht verstehen. Was man auch wissen muss:

Es gibt auch in der Techwelt den Doomerism. Entsprechend verfolgen viele „Experten“ absolut strategische Interessen, wenn sie der Öffentlichkeit Angst machen.

Kai Spriestersbach

„Die KI könnte die Menschheit unterjochen“, sagen sie dann, während sie tatsächliche Risiken, nämlich Bias – über KI gespiegelte menschliche Vorurteile und Fehlannahmen – und ähnliche Dinge herunterspielen. Natürlich gibt es dieses Risiko irgendwo, aber dagegen können wir im Moment einfach nichts tun. Aus meiner Sicht sind das Ablenkungsmanöver, damit die entsprechenden Leute weiter ihre fehleranfälligen Tools verkaufen können. Wir sollten also viel mehr über die tatsächlichen Bedrohungen sprechen und den Einfluss, den wir darauf heute haben.  

Dass uns die künstliche Intelligenz eines Tages das Licht ausknipst, hältst du also für unwahrscheinlich?

Ich bin Science-Fiction-Fan und natürlich beschäftige ich mich auch mit Technikfolgenabschätzung und was da so kommen könnte. Und ich finde momentan zwei Denkweisen ganz spannend. Zum einen: Nehmen wir mal an, du bist eine KI, die so intelligent ist, dass die Menschheit für dich so ist, wie wenn wir uns Ameisen ansehen. Dann kommst du doch nicht auf die Idee, alle Ameisen gezielt auszurotten. Vielmehr ist es dir einfach egal. Aber auch im zweiten Szenario kommen wir gut weg: Nehmen wir an, die Menschheit ist eigentlich nur der biologische Bootstrapper für eine künstliche Intelligenz, also für eine tatsächlich anorganische Lebensform. Wenn die dann wirklich mal intelligent wird und vielleicht ein Bewusstsein erlangt und vielleicht sogar die Sterne bereisen und besiedeln wird – was wir einfach nicht können, aufgrund unserer biologisch beschränkten Lebensdauer –, dann finde ich das eine schöne Vorstellung.

Denn eigentlich sind diese wie auch immer gearteten Wesen dann auch so was wie unsere Kinder. Und das beruhigt mich – denn warum sollten Kinder ihre Eltern töten?

Kai Spriestersbach

Über den Autor
Kai Spriestersbach ist KI-Berater und Inhaber von AFAIK. Er hat sich auf Large Language Models spezialisiert, hält Vorträge über KI und arbeitet an einer eigenen KI-zentrierten Web-Publishing-Lösung. In Teilzeit forscht er an der Rheinland-Pfälzischen Technischen Universität Kaiserslautern-Landau (RPTU) an generativer KI.