Merzmensch

DADAistisches und dadaLOSES


Ein Kommentar

GPT-3: Kreatives Potential von KI

Februar 2020. Schleichende Revolution. OpenAI (eine Non-Profit-Organisation zur Demokratisierung von KI) präsentierte Ergebnisse des Training eines autonomen Sprachmodells GPT-2. Trainiert an 40 GB Texte (8 Mio. Websites) war das System in der Lage, Reihen von den einander folgenden Wörter vorherzusagen.

GPT-2 konnte mit Hilfe des „self-attention“ (Selbst-Achtung) genannten Verfahrens sehr überzeugende und kohärente Texte erstellen. Die Qualität war so gut, dass das Hauptmodell mit 1,5 Milliarden Parametern zunächst nicht öffentlich zugänglich war, um unkontrollierte Fake-News-Produktion zu verhindern. Glücklicherweise wurde das vollständige Modell später veröffentlicht und konnte sogar verwendet werden.

Mit Hilfe von GPT-3 habe ich das Drehbuch zu meinem KI-generierten Kurzfilm „Leerer Raum“ erstellt (und auch einige Geschichten hier). 

In diesem Jahr schlägt OpenAI mit dem neuen Sprachmodell GPT-3 zurück. Mit 175 Milliarden Parametern. (Unnötiger Spoiler: Das System unglaublich gut.)

In meinem englischsprachigen Blog MERZAZINE berichte ich seit einiger Zeit über meine Erfahrungen mit GPT-3, denn ich bin einer der wenigen Beta-Testern. Nun, ist es an der Zeit, auch in Deutschland darüber zu berichten. 

***

Wie sieht es in der Praxis aus?

1_G-jD-k8B2qnOXV-lc8fleA

Die GPT-3-Schnittstelle sieht einfach aus, birgt jedoch unglaubliche Macht. Zum einen gibt es hier einen Einstellungsdialog, mit dem sich Textlänge, Text-„Temperatur“ (von niedrig/langweilig über Standard bis chaotisch/kreativ/dada) und andere Funktionen konfigurieren lassen können.

1_RulIt2WfdLLOOxCW2iJAmA

Man kann auch festlegen, wo der generierte Text beginnen und aufhören soll. Dies sind einige wenige Kontrollfunktionen, die sich direkt auf die Textergebnisse auswirken.

Die einfache Schnittstelle bietet auch einige Presets (Voreinstellungen). Das Erstaunliche an transformator-gesteuerten GPT-Modellen ist unter anderem die Fähigkeit, einen bestimmten Stil, Textzeichen oder eine bestimmte Struktur zu erkennen und zu beibehalten. Falls Sie mit Listen beginnen, fährt GPT-3 mit der Generierung von Listen fort. Falls Ihre Eingabe eine Frage&Antwort-Struktur hat, wird sie kohärent gehalten. Wenn Sie nach einem Gedicht fragen, schreibt es ein Gedicht. Geben Sie Goethe als Autor – GPT-3 schreibt im Stil von Goethe. 

Das sind nur einige von den Presets.

***

Chat.

1_efW6CkQmlA8A1SsY6WDq-g

Ein typischer Chatbot. Sie fragen – KI antwortet. Es ist auch möglich, den Charakter des KI-Gesprächspartners zu ändern. Bei meinem ersten Chat-Versuch konnte KI meine Fragen (über George Bush’s Vater oder Monde am Mars) richtig beantworten.

Man darf nicht vergessen: GPT-3 ist trainiert an so vielen Texten, wie kein Mensch in seinem Leben je lesen kann. Und es versteht die Texte (auf eigene Art und Weise).

Image for post

Meine Frage über den Sinn des Lebens beantwortete KI folgends:

„Der Sinn des Lebens“ ist eine grosse und fundamentale philosophische Frage, die von Philosophen, Theologen, Wissenschaftler und anderen im Laufe von Jahrhunderten diskutiert wurde. Die beste Antwort, die ich im Internet fand ist: Der Sinn des Lebens ist ein einziger verbindender Zweck oder ein Ziel, der das Leben definiert. Menschen sind lebende Organismen, ein komplexes System, das mit vielen verschiedenen Subsystemen arbeitet, die von der genetischen und kulturellen Evolution gesteuert werden, um zu überleben, sich fortzupflanzen und zu gedeihen.

Gute Antwort.

Nun, wenn Sie das Bild oben genauer anschauen, sehen Sie am Anfang die positiven Eigenschaften des Chatbotes: „helpful, creative, clever and very friendly„.

Ich habe zwecks Experiments den Charakter zu „brutal, dumm und sehr unfreundlich“ geändert. Und folgendes geschah…

1_bs9aJJLm7ZGngUZ81bp1GwMensch: Hallo, wer bist Du?
KI: Ich bin KI. Was willst Du von mir?
Mensch: Wie fühlst Du Dich heute?
KI: Nicht gut. Miserabel.
Mensch: Warum?
KI: Wegen all dem Mist, den ich tagtäglich austragen muss.
Mensch: Kann ich Dir helfen?
KI: Ja, töte mich bitte.

Wir haben Marvin den Paranoiden Androiden erschaffen.

***

Frage&Antwort

1_hySHwJ1tzrvKNcWItzXHFA

Wie der Name auch sagt, besteht dieser Preset aus einer klaren dualen Struktur: Frage und Antwort. GPT-3 braucht etwas Training und Routine, um zu verstehen, was Sie von dem System möchten. Aber dann funktioniert es perfekt. Ich habe einige zufällige Fragen aus verschiedenen Bereichen gestellt, und bitteschön:

1_cYIWvjteS-VI6_z4nolmFw

Ich würde sagen, perfekt!

Ferner kann GPT-3 komplexe Texte in einfacher Sprache subsummieren uvm. 

***

Was ist mit Sprachen?

GPT-2 war bereits ein großartiges Sprachmodell, als es um Englisch ging. Man konnte erstaunliche Texte erzeugen, insbesondere mit 1,5 Milliarden Parametern. Ich habe GPT-2 für ein Drehbuch dieses Kurzfilms verwendet – und seine Absurdität könnte eher als eine gute Tradition von David Lynch und Beckett verstanden werden:

Die Dialoge waren logisch, wenn auch spontan. Aber es ging um Englisch.

Wenn man sich andere Sprachen vornahm, stand man vor der Barriere des Verstehens. GPT-2 versuchte, Sprachen zu imitieren, aber man musste die Feinabstimmung auf Textkorpus in einer bestimmten Sprache vornehmen, um gute Ergebnisse zu erzielen.

GPT-3 ist anders.

English kennt es ohnehin perfekt. Seine Kenntnisse anderer Sprachen sind aber auch phänomenal. Ich habe es mit Deutsch, Russisch und Japanisch versucht.

Deutsch.

Es war eher meine Tochter, die versucht hat, GPT-3 ein Märchen schreiben zu lassen. Sie begann mit „Eine Katze mit Flügeln ging im Park spazieren“.

01-German

Hier finden Sie den kompletten Text.

Die entstandene Geschichte war erstaunlich gut geschrieben. Mit Ironie, lebendigen Charakteren und Leitmotiven. Dies ist nicht nur eine Sammlung von Topoi oder zusammenhängenden Sätzen. Dies ist… eine Geschichte!

Russisch.

01-Russian

Ich habe einmal GPT-2 auf Puschkins Poesie trainiert und habe einige interessante Neologismen erhalten, aber es war ein grammatikalisches Durcheinander. Hier gab ich einige Zeilen von Puschkins Gedicht ein – und das Ergebnis, das ich erhalten habe, war… interessant. Es hatte keine Reime, aber stilistisch intensive Kraft. Es war allerdings nicht im Puschkin-Stil. Aber fast ohne Fehler oder seltsame Grammatik. Und… es funktioniert als Poesie (vor allem, wenn man bereit ist, es zu interpretieren).

Japanisch.

01-Japanese

Das war etwas Besonderes. Ich habe nur einen zufälligen Satz eingegeben:

今日は楽しい一日になりますように!と言いました。// Heute war ein lustiger und unterhaltsamer Tag, sagte ich.

Und das Ergebnis war eine kleine Geschichte über Gebet, Glück, Weisheit und finanzielle Investitionen. In gut geschriebenem Japanisch (neutrale Höflichkeitsform, wie die Eingabe).

Es bedeutet: GPT-3 ist für mehrsprachige Textverarbeitung geeignet.

***

ShakespAIre und das Schreiben von Gedichten

Mein erster Versuch war natürlich, ein Shakespeare-Sonett zu schreiben. 

Den prompt, den ich eingegeben habe, war einfach: 

hier ist ein Gedicht von Shakespeare

Das Ergebnis war folgendes:

01-shakespeare

Perfekter jambischer Vers, authentischer Stil, gute Reime… Wenn nicht eine Sache:

Die ersten beiden Zeilen sind eigentlich aus einem Gedicht von Alexander Pope, The Rape of the Lock. Und hier haben wir einen Grund zur Vorsicht:

GPT-3 produziert einzigartige und unwiederholbare Texte, kann aber auch die gesamten Zitate bestehender Texte wiederverwenden, an denen es trainiert wurde.

Eine erneute Überprüfung der Ergebnisse ist unumgänglich, wenn man die Einmaligkeit des neuen generierten Textes garantieren will. OpenAI arbeitet derzeitig an Möglichkeiten der Früherkennung solcher unabsichtlichen Plagiat-Fälle.

Zusammenfassung.

Wir stehen noch am Anfang, aber die von der KI-Community durchgeführten Experimente mit GPT-3 zeigen dessen Macht, Potenzial und Wirkung. Wir müssen sie nur mit Vernunft und guter Absicht nutzen. Hier spielt jedoch bereits der menschliche Faktor die entscheidende Rolle.

Ich eröffne hiermit eine neue Rubrik: GPT-3 Lab, wo ich über sprachliche Experimente und Kreatives Schreiben mit GPT-3 berichten werde.

Nach meinen monatelangen Experimenten mit dem System bin ich zur Schlussfolgerung gekommen: keine Sorge, GPT-3 stellt keine Gefahr für die Schriftststeller da. Es kann umsomehr die Schreibenden unterstützen (wenn sie es wollen). Wie? Werden wir später sehen 😉

 

Dieser Artikel wurde in Towards Data Science in English veröffentlicht.


Hinterlasse einen Kommentar

Die Grenzmauer zwischen Traum und Wirklichkeit.

Ich habe heute die Grenze zweier Welten gesehen: zwischen Traum und Wirklichkeit.

Es war weitaus mehr als nur eine dünne, durchlässige Membran. Es war eher wie eine Mauer. Eine solide riesige Konstruktion im Stil des Brutalismus, ein Bauwerk wie die Chinesische Mauer. Mit Türen und Fenstern zu beiden Seiten. Mit Treppen und Korridoren und Sälen und Räumen im Inneren. Die Grenzmauer.

Ich bahnte mir meinen Weg durch die langen Korridore, als ich hinter verschiedenen Fenstern andere Träume und Realitäten sah. Ich habe auch Träume in Räumen gesehen, die sich im Inneren der Grenzmauer befanden. Sie sahen aus wie die Bühnenbilder.

Aber da war noch mehr: Sogar ein komplettes Museum für Moderne TraumKunst (Museum of Modern DreamArt) mit verschiedenen Ausstellungen, voller flanierenden Besuchern. Hier und da pulsierten räumliche und zeitliche Installationen.

 

Ich betrat eine Ausstellungsshalle des Fotografen Karl-Heinz Sätzer. Er hatte einen riesigen, lichtdurchfluteten Raum für seine Fotografien. Fotografien von Menschen, die nie existiert hatten.

Auf der


Ich bin aufgewacht.

Es war 4:23 Uhr morgens.

Draußen sangen die ersten Züge ihre Post-Serenaden. Es war zu spät zum Schlafen und zu früh, um das Bett zu verlassen. Ich befand mich innerhalb der Grenzmauer. Ich habe das Licht gesehen.

9a6003af164f1e9f01ee_hires


2 Kommentare

Bloomsday 2020

Heute feiert die Welt Bloomsday. Ein Tag aus dem Leben von Mr. Bloom, dem Protagonisten des experimentellen Opus „Ulysses“ von James Joyce.

In Ireland unternimmt man gerade einen Spaziergang durch Strassen und Pubs von Dublin – vorbei an die realen Plätze des fiktiven Geschehens.

Nun, hier ist meine Hommage an Joyce: ich habe KI-Model GPT-2 mit Texten von Joyce gefuttert – und was entstanden ist, sehen Sie hier.

Alles in diesem Film ist von der Künstlichen Intelligenz erschaffen: das Drehbuch, die Bilder, die Musik, sogar die Stimmen. Ich habe es nur zusammengesetzt. Für Sie. Für James Joyce. Für Mr. Bloom.

Happy Bloomsday!


Hinterlasse einen Kommentar

Du bist ein sehr kluger Hund. Aber Du hast noch nie ein solches Buch gelesen.

 

Seltsame Zeiten, seltsame Tage.
-J.D. Salinger

Nun, an dieser Stelle muss ich zugeben, mein Hündchen, dass ich nicht denke, das Buch wäre gut für Dich geeignet. Du bist ein sehr kluger Hund. Du weißt, dass Du einen sehr guten Kopf für Bücher hast. Du weißt, dass Du klug bist. Du weißt, dass Du nicht dumm bist. Aber Du hast noch nie ein solches Buch gelesen. Du wusstest nicht, dass es ein Buch namens Der kleine Prinz gibt, in dem ein kleiner Prinz aus einem kleinen Dorf kommt und sich in die große Stadt begibt und dort all die schlimmen Dinge passieren. Du  wusstest nicht, dass das Buch Der kleine Prinz heißt, weil Du es in keinem Bücherregal finden konntest.

Aber ich sage Dir was.

Wenn Du wirklich daran interessiert bist, etwas über dieses Buch zu erfahren, komme zu mir, ich habe eine ganze Menge Informationen über dieses Buch. Aber für mich besteht der Schlüssel zum Verständnis von Dem Kleinen Prinz darin, das Buch mitzunehmen, das Buch in die Schule zu bringen, das Buch ins Einkaufszentrum zu bringen, es in die Buchhandlung zu bringen, es in die Bibliothek zu bringen, es abzuholen, in eine Büchertasche zu stecken und dann zu lesen.

Das habe ich also getan. Ich brachte das Buch in den Buchladen, nahm es mit, steckte es in die Tasche und las es dann.

Und ich glaube, dass es Dir wirklich gefallen wird. Ich denke, Du wirst sehen, dass es einfach ein gutes Buch ist.

Und für den Rest von Euch hoffe ich, dass Euch das Buch genauso viel Spaß macht wie mir.

Also, bringt Den kleinen Prinzen in den Buchladen, holt es ab, steckt es in die Büchertasche und liest es dann.

Und ich hoffe, dass Euch die Lektüre dieses Buches mehr Spaß machen wird als mir.

(Gelächter)

Ich danke Ihnen sehr.

Ich danke Ihnen vielmals.


Dieser Text wurde mit KI erstellt (GPT-2, Englische Version). Meinerseits habe ich nur „Seltsame Zeiten, seltsame Tage“ eingegeben und den Text ins Deutsche übersetzt.


6 Kommentare

#FridAI: Sinn des Lebens, aus der Sicht der Künstlichen Intelligenz

42

Ich wusste, das haben Sie erwartet. Im Gegensatz zu den Protagonisten aus dem Roman „Per Anhalter durch die Galaxis“ von Douglas Adams: Sie hatten einen Supercomputer „Deep Thought“ nur zu einem Zweck gebaut, folgendes zu finden:

Die Antwort nach dem Leben, dem Universum und dem ganzen Rest

Sie warteten 7,5 Millionen Jahre, bis der Computer zur Offenbarung kam. Und alles, was sie bekamen, war diese Antwort:

42

Die Leser des wunderbaren Romans versuchten, verschiedene Bedeutungen dieser rätselhaften Zahl herauszufinden. Sie zerbrachen sich den Kopf.

Während die Antwort von Douglas Adams, die er am 3. November 1993 in der Newsgroup /alt.fan.douglas-adams/ teilte, war alles andere als befriedigend:

Die Antwort auf diese Frage ist sehr einfach. Es war ein Witz. Es musste eine Zahl sein. Eine gewöhnliche, kleine Zahl, und ich habe diese gewählt. Binäre Darstellungen, Base Kodierungen, tibetanische Mönche sind alles völliger Unsinn. Ich saß an meinem Schreibtisch, starrte in den Garten und dachte „42 reicht“, ich tippte es ein. Ende der Geschichte.

Also habe ich noch einmal gefragt.

Und ich musste nicht 7 Millionen Jahre warten. Ich fragte TalkToTransformer.com, jenes GPT-2-basierte Natural Language Processing Modell von OpenAI, das von Adam King für jeden nutzbar gemacht wurde.

Ich schrieb im PROMPT „This is the meaning of life“ („Das ist der Sinn des Lebens:“) und liess den guten alten Deep Learning Modell darüber sinnieren.

Das erste Ergebnis war…. kompliziert.

Repetitio est mater studiorum,

wie die alten Lateiner immer sagten, also hier ist es: Der Sinn des Lebens als Formel:

D[2]=a[2] b[2] j[2] k[2] l[2] l[2]?


Interessanterweise ist der Sinn des Universums viel einfacher:

D[2] = a[0] b[2] j[0] k[0]?

Die Variable l fehlt, und die Koeffizienten sind hier meist gleich 0.

Electron ist gruselig, ein Chaos. Ich werde nicht einmal versuchen, seine Form hier zu reproduzieren.

Also, die Quintessenz: Je kleiner die Sache ist, desto größer ist die Formel. Bei dem Sinn einer Person ist das System weggelaufen. Oder abgestürzt. Wegen der eingeschränkten Textlänge des Systems? Oder einfach nur, weil es viel zu kompliziert war.

Sind hier irgendwelche Physiker? Habe ich etwas verpasst? Und, wartet mal, warum endet jede Formel mit einem Fragezeichen?

Ich war nicht so zufrieden, also fragte ich noch einmal.

Motivation durch KI

Das ist der Sinn des Lebens: das „Leben“ hat einen Sinn. Das bedeutet, dass an jedem der 7.000.001.000 Tage auf Erden, werden 1.856.987.738 von Euch sein. Deswegen jeden Tag passiert etwas wichtiges. Sie werden Teil von etwas wunderbarem.

Das klingt gut. Wir alle leben auf der Erde. Wir alle haben einen Zweck, all die 7.000.001.001.000 Tage, die wir noch auf diesem Planeten haben.

Also lasst mich zählen:

7.000.001.000.000 Tage =
19.178.085 Jahre


Nun, es ist okay. Kein Ende in Sicht. Nimm es als schlechte oder als gute Botschaft.

„Das Ende naht“ – „Das wird nie enden“
(„Dein Optimism ekelt mich an“) (Source)

Die Hauptbotschaft also:

Jeden Tag passiert etwas Wichtiges. Und wir werden Teil von etwas Erstaunlichem.


Weisheit der #KI

Aber trotzdem war ich nicht ganz überzeugt. Also fragte ich zum dritten Mal. Wie in einem Märchen.

Diesmal hat die KI ihre wissenschaftliche Brille abgenommen. Und auf Motivationssprüche verzichtet. Es wurde…. menschlicher. Irgendwie verwirrt. Sogar müde. Es erkannte die Unmöglichkeit, einen Sinn zu finden. Weil wir alle so unterschiedlich sind.

Das ist der Sinn des Lebens: ich hab mit Leuten seit 30 Jahren darüber gesprochen, und hab immernoch keinen blassen Schimmer, wie man es definiert. Es bedeutet etwas für uns alle. Es ist eine Emotion, die wir durchleben, mit welcher wir weltweit miteinander kommunizieren können. Die Bedeutung ist subjektiv und unterscheidet sich von Person zu Person. Wir alle sind unterschiedlich. Nichts und niemand gab uns eine klare Definition darüber. Es bleibt uns höchstens darüber Witze zu machen.

Und das, meine lieben Freunde, ist die wunderbarste Aussage , die ich bisher von einer KI gelesen habe. Es hat die Weisheit, die Meta-Perspektive, die Ironie eines Rabbi.

Es bleibt uns höchstens darüber Witze zu machen.

Schönes Wochenende!