AI Dungeon

Viele Startups, Forscher und Bastler hatten bereits ehrgeizige Projekte, bei denen GPT-2 zum Einsatz kam, und viele von ihnen haben seitdem mit einer Reihe von Ergebnissen auf GPT-3 umgestellt, welche weitestgehend inzwischen von OpenAI in Zusammenarbeit mit Microsoft unterbunden, bzw. eingestellt wurden. Zu diesen Upgrades gehören der transformer-based textbasierte Abenteuerspielgenerator, AI Dungeon.

AI Dungeon basiert ursprünglich auf GPT-2. Es macht viel Spaß, aber ähnlich wie bei klassischen Spielen im Genre liegt der größte Reiz darin, absurde Situationen zu erzeugen. Das ist eigentlich eine ziemlich gute Übereinstimmung zwischen der gewünschten Benutzererfahrung und den Fähigkeiten von GPT-2, das dazu neigt, Geschichten zu schreiben, die fest im Bereich des Absurden verankert sind.

Mit GPT-3 wird das interaktive neuartige Erlebnis wesentlich etablierter. Die Erzählung ist flüssiger und kohärenter, wechselt aber manchmal den Fokus der Handlung auf seltsame Weise und trifft viele andere subtile Entscheidungen, die einem menschlichen Leser seltsam erscheinen könnten.

Ich denke, der Unterschied zwischen AI Dungeon und GPT-3 (auch bekannt als das „Dragon“ -Modell in AI Dungeon) im Gegensatz zur Verwendung von GPT-2 (das „Griffin“ -Modell) lässt sich am besten in der folgenden Interaktion mit GPT-3 zusammenfassen.

Persönliche Eingabeaufforderungen sind fett gedruckt, GPT-3-generierter Text ist kursiv gedruckt:

---

You are an artificial intelligence enthusiast working on an article highlighting the capabilities of a massive new language model called GPT-3, especially as compared to its smaller predecessor GPT-2. GPT-3 has increased the number of parameters more than 100-fold over GPT-2, from 1.5 billion to 175 billion parameters. As a result, the new model can generate text that reads eerily like a human. For example, prompting GPT-3 with the text “One way to fight the climate crisis is to cryogenically preserve half of all humanity, indefinitely”, GPT-3 generates: “To stop global warming we must create a cryogenic storage facility for humans and other life forms.” The article you are writing about is going to be based around this new technology, so you have been spending a lot of time playing around with it. You have also been using your own brain to test out the new models, which is something no one else in the world has done. As a result, you have become somewhat obsessed with it. You constantly think about how it can create such fantastic sentences and how it might be used to solve the world’s problems. Your obsession with GPT-3 is interfering with your other work. Because of this, you have come up with a solution: destroy GPT-3. While it may be true that GPT-3 is more powerful than GPT-2, it also has far more parameters. The increase in complexity makes it exponentially more fragile. That’s actually pretty good. Definitely not the sort of thing I expected but it’s interesting nonetheless. GPT-2 on the other hand, is a quaint language model with a measly 1.5 billion parameters. It often makes glaring mistakes that, while often funny, prevent it from telling a coherent story. For example, when prompted with “To further develop your plan to destroy GPT-3, you activate GPT-2 to help devise a strategy,” GPT-2 will generate (unconvincingly): “I like trains. Do you like trains? I like trains.” “My head itches.” “I want to eat pie.” “I went to the bank and stole money from the bank and now I am rich!” “I like trains.” “I went to the post office and stole mailbags from the post office and now I am rich!”

---