#34 - GPT o1: Was können die neuen Modelle von OpenAI? [Special]

00:00:04: Also man sagt, dass GPT4 hat so ein Abiturniveau und man sagt jetzt o1 hat ein Doktorandenniveau, was logisches Denken angeht. Und natürlich mit dem gesamten menschlichen Wissen im Hintergrund eröffnen sich schon ganz viele neue Möglichkeiten.

00:00:23: Juri Kühn ist Gründer von Codeligence und einer unserer KI-Experten in der dno. Im Podcast besprechen wir die Besonderheiten und Potenziale der neuen Modellserie von OpenAI. Juri, herzlich willkommen!

00:00:35: Hi! Hi, Andreas.

00:00:39: OpenAI hat ja in dieser Woche seine neue Modellserie vorgestellt. Was kannst du uns dazu sagen? Oder was ist Besondere an diesen neuen Modellen? Es scheint ja jetzt der Tag eins wieder gekommen zu sein bei OpenAI, wo die Zeitrechnung von vorne beginnt.

00:00:53: Genau, ja. Also, die sehen das als so einen großen Durchbruch, dass die wieder angefangen haben, bei eins zu zählen. Das neue Modell heißt o1. Und die haben schon monatelang die Community heiß gemacht mit verschiedensten Gerüchten. Und jetzt ist es passiert. Gestern, am 12. 09. haben die's gedroppt und es ist tatsächlich für jedermann schon verfügbar. Ich konnte auch schon reingucken, habe ein bisschen gespielt und die haben noch nicht das vollständige Modell freigegeben, sondern nur eine Preview, die wohl noch nicht den, also sozusagen dem vollen Entwicklungsschritt entspricht. Anscheinend rollen die das mal langsam aus und die haben auch vorher schon bekannt gegeben, dass die mit der Regierung zusammenarbeiten und da Gefahren drin sehen. Dieses Modell ist schwerer oder war zunächst erstmal schwerer einzufangen und alignen, sodass es wirklich nur sichere Antworten gibt. Also es war nicht leicht, das zu bändigen, anscheinend. Und ja, diese kleine Preview Version schlägt sich wohl ganz gut und... ja.

00:02:18: Das heißt, ich kann es ganz normal als Nutzer schon nutzen. Beziehungsweise was passiert, wenn ich mich bei ChatGPT einlogge? Kann ich dann schon mit dem neuen Modell arbeiten, oder?

00:02:27: Ja, also jeder mit einer Subscription Plus oder Teams kann dieses o1 und o1 Minimodell benutzen.

00:02:36: So, wie merkt denn der normale Anwender, dass da ein völlig neues Modell dahinter ist? Oder was kann ich mit diesen Modellen machen, was ich vorher nicht machen konnte? Und was ist das Besondere daran?

00:02:48: Das ist eine sehr spannende Frage. Also als erstes, was der Benutzer merkt, ist es viel langsamer, ja?

00:02:56: Das ist keine gute Nachricht.

00:02:58: Das ist erstmal keine gute Nachricht. Aber das hat einen Grund, weil was dieses neue Modell kann, ist nämlich Nachdenken. Weil was dir vielleicht auch schon aufgefallen ist, wenn du bis jetzt mit den Large Language Modellen gechattet hast, dann kam die Antwort immer in einer bestimmten Tokenzahl und einer bestimmten Wortgeschwindigkeit rausgeplappert. Und das neue Modell, das denkt nach, bevor es die Antwort generiert. Das heißt, es kann selber beginnen, einen Gedankengang zu schreiben und dann selber darüber reflektieren. Noch mal zurückgehen, umdenken, kontrollieren und dann fortsetzen. Und diese Gedankengänge zeigt OpenAI nicht an und deswegen dauert es lange. Ja.

00:03:48: Also, dann hätten wir dann doch endlich mal menschliche Kapazität überschritten. Also nachdenken, bevor ich was sage oder was? Was bedeutet das genau?

00:03:56: Ja. Also, nicht jeder Mensch macht das. (lacht) Aber man sagt, dass GPT 4 hat so ein Abiturniveau, ja? Und man sagt jetzt, o1 hat ein Doktorandenniveau, was logisches Denken angeht und natürlich mit dem gesamten menschlichen Wissen im Hintergrund, eröffnen sich schon ganz viele neue Möglichkeiten. Wie gut das jetzt... Ja, zum Beispiel OpenAI selber zeigt, wie Fragestellungen in der Biologie, Chemie, Physik, wie dort Fragestellungen gelöst werden von dem Modell. Also komplexe Fragen, die logisches Nachdenken und Lösen von Formeln oder viele Abhängigkeiten, wenn viele Abhängigkeiten in Betracht gezogen werden müssen. Das konnte GPT 4o nicht oder nicht gut. Also, wenn man eine große Liste an Bedingungen mitgegeben hat, dann hat GPT 4o nicht alles davon berücksichtigen können. Also meistens hat es dann irgendwelche Punkte vergessen oder nicht gut eingearbeitet. Und das ist bei o1 anders, weil es eben reflektieren kann über das, was es bis jetzt sich schon gedacht hat. Und bevor das Endergebnis kommt, ja, gibt es da ein Denkprozess.

00:05:29: Was würdest du sagen? Wo siehst du so persönlich die größten... Ich meine, du beschäftigst dich ja sowieso viel mit generativer KI im Bereich Softwareentwicklung, aber wo siehst du vielleicht darüber hinaus noch Ansatzpunkte oder besondere Ansatzpunkte für diese neue Modellserie?

00:05:47: Also, die Programmierung oder das Schreiben von Code Design ein wichtiges Gebiet auch für OpenAI, die optimieren darauf. Und tatsächlich das neue Modell in einem Benchmark von Codeforces, GPT 4o war so gut wie 11 % aller Programmierer und o1 wie 89 % aller Programmierer.

00:06:17: Okay, krass. Also brauchen wir tatsächlich bald keine Softwareentwickler mehr, oder?

00:06:21: Das... Natürlich diese Codeforces, das sind kleine, in sich geschlossene Probleme. Bis wir keine Programmierer mehr brauchen, die so arbeiten wie sie heute arbeiten, werden noch Jahre vergehen, weil wir brauchen noch viele Tools, um damit umzugehen. Also zum Beispiel, wie wir auch unser Tool Codeligence, mit dem wir eine Infrastruktur schaffen, um die KI in die Entwicklung mit hineinzubringen. Und das sehen wir auch in allen anderen Bereichen, also von Marketing, in der Forschung... Dort werden entsprechende Tools gebaut, um solchen Modellen zu ermöglichen, auf das Firmenwissen zuzugreifen, das in die Prozesse zu integrieren, sodass Mitarbeiter die KI sozusagen mitdenken lassen können. Und natürlich mit so einem starken Modell in der Mathematikolympiade. Es gibt auch so ein Benchmark. Auch dort zum Beispiel GPT 4o hat nur mit 13 % performt und o1 83 %. Also das durchweg überall um ein Vielfaches. Es ist in der Lage, komplexere Probleme zu lösen. Das heißt, es wird alle Bereiche betreffen.

00:07:50: Okay, hast du aber noch mal speziell? Ich meine, wenn ich... Du hast ja eben genannt schon, Forschung, Softwareentwicklung ohnehin. Fallen dir spontan noch direkt oder was ist deine Meinung? Wo sind konkrete Anwendungsfälle, wo sich ein solch überlegenes Modell - scheinbar ja im Vergleich zu den vorherigen vorhergehenden GPT Modellen, scheint es ja deutlich überlegen zu sein - wo sich jetzt Anwendungsfälle aufdrängen, die vorher ja vielleicht wünschenswert gewesen wären, aber aufgrund der Kapazität der generativen KI gar nicht realisierbar. Siehst du da jetzt Dinge, wo du sagst, das drängt sich jetzt direkt unmittelbar auf?

00:08:34: Also, es ist erst seit gestern verfügbar. Man kann nur spekulieren. Ich vermute, dass die meisten Use Cases, die an denen man heute schon arbeitet, dieses Modell nicht benötigen. Das bedeutet, viele Automatisierungen kriegt man noch mit dem alten Modell hin, was einfach, also GPT 4o ist günstig und schnell. Wo es interessant wird, wenn es wirklich etwas was Tiefgreifenderes ausarbeiten soll. Wenn zum Beispiel braucht man eine neue Marketingstrategie unter Berücksichtigung - heute habe ich mit jemandem gesprochen, aus dem Marketing - unter Berücksichtigung von Brand Guidelines der vorherigen Marketingmaterialien unter aktuellen News. Zum Beispiel, wenn es irgendeine Katastrophe gab, dann sollen bestimmte Begriffe nicht verwendet werden, soweit. Also wo deutlich komplexere Bedingungen mit berücksichtigt werden sollen, da wird es spannend.

00:09:46: Was ja aber das Spannende daran ist, dass ich dann doch wieder den Menschen vorher brauche, der überhaupt mal in der Lage ist, zu definieren, was sind denn überhaupt Randbedingungen? Einflussfaktoren, die berücksichtigt werden sollen. Wenn du jetzt in dem Prozess, sag ich mal, das Nachdenken gehst, oder? Also, so autonom sind die AIs dann noch nicht, dass wir sagen können, "Du, ich hätte gerne eine neue Marketingstrategie. Herzlichen Glückwunsch! Mach mal!", sondern ich muss schon auch in diesen neuen Modellen nach wie vor den Kontext gut definieren. Und das setzt ja schon mal also einen eigenen kreativen Denkprozess voraus, dass ich das überhaupt mal in der Lage bin, zu artikulieren, runterzuschreiben, damit ich das in einem Prompt übergeben kann.

00:10:29: Auf jeden Fall. Also da sprichst du ein sehr wichtiges Thema an, und zwar Prompt Engineering an sich. Und zwar die Modelle, wenn du sie einfach so nach, sagen wir, einer Marketingstrategie fragst, dann bekommst du eine leicht unterdurchschnittliche Marketingstrategie, die aber auf jeden Fall besser ist als eine, die man vielleicht ohne Erfahrung einfach nur runterschreiben würde. Also du bekommst etwas Durchschnittliches. Und was vielen, die mit KI, mit GPT schon arbeiten, noch gar nicht bewusst ist, dass man auch exzellente Ergebnisse, exzellente Marketingstrategien bekommen kann, wenn man entsprechend, wie du gesagt hast, die Prompts aufbereitet und den Kontext dafür setzt. Und das gilt für o1 genauso. Es kann ein bisschen besser dann die Inhalte ausarbeiten. Aber zunächst braucht man wirklich diesen Kontext. Den kann man aber mit der KI zusammen erstellen. Dann sagt man, "Stelle mir bitte Fragen, die zu einer exzellenten Marketingstrategie gehören" und dann gibt man den Input und erhält dann hoffentlich ein besseres Ergebnis.

00:11:49: Ja, sehr gut. Klingt sehr spannend. Welche Anwendung würdest du bauen, wenn du nicht ohnehin jetzt schon an einem eigenen Startup arbeiten würdest, die sich jetzt durch die Modellserie für dich aufdrängt?

00:12:04: Also, was zu beachten ist, dass die Kosten für das neue Modell deutlich höher sind. Man bezahlt ungefähr das Vierfache für die Tokens. Und weil dort noch ein Denkprozess involviert ist, sodass die Anzahl der benötigten Tokens an sich schon doppelt oder dreifach so hoch ist, dann ist man schnell insgesamt bei einem zehnfachen Preis oder fünffach bis zehnfachen Preis. Das heißt, man kann das... Das Modell ist nicht dafür geeignet, um einfach für alles, was man bis jetzt bisher gemacht hat, eingesetzt zu werden. Was ich spannend finde, ist, damit wirklich neue Ideen auszuarbeiten. Ich habe ein Unternehmen und möchte feststellen, okay, wo kann ich effizienter werden, wo kann ich KI einsetzen? Und dann kann ich es auch fragen, okay, ich möchte eine neue Strategie oder ich möchte einen neuen Markt erschließen. Ich möchte wachsen. Ich möchte Kosten einsparen und stelle mir die Fragen über mein Unternehmen und sag mir, welche Informationen du benötigst. Und dann mit der KI zusammen, die deutlich stärker in der Lage ist, dann logischer etwas auszuarbeiten, ja, komplexere Gegebenheiten auszuarbeiten.

00:13:38: Das wäre schön.

00:13:39: Sie hat das Weltwissen, ja.

00:13:42: Das universale Weltwissen. Der Pinky und Brain. Und jetzt haben wir endlich anscheinend, weiß ich nicht, den Pinky oder den Brain. Irgendwas wurde jetzt erfunden. Ja, sehr schön. Dann können wir nur hoffen, dass es, ja, weiß ich nicht. Sollen wir hoffen, dass es in dem Tempo weitergeht, oder? Dann können wir ja bald wieder eine Folge machen. Dann können wir noch einen hinten dranhängen. Auf jeden Fall die neue Modellserie scheint sich auf jeden Fall zu lohnen. Ist ein bisschen teurer, nicht nur was die Tokens angeht, sondern auch teurer im Sinne von, es braucht ein bisschen mehr Zeit. Das heißt, man sollte einfach nicht mit jedem Anwendungsfall da reinspringen, sondern die einfachen kann man wahrscheinlich weiter mit den bestehenden GPT Modellen arbeiten. Und für die etwas komplexeren, anspruchsvolleren Aufgaben kann man dann mal mit der o1 Serie in den Ring steigen.

00:14:33: Perfekt zusammengefasst, ja.

00:14:35: Sehr schön. Dann bedanke ich mich für die Einblicke. Bis zum nächsten Mal. Bis zu o2.

00:14:40: Vielen Dank. Bis dahin.

00:14:43: Schön, dass du bis zum Ende dabei warst. Wenn dir die Episode gefallen hat, dann freuen wir uns über deine Bewertung. Wenn du darüber hinaus Fragen, Anregungen für interessante Themen oder Gesprächspartner hast, dann besuch uns gerne unter dno.de/podcast. Bis zum nächsten Mal.