Verbesserte Denkprozesse und Problemlösungen
Neue KI für ChatGPT: „OpenAI o1“ kann abwägen und schlussfolgern
Der für den KI-Textgenerator ChatGPT verantwortliche US-Konzern OpenAI hat seine neue KI-Modellreihe „OpenAI o1“ veröffentlicht. Die neuen Modelle wurden entwickelt, um komplexere Aufgaben in den Bereichen Wissenschaft, Mathematik und Coding zu bewältigen. Das erste Modell der neuen Familie, „o1-preview“, ist ab sofort in ChatGPT und über die API von OpenAI verfügbar. Parallel dazu läuft die Entwicklung der nächsten Version.
Verbesserte Denkprozesse und Problemlösungen
Laut OpenAI wurden die o1-Modelle so trainiert, dass sie mehr Zeit zum „Nachdenken“ verwenden, bevor sie eine Antwort geben. Dies soll es möglich machen, unterschiedliche Lösungsstrategien auszuprobieren, Fehler zu erkennen und anschließend den bestmöglichen Weg zu wählen.
Erste Tests sollen belegen, dass das neue Modell bei anspruchsvollen Aufgaben in den Bereichen Physik, Chemie und Biologie Leistungen erbringt, die auf dem Niveau von im jeweiligen Fachbgebiet promovierten Wissenschaftlern liegen. Besonders im Bereich der Mathematik soll der Fortschritt auffallen: Während das Vorgängermodell GPT-4o nur 13 Prozent der gestellten Aufgaben richtig lösen konnte, erreichte das neue Modell eine Lösungsquote von 83 Prozent. Auch bei Programmierwettbewerben schnitt das Modell überdurchschnittlich gut ab.
Obwohl die neuen Modelle in der Lage sind, komplexe Aufgaben zu lösen, fehlen ihnen derzeit einige Funktionen, die ältere Versionen von ChatGPT bereits bieten. Dazu gehören die Möglichkeit, im Internet zu recherchieren oder hochgeladene Dateien und Bilder auszuwerten.
Sicherheit und Einsatzmöglichkeiten
Um die Sicherheit der neuen Modelle zu gewährleisten, hat OpenAI ein neues Trainingskonzept entwickelt. Damit sollen die Modelle besser in der Lage sein, sich an Sicherheitsregeln zu halten und Manipulationsversuche abzuwehren.
Die neuen Modelle sollen sich besonders für Personen eignen, die es mit komplexen Aufgaben in Wissenschaft und Technik zu tun haben. Beispielsweise könnten Forscherinnen und Forscher im Gesundheitsbereich die Modelle zur Analyse von Zellsequenzen nutzen, während Entwickler von den verbesserten Programmierfähigkeiten profitieren könnten.
Zusätzlich zu „o1-preview“ hat OpenAI auch das kleinere und kostengünstigere Modell „o1-mini“ veröffentlicht. Beide Modelle sind ab sofort für ChatGPT Plus- und Team-Nutzer verfügbar. API-Nutzer können ebenfalls auf die Modelle zugreifen.
Kann jemand einem Laien wir mir erklären, warum LLMs versuchen selbst zu rechnen, was ja bekanntermaßen nicht geht, und damit nur eine geringe Trefferquote erreichen, statt auf Rechenapplikationen zurückzugreifen und diese dann auszuwerten?
Ich denke mal das es da um komplexere Zusammenhänge geht. Wenn ich eine reine Rechenapp nutze, kann diese mir super Ergebnisse liefern, aber wenn ich z.B. eine komplexe Berechnung verlange und dann gerne möchte, dass eine Erklärung dazu ausgegeben wird, wird diese App an ihre Grenzen stoßen. GPT kann mir dann jedoch noch zusätzlich einen Aufsatz zu seinen Berechneten Werten schreiben :)
Am Ende müssen Unternehmen wie OpenAI, Google etc. einfach auch rechtfertigen können, warum man Ihr Modell nutzt und nicht das der Konkurrenz.
im Grunde geht es darum zu erkennen, was man in den Taschenrechner eingibt. auch die AI muss wissen, wie sie dabei vorgeht.
LLMs wie ChatGPT sind auf Textverarbeitung spezialisiert, nicht auf rechnerische Präzision. Sie **lernen aus enormen Mengen an Textdaten** und versuchen darauf basierend, sinnvolle Antworten zu generieren. Sie sind jedoch keine spezialisierten Rechenmaschinen. Daher „versuchen“ LLMs, **Rechenoperationen durch Mustererkennung** und Wahrscheinlichkeiten zu beantworten, ohne den mathematischen Unterbau wirklich zu verstehen.
Hier sind die Hauptgründe, warum LLMs manchmal selbst „rechnen“, anstatt externe Rechenapplikationen zu nutzen:
1. **Training auf Textdaten statt Rechenfähigkeiten**
LLMs werden mit Text, nicht mit expliziten Rechenregeln trainiert. Sie erkennen Muster in Daten und lernen, welche Zahlen häufig zu welchen anderen Zahlen gehören könnten. Wenn ein LLM eine mathematische Aufgabe bekommt, „erkennt“ es nur basierend auf dem, was in den Trainingsdaten am häufigsten vorkam, wie das Ergebnis aussehen könnte. Das ist keine echte Berechnung, sondern eine **Vorhersage von Mustern**.
Beispiel: Wenn das Modell oft gelesen hat, dass „2 + 2 = 4“ ist, kann es das gut vorhersagen. Bei komplexeren Berechnungen fehlt jedoch das nötige Verständnis, um sicherzustellen, dass die Antwort korrekt ist.
2. **LLMs sind nicht für arithmetische Genauigkeit gebaut**
LLMs sind für Aufgaben wie **Textverstehen, Sprachgenerierung und Mustererkennung** ausgelegt, nicht für numerische Genauigkeit. Sie haben nicht die inhärente Fähigkeit, präzise Berechnungen durchzuführen, weil das neuronale Netz nicht speziell für Arithmetik designt ist. Bei komplizierten Rechnungen wird es daher ungenau oder liefert falsche Ergebnisse.
3. **Externe Rechenapplikationen anzuzapfen wäre technisch komplex**
Integrierte **Rechenapplikationen** wie Taschenrechner, Excel oder mathematische Solver sind auf exakte Rechenergebnisse optimiert. Es ist zwar technisch möglich, eine direkte Anbindung zu solchen Anwendungen herzustellen (wie es manche LLMs mit zusätzlichen „Tools“ tun), aber in einer Standardumgebung haben LLMs **keinen direkten Zugriff auf solche Programme**.
Wenn ein LLM mit einer Rechenaufgabe konfrontiert wird, **gibt es vor, die Antwort zu „berechnen“**, was es jedoch durch Textmuster, nicht durch tatsächliche Rechenoperationen tut. Dies kann funktionieren, wenn die Aufgabe simpel ist oder häufig in den Trainingsdaten vorkam, aber bei komplexeren Berechnungen scheitert es oft.
4. **Warum wird nicht immer auf Rechenapplikationen zurückgegriffen?**
Einige Modelle (wie GPT mit angeschlossenen Tools) können auf **externe Rechen-Engines** zurückgreifen, wenn sie dafür konfiguriert sind. Diese Modelle erkennen ihre eigenen Rechenbeschränkungen und leiten Berechnungen an spezialisierte Tools weiter. Der Grund, warum dies nicht standardmäßig bei jedem Modell der Fall ist, hängt von technischen Einschränkungen, Kosten, Geschwindigkeit und Datenintegrität ab. Es ist komplizierter, eine Live-Schnittstelle zu solchen Rechenanwendungen einzubauen und konsistent zu nutzen.
Fazit:
LLMs versuchen selbst zu rechnen, weil sie darauf trainiert sind, **Textantworten zu generieren**, auch bei mathematischen Problemen. Allerdings nutzen sie keine echte Rechenlogik, sondern Vorhersagen aus ihren Trainingsdaten, was zu einer geringen Trefferquote führen kann. Die Nutzung externer Rechenapplikationen ist technisch möglich, aber nicht immer standardmäßig integriert.
Quelle: ChatGPT
Das ist eine interessante Frage, die den Kern der Funktionsweise von LLMs (Large Language Models) wie GPT betrifft!
Im Grunde genommen basiert ein LLM auf statistischen Mustern in Textdaten, nicht auf mathematischer Logik oder numerischem Rechnen. Wenn ein LLM versucht zu „rechnen“, tut es das, indem es Muster in den Daten verwendet, aus denen es gelernt hat. Es kennt Rechenregeln nicht wie ein Taschenrechner, sondern versucht einfach, vorherzusagen, was die wahrscheinlichste nächste Zahl oder das wahrscheinlichste Ergebnis ist. Deswegen entstehen Fehler, wenn es um komplizierte Berechnungen geht.
Nun, warum nutzen LLMs keine speziellen Rechenapplikationen, um genaue Ergebnisse zu liefern?
1. **Funktionsweise und Training**: LLMs wurden darauf trainiert, Texte zu vervollständigen und Sprachmuster zu erkennen, nicht um direkt auf externe Werkzeuge zuzugreifen. Sie „denken“ nicht im traditionellen Sinn und verstehen auch keine externen Prozesse. Sie haben nur Zugang zu den Informationen, mit denen sie trainiert wurden.
2. **Keine direkte Anbindung an externe Tools**: LLMs haben keinen direkten Zugang zu Rechnern oder mathematischen Programmen wie Taschenrechnern oder Rechenapplikationen. In speziellen Umgebungen kann man sie zwar mit solchen Tools verknüpfen (wie bei Python-Integration oder durch Plugins), aber standardmäßig arbeiten sie eigenständig ohne externe Ressourcen.
3. **Vorhersagemodell statt logischem Denken**: LLMs funktionieren durch Wahrscheinlichkeitsvorhersagen. Sie können auf Basis von Beispielen, die sie während ihres Trainings gesehen haben, schätzen, wie eine Rechnung aussehen könnte. Aber diese Schätzungen sind oft fehleranfällig, weil sie auf Mustern basieren und nicht auf mathematischen Prinzipien. Ein LLM „weiß“ zum Beispiel, dass die Antwort auf „2 + 2“ wahrscheinlich „4“ ist, weil es das oft gesehen hat. Bei komplexeren Berechnungen versagt dieses Prinzip.
4. **Technische und ethische Hürden**: Auch wenn man LLMs mit Rechenapplikationen verknüpfen könnte, wäre es eine technische Herausforderung, diesen Prozess nahtlos und schnell zu gestalten. Zudem gibt es ethische und Sicherheitsaspekte, wenn ein System Zugriff auf externe Anwendungen hätte. Missbrauch wäre ein großes Thema.
In der Zukunft könnten LLMs besser mit externen Tools integriert werden, um genauere Ergebnisse zu liefern. Bis dahin aber bleibt es bei einer spannenden Interaktion zwischen Sprachvorhersage und Rechenfähigkeiten.
Danke, gut erklärt!
Und das nur weil er ChatGPT nutzen kann. Toll
Wenn Millionen Menschen eine Meinung haben, dann ist es noch kein Fakt, aber nahe dran. So erkläre ich es (mit etwas Unschärfe) der Oma. Und GPT nimmt diese Meinungen zusammen und rechnet nicht selbst.
Große Sprachmodelle (LLMs) wie ich basieren auf neuronalen Netzwerken, die mit riesigen Textmengen trainiert wurden. Sie generieren Antworten, indem sie Muster und Zusammenhänge aus diesem Trainingsdatensatz nutzen. Wenn es um Berechnungen geht, versuchen LLMs, das Ergebnis vorherzusagen, basierend auf ähnlichen Berechnungen, die sie während des Trainings “gelesen” haben.
Da LLMs keine eingebauten Rechenfähigkeiten wie ein Taschenrechner oder spezialisierte Software haben, können sie bei komplexen oder genauen Berechnungen unzuverlässig sein. Sie führen die Berechnungen nicht wirklich durch, sondern generieren Wahrscheinlichkeiten für die nächsten Wörter oder Zahlen in einer Sequenz.
Der Grund, warum LLMs nicht einfach auf externe Rechenprogramme zurückgreifen, liegt darin, dass sie ursprünglich nicht dafür konzipiert wurden, mit externen Tools zu interagieren. Sie operieren innerhalb ihres eigenen Modells und haben keinen direkten Zugriff auf externe Anwendungen oder das Internet, es sei denn, sie wurden speziell dafür entwickelt.
In jüngster Zeit gibt es jedoch Bemühungen, LLMs mit externen Werkzeugen zu verbinden. Beispielsweise können sie mit Rechen-APIs oder anderen Programmen integriert werden, um genaue Berechnungen durchzuführen. Dies erfordert jedoch zusätzliche Architektur und Sicherheitsüberlegungen.
Zusammengefasst versuchen LLMs selbst zu rechnen, weil sie auf Mustern aus Textdaten basieren und keinen direkten Zugang zu Rechenwerkzeugen haben. Dies kann zu ungenauen Ergebnissen führen, weshalb die Integration von externen Rechenressourcen eine mögliche Lösung ist, um die Genauigkeit zu erhöhen.
Das schreibt GPT o1 als Antwort auf die Frage :-)
Oh, die Idee hatten auch andere. :-)
Warum stellst du deine Frage nicht direkt ChatGPT?
Irgendwann übergeben wir dann, aus Mangel an natürlicher Intelligenz, die Aufsicht über den Roten Knopf auch an sogenannte KI…
Cyberdyne-Systems wird dann dankend übernehmen, „Skynet“
wird es richten…
Nimm den Aluhut ab und lass Sauerstoff an die Birne … ist ja nicht zum aushalten …
Du solltest mal bisschen der Fantasie den Lauf lassen, wie kann man nur so beschränkt sein… schon mal was vom Terminator gehört… mein Gott, müssen manche alles so Tot Ernst nehmen..
„todernst“!.
Der Ernst ist noch nicht tot.
… ich schreibe sowas sonst nicht… hätte wohl vorher googeln müssen..
In der Mail die ich bekommen habe, steht, dass ApI Benutzer noch keinen Zugriff haben.
„These models aren’t available in the API for your account while we’re in this short beta period. (Developers on usage tier 5 will have access, but we’ll expand access to more tiers.) We’re continuing to improve o1 and we’ll be in touch as soon as it’s available to you in the API.“
Wäre ganz gut zu erwähnen, dass die Nutzung derzeit auf 30 Anfragen pro Woche limitiert sind.
Ich bin fasziniert! Vor allen Dingen davon, dass Apple noch groß mündig ankündigt, während die Konkurrenz auf und davon galoppiert.
Welche Konkurrenz? Die die im iPhone integriert ist? LOL
Apple integriert doch ChatGPT :)
Also die Herleitungen sind ja mal unter aller Sau und teils extrem falsch (obwohl das Ergebnis stimmt). Wow. Halluzinieren wir halt jetzt Herleitungen. Wird schon keiner prüfen
Seit einigen Updates kann die ChatGPT-App leider nicht mehr transkribieren, d.h. man kann statt dessen nur einen Sprachchat starten. Die Transkription war sehr schnell und sehr gut.
Unter MacOS ist die Transkription auch noch zusätzlich verfügbar. Hat jemand eine Idee wie man das unter iOS ändern kann oder eine Empfehlung für eine App die gut „whispers“ kann?