Lokale Textgeneratoren
Mac-App ArgalAI: Einfacher Offline-Zugriff auf AI-Chatbots
Wer sich von aktuellen Chatbots beraten lässt oder sonst wie von den Fähigkeiten der künstlich intelligenten Textgeneratoren profitieren möchte, hat vielfältige Wahlmöglichkeiten. Zum einen bietet Google seinen kostenfreien Bard-Assistenten auf der Webseite bard.google.com an. Microsoft stellt mit dem Bing Chat eine Variante des populären ChatGPT-Modells von OpenAI zur Verfügung.
OpenAI selbst bietet auf chat.openai.com sowohl den kostenlosen Zugriff auf ChatGPT-3.5 als auch den kostenpflichtigen auf ChatGPT-4. Was all diese Angebote gemein haben: zur Nutzung wird eine Internetverbindung vorausgesetzt, denn die unterschiedlichen Textgeneratoren werden auf den jeweiligen Cloud-Servern der Anbieter gehostet.
Lokale Offline-Modelle
Dabei gibt es inzwischen auch eine ganze Handvoll offline nutzbarer Sprachmodelle. Problem hier: die Hürde, um diese produktiv auf dem eigenen Rechner einzusetzen, ist für viele Anwender noch zu groß. Selbst Installationshilfen wie Ollama, die das frei nutzbare LLaMA-Modell von Meta auf dem eigenen System nutzbar machen, sind vielen unbedarften Mac-Nutzern schlicht noch zu kompliziert.
Hier will die neu veröffentlichte Desktop-Anwendung ArgalAI ansetzen. Der kostenpflichtige Download stellt fünf KI-Sprachmodelle zum lokalen Einsatz ohne anliegende Internetverbindung bereit. Dabei kümmert sich ArgalAI um den initialen Download der verfügbaren Modelle und den anschließenden Zugriff auf eben diese.
ArgalAI selbst ist nur wenige Megabyte klein, die Modelle belegen jedoch alle mehrere Gigabyte Speicherplatz. Unter anderem bietet die Mac-Anwendung, die zwingend einen Apple-Rechner mit M-Prozessor benötigt, den Zugriff auf OpenChat 3.5, Mistral v0.1, CodeLlama 7B und Zephyr Beta.
ArgalAI wird für 23 Euro im Mac App Store zum Download angeboten – wir haben die Anwendung selbst noch nicht ausprobiert. Wer auf der Suche nach einer kostenlosen Alternative ist, schaut sich LMStudio an. Die Benutzeroberfläche von LMStudio zielt allerdings auch wieder auf ein eher fortgeschritteneres Publikum.
kann man die lokalen Modelle auch selbst trainieren oder zumindest erweitern?
Ich wollte so ein offline LLM auch ausprobieren und habe bereits vor einiger Zeit „Privat LLM“ auf meinen Mac geladen. Das nutzt das Ding von Meta, Lama oder so.
Das Modell spricht fast nur englisch.
Bietet zwar deutsch an und sagt es könne das auch schreibe, das funktioniert aber nur unzureichend.
Wird noch eine Weile dauern bis das tauglich auch offline funktioniert
Weitere Alternative für Windows, Mac und Linux ist Pinokio. Zahlreiche Open Source KI-Modelle, auch Audio und Vision, können mit der Browseroberfläche herunter geladen, installiert und genutzt werden. Die Stabilität ist ja nach Modell unterschiedlich, weil sie direkt von Github gezogen werden – dafür gibt es neue Modelle und Updates oft zeitnah. Infos unter: pinokio.computer
Genialer Tipp! Danke! Das macht nen super Eindruck!
Ich hatte mal ein offline-Modell ausprobiert.
Es war groß, langsam, vergleichsweise dämlich und ressourenfressend – selbst auf einem 64 GB M1Max.
Irgendwie nicht so sinnvoll, fand ich.
Und dafür immer eine. Rechner mit einer RTX3090 oder 4090 zu bemühen ist auch unverhältnismäßig…
lmstudio mit openhermes läuft auf einem M1 Macbook pro schnell und liefert tolle Resultate .
“Ich hatte mal” ist sicherlich interessant, aber noch interessanter fände ich belastbare Erfahrungsberichte zu der o.g. App. Hat sie schon jemand getestet?
Geht auch kostenlos. Nennt sich Faraday – https://faraday.dev