Ollama: Mac-App führt KI-Chatbot von Meta lokal aus

Hinter dem Erfolg von künstlich intelligenten Textgeneratoren wie ChatGPT stehen sogenannte Large Language Models (LLMs). Dies sind statistische Abbildungen unglaublich großer Textkörper, die die Chatbots in die Lage versetzen, menschenähnliche Sätze zu formulieren, auf Fragen zu antworten und nahezu freihändig Texte zu verfassen.

Inzwischen gibt es nicht mehr nur eine kleine Handvoll LLMs, sondern zahlreiche konkurrierende Projekte, die sich in Umfang, Lizenzmodell und der Größe des zugrunde liegenden Textkorpus unterscheiden. Mit am bekanntesten sind die Modelle GPT-3 und GPT-4, die von der hinter ChatGPT stehenden Firma OpenAI entwickelt wurden.

Seit dem Frühjahr bietet auch der Facebook-Mutterkonzern Meta ein eigenes LLM an, das zur nicht-kommerziellen Nutzung kostenlos aus dem Netz geladen und eingesetzt werden kann. Das Metamodell nennt sich LLaMA (Large Language Model Meta AI), bringt es auf 70 Milliarden Parameter und ist wie GPT-3 in der Lage, Konversationen auf zahlreichen Rechnern in unterschiedlichen Sprachen zu führen.

Im Vergleich zu ChatGPT hat LLaMA für den privaten Einsatz den Vorteil, dass es nicht nur kostenlos genutzt, sondern auch lokal auf den eigenen Mac heruntergeladen werden kann und anschließend ohne eine Internetverbindung funktioniert.

Ollama vereinfacht lokale Nutzung

Die Mac-Anwendung Ollama vereinfacht die Installation und Anwendung des von Meta bereitgestellten Modells und lässt sich hieraus dem Netz laden. Einmal installiert, muss anschließend nur noch das in der Ollama-Anzeige gezeigte Kommando in das Mac Terminal kopiert werden. Anschließend können hier beliebig lange Gespräche mit dem gewählten LLaMA-Modell geführt werden. Dieses wird in der App in verschiedenen Variationen angeboten.

Ollama ist schnell installiert und einfach zu nutzen; die Ergebnisse fallen allerdings durchwachsen aus und sind stark von den Eingaben des Nutzers abhängig. Beim ersten Start des Metamodells wird dieses aus dem Netz geladen und beansprucht etwa 4 GB Speicherplatz auf der Festplatte. Das Modell wird in eurem Benutzerordner im Verzeichnis ~/.ollama gesichert.