Chatd: Mac-App ermöglicht lokalen KI-Chat mit Dokumenten

Mit den Entwicklungen Schritt zu halten, die derzeit in Sachen Künstliche Intelligenz für neue Produkte, Projekte und Programme sorgen, ist herausfordernd. Im Durcheinander der aktuell herrschenden Goldgräberstimmung fallen jedoch immer wieder kleine Perlen auf, die es durchaus wert sind, genauer begutachtet zu werden.

Zu diesen zählt unserer Meinung nach auch das Open-Source-Projekt Chatd. Bei diesem handelt es sich um eine Mac-Anwendung, die ein attraktives Versprechen in den Raum stellt: Den lokalen Chat mit beliebigen Dokumenten.

KI-Textmodell wiegt 4 GB

Der Download setzt auf das quelloffene KI-Textmodell Mistral-7B, an dessen Erstellung auch Wissenschaftler des Facebook-Mutterkonzerns Meta mitgewirkt haben sollen. Chatd lädt den rund 4 GB großen Mistral-7B-Datensatz beim ersten Start komplett auf die Festplatte und ist anschließend auch ohne Internetverbindung voll einsatzfähig.

Abgelegt wird das KI-Textmodell übrigens im Verzeichnis „~/Library/Application Support/chatd“, das ihr bei einer Deinstallation der Anwendung ebenfalls wieder vom eigenen Mac tilgen solltet.

Lokaler Chat, nur auf Englisch

Ist das Modell eingebunden, lässt sich die Anwendung mit beliebigen PDF-Dokumenten füttern und kann diese anschließend zusammenfassen, über alle möglichen Details Auskunft geben und Fragen beantworten, die sich ausschließlich auf das zuvor geladene PDF beziehen.

In unseren Versuchen läuft dies mit englischsprachigen PDF-Dokumenten auch einigermaßen zügig und mit brauchbaren Ergebnissen ab. Auf Deutsch formulierte Fragen werden von dem Modell jedoch nicht verstanden und entsprechend auch nicht ausgewertet.

Chatd könnte damit vor allem bei sehr umfangreichen Dokumenten zur Hand gehen, um sich hier einen schnellen Überblick zu verschaffen und diese mit ausformulierten Fragen statt einzelnen Wörtern nach den für euch interessanten Stellen zu durchforsten.