Kostenlos und auf Wunsch komplett lokal
AnythingLLM für Mac: Eine KI-App für alle KI-Bedürfnisse
Inzwischen gibt es eine ChatGPT-App für den Mac, eine offizielle Claude-Anwendung für den Desktop-Einsatz und einen nativen Mac-Download des KI-Recherchewerkzeuges Perplexity. Das Open-Source-Projekt AnythingLLM bietet eine Anwendung an, das diese KI-Anbieter, zusätzliche Optionen und lokale Modelle unter einer Oberfläche versammelt.
Unter anderem werden KI-Modelle wie GPT-4, Llama oder Mistral unterstützt, was eine Anpassung an unterschiedliche Anforderungen ermöglichen soll.
AnythingLLM bietet so eine flexible Lösung für den KI-Einsatz, der sich nach Angaben der Projektverantwortlichen vor allem auf die Verwaltung und Analyse von Dokumenten fokussiert. Die Anwendung lässt sich dabei gänzlich lokal installieren, sodass Nutzer ohne Cloud-Dienste und (nach dem Download der Modelle) auch ohne Internetverbindung arbeiten können. Setzt man nur auf lokale KI-Modelle bleibt die Datenverarbeitung vollständig privat und unter Kontrolle des Anwenders.
Vor allem zur Dokumentenauswertung
AnythingLLM ist darauf ausgelegt, mit verschiedenen Dateiformaten wie PDFs und Word-Dokumenten umzugehen und diese in sogenannten “Workspaces” zu organisieren. Diese Workspaces agieren unabhängig voneinander, was eine klare Strukturierung und Verwaltung großer Datenmengen erlaubt.
Besonders für Unternehmen interessant ist die Docker-Version, die eine Multi-User-Umgebung mit individuellen Zugriffsrechten ermöglicht. Über eine API kann die Anwendung zudem in bestehende Systeme integriert werden, was eine flexible Anpassung an spezifische Bedürfnisse erlaubt.
Kostenfreie Desktop-Version
Das Geschäftsmodell von AnythingLLM umfasst eine quelloffene, kostenfreie Desktop-Version sowie eine Cloud-Option ab 50 Dollar monatlich. Die Cloud-Version richtet sich an Unternehmen, die eine zentral verwaltete Instanz bevorzugen, bei der Daten in einer isolierten Umgebung gespeichert werden sollen.
Die Unabhängigkeit von externen Diensten und die Option, geschlossene und offene KI-Modelle zu verwenden, könnte Nutzer ansprechen, die sowohl datenschutzfreundliche als auch leistungsfähige Lösungen für die Dokumentenverwaltung suchen und unter einer einheitlichen Oberfläche nutzen möchten. Die offizielle Dokumentation der Macher klärt über den Funktionsumfang des Angebotes auf.
Bevor sich die Masse darauf stürzt… lokal installierte LLMs haben einen unfassbar hohen Anspruch auf Festplatten- und Speicherplatz.
Mehrere parallel davon ist für die meisten Anwender praktisch unmöglich.
Definiere unfassbar hoch?
Mit einem MacBook Pro M3 und mindestens 16GB RAM + 4GB Speicher kann man sehr gut lokale Modelle nutzen. Nicht dir größten aber zb LLama 3.2 8B geht super. Darunter hab ich keine Erfahrung.
Die Apple MLX Modelle zudem noch schnell
Ich brauche Rat:
Ich habe einen M1Pro und llama geht zwar, aber schon etwas träge.
Denke zu wechseln. Preislich um 4K okay. (MacBookPro, 2TB)
Entweder M4Pro, M3Max oder M2 Ultra Studio.
Der M3Max wäre mein Fav. Mehr GPU, RAM je nach Angebot, preislich etwas drunter. TB5 ist ja jetzt nichts, was man sofort haben muss.
Andere Anregungen?
Das ist kein lokal installiertes llm, das nutzt ja trotzdem die Internet Services. Ist nur ein hub der alles unter einem Hut vereint
Aber für die Internet Services wird doch bestimmt eine kostenpflichtige API notwendig sein, oder?
Ist das nicht das gleiche wie MacBot, zumindest was die Verwendung diverse KIs unter einer Oberfläche betrifft? (Also außer der Lokal Funktion)
Ich hoffe, dass wir nach dem Frühjahr dann nicht ständig bei jedem zukünftigen Feature lesen müssen „diese Funktion ist vorerst in der EU nicht verfügbar“, sondern dass Apple die EU-Konformität immer von vorne mit einkalkuliert.
Eine KI die alle anderen KIs koordiniert. Perfect
AnythingLLM selbst ist keine KI, auch wenn es „AI Agents“ dafür gibt, die man verwenden kann.
„Claude-Anwendung“?
Wie lautet die Frage?
claude.ai