Einfache Ollama-Alternative
Pico AI Homelab: DeepSeek R1 lokal auf dem Mac
Die neue Mac-Anwendung „Pico AI Homelab“ kann ab sofort kostenlos aus dem Mac App Store geladen werden und bietet sich als lokale KI-Server-Lösung zum Ausführen sogenannter Large Language Models an.
Entwickelt wurde die App von Ronald Mannak. Mit der Anwendung lassen sich verschiedene große Sprachmodelle wie DeepSeek R1 Distill, Meta Llama 3.3 und Microsoft Phi 4 lokal herunterladen, verwalten und nutzen.
DeepSeek R1 Distill benötigt 35 GB
DeepSeek R1 Distill, eines der unterstützten Modelle, wurde erst vor wenigen Tagen als Open Source Modell veröffentlicht und sorgt seitdem für Schlagzeilen. Unter anderem hat die Performance der KI einen massiven Einbruch der Nvidia-Aktie ausgelöst. Dabei verlor der US-Chipkonzern knapp 600 Milliarden Dollar Börsenwert, was den größten Tagesverlust in der Geschichte der Wall Street markiert.
Das chinesische KI-Startup DeepSeek Benötigt nach eigenen Angaben deutlich weniger Ressourcen, um eine vergleichbare Performance zu liefern, wie die aktuellen GPT-Modelle von OpenAI.
Neben DeepSeek R1 Distill können auch weitere Modelle, etwa Gemma und Mistral, mit der Anwendung betrieben werden. Die Anwendung ist nach Angaben des Anbieters ohne technische Vorkenntnisse bedienbar. Statt komplizierter Befehle über die Kommandozeile genügen einfache Klicks, um die Modelle zu installieren und zu nutzen.
Die Systemanforderungen umfassen macOS 15 Sequoia sowie einen Mac mit Apples M1-Chip oder neuer.
Einfache Ollama-Alternative
Neben der Nutzung als lokale LLM-Lösung bietet „Pico AI Homelab“ auch Serverfunktionen, die den Einsatz im Heimnetzwerk oder in kleinen Teams ermöglichen sollen. Die Anwendung unterstützt bekannte Frontends wie Enchanted, und Ollamac, bringt aber auch eine eigene Weboberfläche mit.
Laut Entwicklerangaben basiert das Konzept auf der bisherigen Arbeit mit der App „Ollama“ und stellt eine grafische Benutzeroberfläche für deren Funktionen bereit.
Ein zentraler Vorteil von „Pico AI Homelab“ liegt in der ausschließlichen lokalen Verarbeitung der KI-Modelle.
Install DeepSeek R1 Distill on your Mac using Pico AI Homelab for free in just three clicks.
App Store link in the next tweet pic.twitter.com/dsqMUmfRUh— Ronald Mannak (@ronaldmannak) January 26, 2025
Die Veröffentlichung der App erfolgt vor dem Hintergrund eines wachsenden Interesses an personalisierten KI-Lösungen, die ohne permanente Internetverbindung genutzt werden können. Ob sich die Anwendung langfristig am Markt etablieren kann, bleibt abzuwarten.
Sehr schön. Pech für die NVIDIA-Jünger.
Nein.
Wer sich damit eingehender beschäftigt, wird merken, dass mit zunehmender Verbreitung von KI auch noch weitaus mehr NVIDIA-Chips gebraucht werden.
Auch DeepSeek wurde mit NVIDIA Chips entwickelt. Zwar weniger leistungsfähige, aber immer noch NVIDIA.
Und nein, ich habe KEINE Aktien von denen… :-)
Aber ich. Und deshalb freue ich mich über den Optimismus.
Das hat auch keiner behauptet. Klar benötigt Deepseek Nvidia. Aber nur sehr sehr wenig davon. Ich ging eher wegen den historischen 600 Milliarden Verlust ein. Das gab es ja so noch nie.
Project Stargate oder Elons krankhafte Aufrüstung für Grok. Das alles wird jetzt in Frage gestellt. Natürlich geht es jetzt um Effizienz. Aber Effizienz verkauft keine gute Hardware.
Ein Startup zeigt wo es lang geht. Wäre es nicht so dramatisch wie von der propagiert würde die Börse nicht in so ein historischen Ausmaß reagieren. Welches Startup bald wohl als Nächstes um die Ecke kommt?
Ach bitte… da ist auch ganz viel üblicher Börsenwahnsinn dabei..
Ob da in 1-2 Monaten noch ein Hahn nach kräht bleibt offen
Was sind denn das für Jünger?
Heutzutage bezeichnet man alles als Jünger was ganz fest an einer bestimmte Sache glaubt. Habe ich hier von den Kommentatoren gelernt.
Gibt es sowas auch für DeepSeek Janus Pro (Bildgenerierung)?
Einfach verbieten und abkaufen.
Und jetzt nochmal als ganzer Satz?
Das jetzt noch in einer Fassung für ein 16 GB iPad Pro wäre der Hammer!
Dafür kannst Du doch Apollo AI oder PrivateLLM nehmen.
Allerdings ist DeepSeek auch stark zensiert wenn man es z.B. nach Massakern in China befragt fängt er erst an ähnlich wie ChatGPT antwortet zu schreiben (inkl. durch Mao ausgelöste Hungersnöte / Massaker) bis er nach einigen Absätzen während dem Schreiben abbricht, alles löscht und nur noch schreibt: „Sorry das liegt außerhalb meines Bereichs lass und über was anderes reden“
Aber nicht in der lokalen Version. Da kannst du sowas fragen und bekommst auch deine Antworten. Die Web-Variante ist aber so wie du sagst zensiert diesbezüglich.
Jap.
Und mein Interesse daran eine KI nach Ereignissen in China zu befragen tendiert gegen null.
Scheint das einzige Problematik zu sein über was man eine Chinesische App fragen muss.
Denke auf Wikipedia ist die Thematik ausführlich erklärt.
Immer die Gutmensch Diskussionen.
Jip!
Dies trifft nicht auf das Modell zu. Lokal ausgeführt habe ich keine Zensur.
Und den Rest der Kosten über den genannten 5-6 Millionen hat der Chinesische Staat zugeschossen. Und kann jetzt schön Daten abgreifen.
https://codersera.com/blog/run-deepseek-janus-pro-7b-mac-guide
DeepSeek R1 Destill ist deutlich anders als DeepSeek R1, was derzeit so viele Schlagzeilen macht und was man auf deren Webseite und mit deren App nutzen kann. Das sind Enttäuschungen vorprogrammiert.
Ich hätte eine Frage, danke!
Verhält es sich mit lokalen KI‘s nicht ähnlich, wie mit dem papierenem Brockhaus von anno dazumal?
Heute ist die lokale KI ( zB. DeepSeek ) auf dem Stand von 2022 trainiert. Also auch nicht mehr ganz aktuell. Gut, muss man sich eventuell, halt auch kostenpflichtige, Updates laden.
Worin liegt also der Sinn, einer lokalen KI, will man sie ernsthaft einsetzen … einmal davon abgesehen, dass keine persönliche Daten dabei übermittelt werden.
Merci.
Zum Beispiel in der Verarbeitung persönlicher Dokumente ohne dass Daten abfließen.
Für die Bildschirmanalyse eines Textes und daraus abgeleiteten Assistentenjobs für die KI benötigt es keine aktuellen Trainingsdaten oder onlineverbindung.
Hey KI hier ist ein PDF Scan eines Briefs. Fasse mir den in einfacher Sprache zusammen, da ich kein Beamtendeutsch verstehe. Gebe mir eine Einschätzung ob ich einen Anwalt benötige. Wenn ja für welche Fachrichtung? Erstelle mir einen Kalendereintrag für den Anwaltstermin und häng die PDF an den Termin
etc. etc.
Sowas will man vielleicht nicht der online KI übermitteln. Lediglich die Online Suche nach einem geeigneten Anwalt in der Nähe für die benötigte Fachrichtung ist dann wieder auf aktuelle online Daten angewiesen.
@komacrew
Vielen Dank, für die Beispiele.
Eventuell versuch‘ ich‘s dann doch mal mit ner lokalen, noch kostenfreie KI.
Mal schauen, welche „verkleinerte“ KI-Version, für einen M1, bei nur 16GB fix verbauten RAM, da noch vertrauenswürdige Ergebnisse liefert.
Diese KI ist richtig schlecht. Ich bekomme nur komische Antworten. „Hallo, was kann ich dich alles Fragen“ führte zur KI-Antwort: „Hallo! Du Gesang also gerne. Mir geht es gut“. Meine Nachfrage: „Was meinst du mit Gesang? Ich habe nicht über Singen gesprochen“ führte zur Antwort: „Alles ist gut. Kein Probem!“ … Deepseek-Hype ist also massiv unbegründet.
DeepSeek R1 ist nur auf Englisch und Chinesisch trainiert.
also die Unterhaltung funktioniert zwar auf deutsch, aber die ersten Versuche sind doch noch sehr chaotisch… hab nen 16GB Modell auf nem M4 24GB laufen, aber laufen kann man das nicht nennen, eher nur warten… hat jemand schon positive Erfahrungen gesammelt?