Mein Rechner denkt jetzt selbst mit – Erfahrungen mit lokal laufender KI

Seit vielen Monaten experimentiere ich intensiv mit KI, die nicht irgendwo auf der Welt in einem Rechenzentrum läuft, sondern direkt auf meinem eigenen Computer. Was als technische Spielerei begann, ist inzwischen fester Bestandteil meines Arbeitsalltags geworden. Nicht überall, aber an erstaunlich vielen Stellen. Zeit für eine Zwischenbilanz.

Warum überhaupt lokal?

Ich finde den Begriff der digitalen Souveränität sehr treffend. In der Energiepolitik ist uns in den letzten Jahren schmerzhaft bewusst geworden, was Abhängigkeit bedeutet. Wir wollen nicht mehr auf russisches Gas oder Öl aus dem Nahen Osten angewiesen sein. Bei KI ist die Lage ganz ähnlich: Die leistungsfähigsten Systeme gehören einer Handvoll US-amerikanischer und chinesischer Konzerne. Wer ChatGPT, Claude, oder Deepseek nutzt, gibt seine Daten in unsichere Hände.

Lokal laufende KI ist so etwas wie die Photovoltaikanlage auf dem eigenen Dach. Die Module mögen aus China stammen, aber der Strom wird trotzdem bei mir erzeugt. Genauso verhält es sich mit offenen Sprachmodellen: Auch wenn Gemma von Google oder Qwen aus China kommt, fließen keine Daten zurück zum Hersteller. Das Modell liegt auf meiner Festplatte, und ich kann das WLAN abschalten – es funktioniert trotzdem.

Dazu kommt, dass es keine laufenden Kosten gibt, keine Nutzungslimits und keine ggf. teurer werdenden Abos. Und ehrlich gesagt: Ich finde es einfach technisch faszinierend, dass mein Laptop heute Texte schreibt, Gespräche transkribiert und Bilder erstellt, ohne irgendeinen Server zu fragen.

Was es braucht

Ganz ohne Voraussetzungen geht es nicht. Entscheidend sind Arbeitsspeicher und Rechenleistung. Unter 16 GB wird es mühsam, und ein Modell mit rund 20 GB, wie ich es häufig nutze, braucht einen Rechner mit mindestens 32 GB. Die Faustregel ist einfach: Je besser der Computer, desto größere Modelle kann ich verwenden, und desto besser und schneller sind die Antworten.

Die Modelle heißen etwa „Gemma 7B MLX 4bit“, und das wirkt zunächst kryptisch. Dahinter stecken die Anzahl der Parameter (7 Milliarden), eine Optimierung für Apple-Rechner und der Grad der Komprimierung. Man muss sich ein bisschen einlesen. Und manchmal funktioniert etwas nicht, dann muss man eben suchen und probieren. Ein kleiner Trick, der mir dabei enorm hilft: Wenn ich bei der Einrichtung hänge, frage ich die Cloud-KI um Rat. ChatGPT oder Claude können inzwischen sogar Maus und Tastatur übernehmen und direkt auf meinem Rechner nachsehen, was schiefläuft. Ich bin Anwender, kein Techniker. Ohne diese Unterstützung hätte ich manches Tool nie zum Laufen gebracht.

Der Anwendungsfall, der mich überzeugt hat: Sprache

Am besten funktioniert lokale KI derzeit bei der Verarbeitung gesprochener Sprache, und zwar so gut, dass ich hier gar keinen Online-Dienst mehr brauche.

Ich tippe kaum noch. E-Mails, kurze Nachrichten und vor allem Prompts spreche ich einfach ein. Tastenkombination drücken, reden, loslassen, und der Text steht in jedem beliebigen Textfeld. Das ist unglaublich viel schneller als Tippen und passiert komplett lokal und kostenlos. Auf dem Mac nutze ich dafür MacWhisper, das absolut stabil läuft. Plattformübergreifende Alternativen sind TypeWhisper, OpenWhispr oder Handy, das auch unter Linux funktioniert. Nur für komplexe Texte, bei denen ich beim Schreiben denken muss, bleibe ich bei der Tastatur.

Die zweite Anwendung ist die Transkription von Besprechungen. Ich nehme ein Gespräch direkt am Rechner oder mit dem Smartphone auf, und innerhalb einer Minute habe ich ein Transkript, sogar mit Unterscheidung der Sprecherinnen und Sprecher. Wer keinen Mac hat, findet in noScribe ein ausgezeichnetes kostenloses Werkzeug.

Protokolle und Anonymisierung

Richtig spannend wird es, wenn ich das Transkript anschließend einem lokalen Sprachmodell übergebe. Programme wie Ollama oder LM Studio sind dabei so etwas wie das Betriebssystem, in das ich verschiedene Modelle lade: Gemma, Qwen, Llama oder Mistral. Ollama ist schön aufgeräumt und für den Einstieg ideal. LM Studio wirkt technischer, ist aber vielseitiger.

Ich lasse mir daraus ausführliche Protokolle, Stichwortprotokolle oder die wichtigsten Aussagen zusammenfassen. Vor einem halben Jahr kam dabei noch weitgehend Unsinn heraus, inzwischen sind die Ergebnisse wirklich brauchbar. Und das Entscheidende: Namen, Einrichtungen und alles Gesagte bleiben auf meinem Rechner.

Besonders gerne nutze ich einen hybriden Weg. Das lokale Modell ersetzt alle Namen und Organisationen durch Kürzel wie P1, P2, P3. Dieses pseudonymisierte Transkript kann ich dann guten Gewissens an ein leistungsstärkeres Cloud-Modell geben. Das fertige Protokoll wandert zurück in die lokale KI, die sich noch erinnert, wer P6 war, und die Namen wieder einsetzt. So verbinde ich das Beste aus beiden Welten.

Eines möchte ich als Jurist aber betonen: Auch lokale Verarbeitung bleibt Verarbeitung personenbezogener Daten. Transparenz und Einwilligung sind Pflicht. Heikel wird es vor allem bei Audioaufnahmen ohne Zustimmung. Lokal ist datenschutzrechtlich deutlich besser, aber kein Freibrief.

Posteingang und Kalender – mit Anlaufschwierigkeiten

Über MCP, eine Schnittstelle zur Verbindung von KI mit anderen Programmen, habe ich lokale Modelle mit meinem E-Mail-Postfach und meinem Kalender verbunden. Welche Mails von heute sind noch unbeantwortet? Was davon ist dringend? Wie hat sich mein Kontakt mit einem bestimmten Kooperationspartner entwickelt? Wann habe ich nächste Woche zwei Stunden frei?

Einer Cloud-KI würde ich ungern Zugriff auf mein Postfach geben. Eine lokale KI in meine Mails schauen zu lassen, ist dagegen kaum anders, als selbst hineinzuschauen. Die Kehrseite: Diese Verbindungen sind noch fragil. An manchen Tagen funktioniert alles, am nächsten Morgen streikt plötzlich die Anbindung.

Agentische KI – spannend, aber experimentell

Noch einen Schritt weiter geht agentische KI. Hier gebe ich nicht mehr einzelne Arbeitsschritte vor, sondern nur ein Ziel, und die KI überlegt sich selbst den Weg dorthin. Sie nutzt dafür Werkzeuge und bedient notfalls den ganzen Computer. Als mir die Einrichtung von ComfyUI zu kompliziert war, habe ich ChatGPT einfach gebeten, sich das anzusehen. Ein paar Minuten Herumklicken später lief alles. Das ist gleichzeitig faszinierend und ein bisschen unheimlich.

Solche Agenten gibt es inzwischen auch lokal. Am besten funktioniert für mich Hermes, das mit lokalen Modellen zusammenarbeitet und aus der Nutzung dazulernt. Ich kann ihm etwa sagen: Schreib einen kurzen Text über lokale KI und öffne ihn in Word. Meistens klappt das. Aber eben nur meistens, und es gibt zu viele Rückfragen. Für den Alltag ist mir das noch zu unzuverlässig. Das ist derzeit mein Experimentierfeld, kein Arbeitswerkzeug.

Bilder aus dem eigenen Rechner

Völlig überrascht hat mich die lokale Bildgenerierung. Vor ein, zwei Jahren war das, was lokal entstand, schlicht unbrauchbar. Heute tippe ich in Draw Things „Eine Katze fährt Ski in den österreichischen Alpen“ und habe wenige Sekunden später ein erstaunlich gutes Bild, erzeugt mit Flux aus Deutschland. Draw Things läuft sogar auf dem iPhone. Die professionelle Variante ist ComfyUI: kompliziertere Oberfläche, dafür Ergebnisse z.B. mit Qwen 2.1., die sich vor kommerziellen Diensten nicht verstecken müssen. Niemand schaut zu, nichts kostet etwas.

Wo die Grenzen liegen

Ich will nichts schönreden. Lokale Modelle sind ungefähr dort, wo ChatGPT und Claude vor zwölf bis achtzehn Monaten waren. Bei der Websuche halluzinieren sie gerne. Beim Entziffern alter Handschriften oder beim Erkennen historischer Fotos sind die großen Cloud-Modelle klar überlegen. Und je mehr Komponenten zusammenspielen müssen, desto öfter hakt es.

Eine Schattenseite sollte man auch kennen. Bei lokalen Modellen lassen sich die eingebauten Schutzmechanismen technisch entfernen. Solche „unzensierten“ Modelle beantworten jede Frage und schreiben auch Betrugsmails oder extremistische Texte. Die Offenheit hat also ihren Preis.

Schade finde ich, dass die besten offenen Modelle nach wie vor aus den USA und China kommen. Mistral aus Frankreich, das deutsche Teuken, EuroLLM oder das Schweizer Apertus zeigen aber, dass sich in Europa etwas tut. Wer nicht selbst installieren will, findet mit Chat AI der GWDG in Göttingen oder Langdock europäische Online-Alternativen.

Mein Fazit

Es wird auf absehbare Zeit eine Kombination bleiben: lokale KI für alles Vertrauliche und Alltägliche, Cloud-KI für die ganz schweren Aufgaben. Für Spracheingabe, Transkription, Protokolle und Anonymisierung ist lokal heute schon die bessere Wahl. Beim Rest lohnt es sich, dranzubleiben, denn die Entwicklung ist rasant.

Mein Tipp für den Einstieg: Ollama installieren, ein kleines Gemma- oder Qwen-Modell laden und einfach ausprobieren. Und parallel MacWhisper oder noScribe testen. Wer einmal seine Prompts diktiert hat, will nicht mehr zurück.

Hier die Linkliste zum Anhängen ans Ende des Beitrags:

Links zum Weiterlesen und Ausprobieren

Spracheingabe und Transkription

• MacWhisper (Mac): https://www.macwhisper.com/
• TypeWhisper: https://www.typewhisper.com/de/
• OpenWhispr: https://openwhispr.com/de
• Handy (auch Linux): https://handy.computer/download
• noScribe (Windows, Mac, Linux): https://noscribe.de/de/

Lokale Sprachmodelle

• Ollama: https://ollama.com/
• LM Studio: https://lmstudio.ai/
• AnythingLLM: https://anythingllm.com/
• Hugging Face (Modellplattform): https://huggingface.co/

Bilderzeugung

• Draw Things (Mac, iPhone, iPad): https://drawthings.ai/
• ComfyUI: https://comfy.org/

Europäische und datenschutzfreundliche Online-Alternativen

• Chat AI der GWDG: https://chat-ai.academiccloud.de/
• Langdock: https://www.langdock.com/
• Mistral: https://mistral.ai/