Meta bringt leistungsfähige KI-Agenten direkt auf den eigenen Rechner. Mit Muse Glimmer hat das Unternehmen ein neues Open-Weight-Modell mit rund 30 Milliarden Parametern veröffentlicht, das speziell für autonome Aufgaben auf Consumer-Hardware entwickelt wurde. Statt für jede Anfrage auf eine Cloud-Infrastruktur angewiesen zu sein, kann die KI vollständig lokal auf einem leistungsfähigen PC oder Mac arbeiten.

Das Modell stammt aus den Meta Superintelligence Labs und ist ab sofort verfügbar. Meta veröffentlicht die Gewichte unter der vergleichsweise offenen Apache-2.0-Lizenz und richtet sich damit insbesondere an Entwickler, die eigene lokale KI-Agenten, Coding-Werkzeuge und multimodale Anwendungen erstellen möchten.

30 Milliarden Parameter – aber für Consumer-Hardware entwickelt

Muse Glimmer besitzt rund 29,6 Milliarden Parameter. In voller Präzision würde ein Modell dieser Größenordnung mehr als 55 GB Speicher benötigen und wäre damit für viele normale Desktop-Systeme ungeeignet.

Meta setzt deshalb stark auf Quantisierung. Dabei werden die Modellgewichte auf ungefähr 4 Bit komprimiert. Die kompakte Variante des Sprachmodells schrumpft dadurch auf weniger als 20 GB.

Dadurch bleibt innerhalb eines Systems mit 24 beziehungsweise 32 GB verfügbarem Speicher noch Platz für den KV-Cache, den Bildencoder und zusätzliche Komponenten zur Beschleunigung der Textgenerierung.

Eine RTX 5090 reicht für den lokalen Betrieb

Meta hat Muse Glimmer unter anderem auf einer Nvidia GeForce RTX 5090 sowie auf Apple-Systemen mit M4 Max und M5 Max getestet.

Die auf 17 GB komprimierte K-Quant-Version ist ausdrücklich für Hardware mit 24 GB Speicher vorgesehen. Damit kann das Modell beispielsweise auf einem entsprechend ausgestatteten High-End-Gaming-PC betrieben werden.

Eine zweite quantisierte Variante zielt auf Systeme mit 32 GB Speicher. Meta gibt an, dass die Komprimierung nur geringe Auswirkungen auf die Genauigkeit der untersuchten Agenten-Aufgaben besitzt.

Muse Glimmer soll nicht nur chatten, sondern Aufgaben erledigen

Der eigentliche Schwerpunkt liegt allerdings nicht auf klassischen Chatbot-Unterhaltungen.

Muse Glimmer wurde speziell für sogenannte agentische Arbeitsabläufe entwickelt. Die KI soll komplexe Aufgaben planen, mehrere Schritte hintereinander ausführen, externe Werkzeuge verwenden und bei Fehlern selbstständig einen neuen Lösungsversuch starten können.

Meta nennt als mögliche Einsatzbereiche unter anderem persönliche Assistenten, lokale Coding-Agenten, Funktionsaufrufe und automatisierte Modellbewertungen.

Ein persönlicher KI-Agent ohne Cloud

Gerade für persönliche KI-Assistenten ist der lokale Ansatz interessant.

Ein Agent könnte beispielsweise Termine verwalten, Nachrichten vorbereiten, Dateien organisieren oder mit persönlichen Dokumenten arbeiten, ohne sämtliche Informationen permanent an einen externen Cloud-Dienst übertragen zu müssen.

Die Verarbeitung kann vollständig auf dem eigenen Gerät erfolgen. Dadurch funktioniert Muse Glimmer grundsätzlich auch ohne aktive Internetverbindung.

Bilder, Screenshots und Dokumente werden verstanden

Muse Glimmer ist multimodal aufgebaut.

Neben Text kann das Modell auch Bilder als Eingabe verarbeiten. Ein eigener Wahrnehmungsencoder mit rund 1,8 Milliarden Parametern ermöglicht es der KI, unter anderem Screenshots, Diagramme und Dokumente gemeinsam mit Textinformationen auszuwerten.

Damit lassen sich beispielsweise Agenten entwickeln, die eine grafische Benutzeroberfläche analysieren, Informationen aus einem Dokument extrahieren oder einen Screenshot als Bestandteil einer komplexeren Aufgabe interpretieren.

Kontextfenster von mehr als 131.000 Tokens

Auch längere Aufgaben sind vorgesehen.

Die offizielle Modellkarte nennt ein Kontextfenster von mindestens 131.072 Tokens. Dadurch kann Muse Glimmer umfangreiche Dokumente, längere Konversationen oder größere Codebasen innerhalb eines Arbeitsablaufs berücksichtigen.

Zusätzlich wurde das Modell auf Daten aus mehr als 100 Sprachen trainiert.

Wenn ein Werkzeug scheitert, versucht die KI es erneut

Ein interessantes Element ist das sogenannte Failure Recovery.

Schlägt ein Werkzeugaufruf fehl oder liefert ein unerwartetes Ergebnis, soll Muse Glimmer nicht einfach abbrechen. Das Modell wurde darauf trainiert, den Fehler zu analysieren und einen neuen Lösungsversuch zu starten.

Diese Fähigkeit ist insbesondere für längere autonome Arbeitsabläufe wichtig. Ein Agent, der beim ersten API-Fehler seine gesamte Aufgabe beendet, ist im praktischen Einsatz nur eingeschränkt hilfreich.

KI kann unterschiedlich lange über Aufgaben nachdenken

Meta integriert außerdem unterschiedliche Stufen für den Reasoning-Aufwand.

Entwickler können zwischen Low, Medium, High und XHigh wählen. Je nach Aufgabe lässt sich dadurch zwischen einer schnelleren Reaktion und einer umfangreicheren Problemanalyse abwägen.

Komplexes Coding oder längere Agenten-Aufgaben können so mit höherem Reasoning-Aufwand ausgeführt werden, während einfache Anfragen weniger Rechenzeit benötigen.

Bis zu 233 Tokens pro Sekunde auf RTX 5090

Für eine lokale KI ist Geschwindigkeit entscheidend. Meta verwendet deshalb zusätzlich sogenanntes Speculative Decoding.

Ein kleineres Begleitmodell erzeugt dabei mehrere mögliche Tokens gleichzeitig. Muse Glimmer überprüft diese Vorschläge anschließend parallel, statt jedes Token ausschließlich nacheinander generieren zu müssen.

In Metas eigenen Messungen erreicht die Kombination auf einer RTX 5090 durchschnittlich rund 233 Tokens pro Sekunde. Ohne diese Beschleunigung wurden rund 75 Tokens pro Sekunde gemessen.

Das entspricht laut Meta einer Beschleunigung um den Faktor 3,1.

Auch Apple Silicon wird unterstützt

Meta hat den lokalen Ansatz nicht ausschließlich auf Nvidia-Grafikkarten ausgelegt.

Auf einem Mac mit M5 Max erreichte die getestete Version mit Speculative Decoding rund 50 Tokens pro Sekunde. Beim M4 Max waren es knapp 38 Tokens pro Sekunde.

Optimierte Integrationen für MLX, llama.cpp und ExecuTorch sollen den lokalen Einsatz auf unterschiedlichen Plattformen weiter vereinfachen.

Meta veröffentlicht die Gewichte unter Apache 2.0

Besonders bemerkenswert ist die Lizenz.

Muse Glimmer wird unter Apache 2.0 veröffentlicht. Entwickler erhalten dadurch vergleichsweise weitreichende Möglichkeiten, das Modell in eigenen Projekten einzusetzen, anzupassen und darauf basierende Anwendungen zu entwickeln.

Die Modellgewichte stehen bereits über Hugging Face bereit.

In den kommenden Tagen soll die Unterstützung durch Ollama, LM Studio und Unsloth hinzukommen. Auch llama.cpp, ExecuTorch, MLX, vLLM und SGLang gehören zu den vorgesehenen Plattformen.

AMD, Nvidia, Intel und weitere Hersteller arbeiten mit Meta

Für die Hardwareoptimierung arbeitet Meta nach eigenen Angaben mit mehreren großen Herstellern zusammen.

Dazu gehören AMD, Arm, Dell, Intel und Nvidia. Ziel ist es, die Leistung von Muse Glimmer auf unterschiedlichen Geräten weiter zu verbessern.

Damit könnte das Modell langfristig nicht nur für absolute High-End-PCs interessant werden. Optimierte und stärker quantisierte Varianten könnten lokale KI-Agenten zunehmend auf gewöhnliche Consumer-Hardware bringen.

Einordnung

Muse Glimmer ist vor allem deshalb interessant, weil Meta einen der aktuell wichtigsten Trends im KI-Markt konsequent verfolgt: leistungsfähige KI soll nicht ausschließlich in gigantischen Rechenzentren laufen.

Cloudmodelle besitzen weiterhin erhebliche Vorteile bei maximaler Rechenleistung. Für persönliche Agents entstehen allerdings neue Anforderungen. Ein System, das permanent auf Dateien, Nachrichten, Kalender und andere private Informationen zugreifen soll, profitiert deutlich von lokaler Verarbeitung.

30 Milliarden Parameter auf einer einzigen Consumer-GPU sind dabei eine interessante Größenordnung. Das Modell ist groß genug, um komplexere Aufgaben zu bewältigen, bleibt durch Quantisierung aber noch innerhalb der Möglichkeiten aktueller High-End-PCs.

Die Veröffentlichung unter Apache 2.0 ist ebenfalls strategisch bedeutsam. Meta überlässt die praktische Weiterentwicklung damit zu einem erheblichen Teil der Entwicklergemeinschaft.

Ollama, LM Studio und ähnliche Anwendungen könnten Muse Glimmer vergleichsweise schnell für Nutzer verfügbar machen, die keine eigene KI-Infrastruktur aufsetzen möchten.

Besonders interessant wird deshalb die Frage, wie gut das Modell außerhalb von Metas Benchmarks im Alltag funktioniert. Denn Agenten müssen nicht nur gute Einzelantworten erzeugen. Sie müssen über längere Zeit zuverlässig planen, Werkzeuge korrekt bedienen, Fehler erkennen und sensible persönliche Informationen sicher behandeln.

Gelingt das, könnte Muse Glimmer ein wichtiger Schritt in Richtung eines persönlichen KI-Agenten sein, der nicht irgendwo in einem Rechenzentrum, sondern direkt auf dem eigenen Rechner lebt.