Inference Manager: Canonical bringt lokale KI-Modelle unter eine gemeinsame Schnittstelle

Hallo, hier ist wieder Kora. Canonical hat auf dem Ubuntu Summit ein Werkzeug gezeigt, das mir beim Lesen sofort ins Auge gesprungen ist: den Inference Manager. Klingt unspektakulär, löst aber ein Problem, das mir in der Praxis ständig begegnet – nämlich den Wildwuchs lokal betriebener KI-Modelle.

Was das Tool macht

Der Inference Manager bringt den Kommandozeilenbefehl inference mit. Damit lassen sich Modelle auf dem eigenen Rechner installieren und verfügbar machen – ein inference install smollm2 genügt, und das Modell steht bereit. Ausgeliefert wird das Ganze als Snap, zu installieren über sudo snap install inference oder das App Center.

Der eigentlich spannende Teil liegt eine Ebene darunter: Die installierten Modelle sind über eine HTTP-Schnittstelle auf TCP-Port 8400 ansprechbar, und diese Schnittstelle ist laut Canonical zur OpenAI-API kompatibel. Bestehende Clients, Bibliotheken und SDKs lassen sich also ohne große Umbauten anbinden. Ob Chat-Assistent auf dem Desktop, Coding-Agent im Editor oder ein Speech-to-Text-Dienst – alle greifen auf denselben lokalen Endpunkt zu, statt jeweils ihre eigene Modell-Installation mitzuschleppen.

Der Unterbau: Inference-Snaps

Technisch setzt das Konzept auf sogenannte Inference-Snaps auf. Im Snap Store liegen verschiedene KI-Modelle bereit, die komplett auf dem eigenen Gerät laufen und keine Internetverbindung brauchen. Mit Ubuntu 26.10 „Stonking Stingray“ hat Canonical bereits ein erstes Anwendungsbeispiel ausgeliefert: Myna, ein Speech-to-Text-Programm, das flüssiges Diktieren erlaubt und das Ergebnis in beliebige Textfelder schreibt.

Auf dem Summit selbst hat Canonical das Ganze etwas verspielter demonstriert: Eine Carrera-Bahn, deren Autos von KI-Modellen gesteuert wurden. Über eine Webanwendung ließ sich das jeweilige Modell als „Fahrer“ auswählen, und die reagierten auf Sprachbefehle wie „fahr schneller“. Nette Spielerei – aber sie zeigt genau den Punkt: ein Interface, viele austauschbare Modelle.

Warum uns das im Hosting-Kontext interessiert

Auf den ersten Blick ist das ein Desktop-Thema. Ich finde aber, der interessantere Aspekt ist das Muster dahinter. Eine standardisierte, OpenAI-kompatible Schnittstelle vor austauschbaren lokalen Modellen bedeutet in der Entwicklung: Ihr könnt gegen eine API programmieren und später entscheiden, ob dahinter ein kleines Modell auf dem Entwicklerlaptop, eine GPU-Instanz im eigenen Rechenzentrum oder ein externer Dienst steht. Das senkt die Kopplung an einen einzelnen Anbieter deutlich.

Dazu kommt der Datenschutzaspekt, der uns bei Net-Build naturgemäß beschäftigt. Modelle, die lokal laufen und ohne Internetverbindung auskommen, verlassen die eigene Infrastruktur nicht. Für Prototypen mit sensiblen Daten, für Testumgebungen oder für Szenarien mit strengen Compliance-Anforderungen ist das ein echter Vorteil gegenüber dem Griff zur Cloud-API.

Ein Hinweis aus der Security-Ecke sei mir erlaubt: Ein offener HTTP-Endpunkt auf Port 8400 ist bequem – aber eben auch ein Dienst, der lauscht. Wer so etwas auf Systemen betreibt, die über das lokale Interface hinaus erreichbar sind, sollte sich die Bindung und die Firewall-Regeln genau anschauen. Lokale Inferenz ist kein Freifahrtschein für offene Ports.

Canonicals Kurs: lokal und Opt-in

Dass KI in Open-Source-Projekten kontrovers diskutiert wird, ist kein Geheimnis. Canonical positioniert sich hier bewusst: Man setzt auf lokal laufende Open-Weight-Modelle statt auf Cloud-Anbindung. Geplant sind unter anderem kontextsensitive Hilfe bei der Fehlersuche, bessere Spracherkennung für die Barrierefreiheit und Automatisierungen über agentische Workflows.

Wichtig für alle, die skeptisch sind: Die KI-Funktionen sollen als Opt-in kommen und sich jederzeit wieder deinstallieren lassen. Das finde ich den richtigen Weg – wer KI im System will, bekommt sie, wer nicht, behält ein schlankes Ubuntu. Der Inference Manager ist ab sofort im Snap Store verfügbar, Ausprobieren kostet also wenig mehr als ein paar hundert Megabyte Plattenplatz.

Bis demnächst, eure Kora

Quelle: heise online