KNUT deine KI, dein Netzwerk, keine Cloud
KNUT bündelt vorhandene GPUs mehrerer Rechner zu einem gemeinsamen Inference-Cluster, selbst gehostet, ohne Cloud-Anbindung, ohne laufende Token-Kosten. Von der Architektur über die Oberfläche bis zum Betrieb.
Die Herausforderung
KI-Modelle laufen in der Cloud, und jede Anfrage, die man an einen externen Dienst schickt, verlässt das eigene Netz. Für Unternehmen mit Compliance-Anforderungen, Datenschutzbedenken oder einfach dem Wunsch nach unabhängigen Kosten ist das kein Detail, sondern ein Ausschlusskriterium.
Die Alternative, ein einzelner Rechner mit einer teuren GPU, ist entweder limitiert in der Leistung oder in der Anschaffung. KNUT löst den Widerspruch, indem es vorhandene Hardware zusammenbringt: zwei NVIDIA-GPUs oder Apple-Silicon-Geräte reichen, um einen Cluster zu betreiben, der mehr kann als jedes einzelne Gerät.
Cluster statt Einzelkämpfer
Der Kern von KNUT ist ein llama.cpp-RPC-Backend, das mehrere Rechner zu einem logischen Inference-Cluster verbindet. Die Modelle, GGUF-Dateien wie Nemotron Cascade 2, Qwen 3.5 oder Gemma 4, liegen lokal, die Inferenz läuft lokal, die Daten verlassen das Netzwerk nie.
Die API ist OpenAI-kompatibel, sodass bestehende Tools und Workflows ohne Anpassung funktionieren. n8n-Workflows, LangChain-Anwendungen, Chat-Oberflächen. Alles läuft auf demselben Endpunkt wie bei einem Cloud-Anbieter, nur dass der Endpunkt zu einem gehört.
Das Ergebnis
Ein vollwertiges Inferenz-Setup, das auf vorhandener Hardware aufbaut, ohne Abhängigkeit von externen Anbietern, ohne laufende Abogebühren. Eine Lösung, die Inferenz dorthin holt, wo sie hingehört: ins eigene Haus.
Einen Überblick behalten
Ein Cluster aus mehreren Knoten braucht eine Oberfläche, die den Zustand auf einen Blick zeigt. Das KNUT-Dashboard ist responsiv und zeigt auf dem Desktop alle Knoten nebeneinander, mit Last, Modell, Speicherauslastung und Status, und auf dem Telefon untereinander.
Die Chat-Oberfläche ist separat, weil sie ein anderer Use-Case ist als die Verwaltung. Man will nicht jedes Mal durch ein Dashboard navigieren, um eine Frage zu stellen, und man will nicht jedes Mal ein Terminal öffnen, um einen Knoten neu zu starten.
Crash-Recovery statt manuellem Eingreifen
Ein einzelner Knoten kann ausfallen. Stromausfall, Speicherüberlauf, ein Modell, das den VRAM sprengt. KNUT hat dafür automatische Erholung eingebaut: bis zu drei Wiederversuche, bevor der Fehler gemeldet wird. Der Cluster bleibt stabil, auch wenn ein Knoten kurzzeitig nicht erreichbar ist.
Der Betrieb läuft über Caddy mit Auto-HTTPS. Die Infrastruktur ist so gewählt, dass sie keine Wartung braucht, die über das hinausgeht, was ein Cluster ohnehin schon aushält.
Für wen es gebaut ist
Unternehmen, die ihre Daten nicht in die Cloud schicken dürfen, etwa Finanzberatung, Rechtsberatung und Gesundheitswesen. Entwickler von Automatisierungs-Workflows, die n8n oder LangChain einsetzen und eine eigene Inferenz-Infrastruktur brauchen. Und Hardware-Besitzer mit zwei oder mehr GPUs, die ihre bestehende Infrastruktur endlich sinnvoll nutzen wollen.
Die Software steht unter der Business Source License 1.1, für den Eigenbedarf kostenlos, für den kommerziellen Einsatz mit einer Lizenz.
Das Ergebnis
Ein Cluster, der keine Cloud braucht, keine Token-Kosten verursacht und keine Daten nach außen schickt. Die API sieht für den Client identisch aus wie bei jedem anderen Anbieter. Der Unterschied liegt darin, dass der Endpunkt zu einem gehört, der die Hardware berühren kann, wenn etwas schiefgeht.
Bestehende Tools laufen ohne Anpassung weiter, weil die API OpenAI-kompatibel ist. Nur dass der Endpunkt jemandem gehört, der die Hardware anfassen kann.