giq GPU Inference Queue · Open Source · Apache‑2.0
On-Premises-Inferenzmanagement für Workstation-GPUs.
giq betreibt die KI-Modelle all Ihrer Anwendungen auf einer oder mehreren lokalen GPUs: Text, Sprache, Bild und mehr ab Werk, eigene Modalitäten per Plugin. giq entscheidet, welche Karte was bedient, was geladen bleibt und was wartet.
Warum wir es gebaut haben
Die Inferenzschicht für vertrauliche KI im eigenen Haus
Wir wollten unseren Kunden KI-Assistenten für ihre Engineering-Arbeit geben: Assistenten, die ihre Dokumente, Werkzeuge und Prozesse kennen. Die meisten dieser Daten dürfen das Unternehmen nicht verlassen, also laufen die Assistenten im eigenen Haus, und die Inferenz darunter muss isoliert und nachvollziehbar sein.
Ein dedizierter Inferenzserver ist eine große Investition, bevor man weiß, ob KI überhaupt hilft. Workstation-GPUs sind bezahlbar, aber eine oder zwei davon fassen nicht alle Modelle, die ein Assistent gleichzeitig braucht.
Mit giq reichen diese Karten aus: giq entscheidet, welche Karte was bedient, was geladen bleibt und was wartet, und nimmt weitere Karten auf, wenn die Arbeit wächst.
Architektur
Wie sich giq einfügt
Mehrere Anwendungen, eine giq-Instanz, eine oder mehrere GPUs. Die Anwendungen sprechen mit einer API; giq führt jede Anfrage auf dem passenden Modell und der passenden Karte aus und sendet selbst nichts nach außen.
Seitlich wischen, um das ganze Diagramm zu sehen.
giq heute
Was giq leistet
Im Einsatz seit Februar 2026. Ab Werk bedient giq 10 Modalitäten, von LLMs und Vision über Sprache, OCR und Tiefenschätzung bis Musik, auf llama.cpp, vLLM, stable‑diffusion.cpp und Python-Laufzeiten.
Ein einzelnes Modell zu betreiben ist einfach; die Arbeit in giq steckt im Teilen der Karte: auf echter Hardware gemessene VRAM-Werte, jede Engine in einem eigenen Prozess und so wenige Verdrängungen wie möglich.
Eine Warteschlange
Jede Anfrage läuft durch dieselbe Job-Queue, sodass nie zwei Clients gleichzeitig Modelle laden.
OpenAI-kompatibel
Endpunkte für Chat, Responses, Transkription und Sprachausgabe. Bestehende Clients brauchen nur eine neue Basis-URL.
Rezepte
Eine YAML-Datei pro Modell: Gewichte, Engine, Parameter und ein VRAM-Wert, gemessen oder als Schätzung markiert.
Vorhaltung pro Rezept
Warm halten, bei Bedarf oder aus. Zur Laufzeit änderbar und über Neustarts hinweg gespeichert.
Mehrere GPUs
Ein Rezept lässt sich an eine Karte binden. Geprüft, geladen und verdrängt wird es dann nur dort.
Platz für andere GPU-Nutzer
giq teilt sich die Workstation. Braucht jemand die GPUs für sich allein, pausiert ein Aufruf giq und gibt alle Karten frei.
Plugins
Ihre eigenen Modalitäten
Engineering-Arbeit bringt eigene GPU-Workloads mit: Gaussian Splatting, Structure from Motion, Punktwolkenverarbeitung und mehr.
Jeder davon kann ein giq-Plugin werden: ein Python-Paket mit eigener Engine, Rezepten, API-Routen und Dashboard-Panel, das sich die Karte unter derselben Warteschlange, demselben VRAM-Gate und derselben Verdrängung teilt wie alles andere.
Plugins dürfen privat bleiben: giq steht unter Apache‑2.0, ein proprietäres Plugin kann also auf dem offenen Kern laufen.
Datenschutz
Jeder Job protokolliert, kein Inhalt gespeichert
giq erfasst, welche Jobs auf welchem Modell wie lange liefen. Prompts, Bilder und Ausgaben bleiben nur im Arbeitsspeicher, und keine Anfrage geht an eine gehostete API.
Ein Test sorgt dafür, dass es so bleibt: Er schickt eine Markierungs-Zeichenkette durch jeden Logging-Pfad und schlägt fehl, sobald sie in irgendetwas auftaucht, das giq schreibt.
# tests/test_privacy.py
CANARY = "zqx-private-prompt-canary-8f3a"Open Source
Offen entwickelt
Der Teil, der die Modelle ausführt, über das Laden entscheidet und jede Anfrage sieht, sollte überprüfbar sein. Deshalb ist giq Open Source, ebenso wie die Engines, die es ausführt: llama.cpp, vLLM und stable‑diffusion.cpp. Jeder kann nachvollziehen, was mit einer Anfrage geschieht, von der API bis zur GPU.
Beispiele
So funktioniert es
Drei Setups, Schritt für Schritt: eine geteilte Workstation, eine Meeting-Transkription auf einer 16-GB-Karte und ein Newsdesk, der Artikel zusammenfasst, illustriert und vorliest. Die Werte stammen aus den Rezepten von giq.
- gemma-4-12bLLMwarm halten9,5 GB
- whisper-large-v3Sprache → Textwarm halten4,0 GB
- ecapa-tdnnStimmprofilwarm halten0,6 GB
- leer
01/09Drei Rezepte warm gehalten
gemma‑4‑12b für Chat, whisper‑large‑v3 für Transkription, ecapa‑tdnn für Stimmprofile. 14,1 von 31,8 GB belegt.
Wählen Sie ein Setup oder gehen Sie mit den Steuerelementen Schritt für Schritt durch.
Ähnlicher Bedarf?
Wenn Sie mehrere Modelle für mehrere Anwendungen auf eigener Hardware betreiben und nicht alle gleichzeitig auf die Karte passen, kann giq Ihnen ersparen, das selbst zu bauen.
Voraussetzungen: Linux, eine NVIDIA-GPU, Python 3.11+ mit uv und llama.cpp für LLMs. Details stehen in der README.
EU AI Act
Sie sind in der EU tätig? Sprechen wir über die AI-Act-Konformität Ihrer Anwendung.
Was der AI Act von Ihnen verlangt, hängt von der jeweiligen Anwendung ab: ihrem Zweck, ihren Nutzern und davon, ob ihre Ausgaben das Unternehmen verlassen. giq kennzeichnet erzeugte Bilder bereits als KI-generiert und protokolliert jeden Job, ohne seinen Inhalt zu speichern. Gemeinsam mit Ihnen klären wir, welche technischen Maßnahmen Ihre Anwendung braucht. info@vik.works
Wir übernehmen die technischen Maßnahmen: Kennzeichnung, Protokollierung, Dokumentation. Die rechtliche Bewertung Ihrer Anwendung bleibt bei Ihrer Rechtsberatung.
giq wird von der vik.works UG (haftungsbeschränkt) und weiteren Mitwirkenden entwickelt.
Die Hintergrundbilder auf dieser Seite wurden mit giq erzeugt, mit dem Rezept zimage.
Produkt- und Modellnamen sind Marken ihrer jeweiligen Inhaber; giq steht mit ihnen in keiner Verbindung und wird von ihnen nicht unterstützt.