DeepSeek veröffentlicht DeepInfer für Offline-Inferenz

Der KI-Anbieter DeepSeek hat sein internes Inferenz-Framework DeepInfer unter der Apache License 2.0 als Open Source veröffentlicht, wie THE DECODER am 20. Oktober 2026 berichtete. Inferenz bezeichnet dort die Art, wie ein trainiertes Modell Anfragen verarbeitet und Antworten erzeugt. Laut DeepSeek liefert die Freigabe Offline-Inferenz mit den Kernfunktionen, die für Serving im großen Maßstab nötig sind. Ein kompletter Produktionsdienst ist das nicht.

Was das Repository enthält

DeepSeek beschreibt DeepInfer als das Inferenz-Framework hinter seinen großen Produktionsdiensten. Unterstützt werden das Modell DeepSeek-V4.1-Flash sowie als Hardware NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs.

Die Funktionsliste reicht von optimierten Rechenkernels bis zu deterministischem Sampling und strukturierten Ausgaben. Die beiden letzten Punkte betreffen unmittelbar, wie wiederholbar und wie maschinenlesbar die Antworten des Modells ausfallen.

THE DECODER beschreibt DeepInfer als die Serving-Software, mit der DeepSeeks V4.1-Flash schnell und in großem Maßstab Antworten erzeugt. Dem Bericht zufolge baut das Framework auf vLLM auf und ergänzt optimierte Rechenkernel, verteilte Verarbeitung über mehrere Chips und Techniken für schnellere Textgenerierung.

Was für einen vollständigen Dienst fehlt

Für einen vollständigen Inferenzdienst fehlen laut DeepSeek in dieser Version drei Bausteine. Erstens ein KV-Cache-System, also ein System für einen speziellen Zwischenspeicher. Zweitens die getrennte Ausführung einzelner Verarbeitungsphasen, im Fachjargon Disaggregation; dafür sei der Großteil der nötigen Engine-Funktionalität allerdings schon implementiert. Drittens eine Lastverteilung über mehrere parallel betriebene Kopien des Modells.

Ein hypothetisches Szenario: Du willst das Modell hinter einen Endpunkt stellen, den mehrere Agenten parallel anfragen. Den Zwischenspeicher, die Aufteilung der Phasen und die Lastverteilung zwischen den Modellkopien musst du dann selbst ergänzen oder aus anderen Projekten beziehen. Um verteilte KI-Inferenz geht es auch im Beitrag über Gimlet Labs.

Reproduzierbare und strukturierte Ausgaben

DeepSeek dokumentiert zwei getrennte Zusagen zur Wiederholbarkeit. Batch-invariante Inferenz soll die Modellergebnisse identisch halten, auch wenn sich die Zusammensetzung eines Batches ändert, also des Stapels, den die Engine gemeinsam abarbeitet. Aktiviert wird sie mit DEEPINFER_BATCH_INVARIANT=1, und zwar nur auf NVIDIA.

Deterministisches Sampling verspricht identische Ausgaben bei gleichen Eingabetokens und gleichen Sampling-Parametern. Dazu gehören drei Einstellungen: DEEPINFER_BATCH_INVARIANT=1, DEEPINFER_ENABLE_MTP_VARLEN=0 und ein fester seq_seed in SamplingParams, ebenfalls nur für NVIDIA.

Der Haken liegt in der zweiten Variable. DSpark, das laut DeepSeek die Textgenerierung mit sogenannten Draft-Tokens beschleunigt, wird über DEEPINFER_ENABLE_MTP_VARLEN=1 eingeschaltet. Für deterministisches Sampling steht dieselbe Variable dagegen auf 0.

Willst du Agentenläufe bei identischen Eingaben wiederholbar vergleichen, etwa für Behavioral Evals bei Coding-Agenten, sind beide Zusagen nach DeepSeeks Angaben nur auf NVIDIA-Hardware abgedeckt. Beim deterministischen Sampling bleibt DSpark zudem ausgeschaltet.

Außerdem lässt sich die Generierung laut DeepSeek auf einen regulären Ausdruck, ein JSON-Schema oder eine EBNF-Grammatik beschränken. Die Vorgabe wandert über so_args mit schema_type und schema in SamplingParams; Beispiele dazu liegen im Repository. Für einen Agenten, dessen Ausgaben ein nachgelagertes Programm als JSON einliest, ist das der naheliegende Einstieg in die Engine.

Build und Offline-Beispiel

DeepSeek beschreibt einen Build aus dem Quellcode: unter Linux mit GCC ab Version 13.0 und Python 3.12, dazu CUDA 13 für NVIDIA oder CANN 9.2 für Ascend. Die Befehle unten setzen deshalb eine lokale Kopie des Repositorys voraus, ausgeführt in dessen Hauptverzeichnis mit build.sh, auf einem System mit SM100-GPUs oder Ascend-950-NPUs. Vor dem Build soll eine leere, aktivierte Python-3.12-Umgebung bereitstehen. Die Zielplattform legt DEEPINFER_ACCELERATOR fest, auf Ascend mit dem Wert ascend; die Variable muss auch in der Umgebung exportiert bleiben, in der DeepInfer später läuft.

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

Ohne lokale Modellkopie lädt das Beispiel den Standard-Checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017 automatisch in den Hugging-Face-Cache herunter. Mit DEEPINFER_HF_MODEL_DIR zeigst du stattdessen auf eine lokale Kopie. Weitere Details verortet DeepSeek in den Beispielen des Repositorys.

Was DeepSeek außerdem ankündigt

Laut THE DECODER soll auch der Code für künftige DeepSeek-Modelle als Open Source erscheinen. Zusätzlich veröffentlicht DeepSeek demnach deepseek-recipe, das die Tokenverarbeitung der offiziellen DeepSeek-API nachbildet, damit selbst gehostete Setups sich gleich verhalten. Die Publikation sieht in der Freigabe außerdem zusätzlichen Preisdruck auf westliche Anbieter wie OpenAI und Anthropic.

Eigenbetrieb erfordert Ergänzungen und NVIDIA für Reproduzierbarkeit

DeepInfer ist eine offene Inferenz-Engine für DeepSeek-V4.1-Flash, kein betriebsfertiger Dienst; die drei fehlenden Bausteine bleiben eigene Arbeit. Wiederholbare Ergebnisse dokumentiert DeepSeek nur für NVIDIA-Hardware.