senn-techEine RTX 5090 statt vier alter GPUs: Vision-Inferenz konsolidiert
Wir betreiben unsere KI-Inferenz selbst — und stoßen dabei auf dieselben Fragen wie jeder, der das tut. Beim Vision-Teil unserer Extraktions-Pipeline lautete die Frage: mehr Karten oder die richtige Karte? Die Antwort war lehrreich.
Die Ausgangslage
Der Vision-Teil unserer Pipeline verarbeitet gescannte PDFs und Bilder: Belege, Lieferscheine, Handzeichnungen. Vier ältere GPUs trugen diese Last gemeinsam — und lieferten trotzdem nur magere Token-Raten, die den Flaschenhals der gesamten Extraktion bildeten.
Der erste Reflex war: mehr Hardware kaufen. Der falsche Reflex, wie sich zeigte. Bevor wir eine fünfte Karte bestellt hätten, haben wir gemessen. Mehrfach, über mehrere Tage.
Erst messen, dann kaufen
Die Diagnose dauerte keine zwei Stunden, hätte uns aber Tausende Euro an Fehlinvestition gekostet. Wir haben uns angesehen, was die Karten tatsächlich taten: VRAM-Auslastung, Streaming-Multiprocessor-Auslastung, Token-Rate pro Karte, PCIe-Traffic zwischen den Geräten und die effektive Ausführungszeit pro Request. Das Bild war eindeutig und ziemlich unerwartet.
Die Hardware war nicht ausgelastet. Die Karten liefen die meiste Zeit im Leerlauf. Bei 16 Token/s war weder der Speicher voll noch die Rechenwerkstatt am Limit. Das Problem saß eine Schicht tiefer, in der Software und im Treiber.
Die eigentliche Ursache
- Nicht die Rohleistung war das Problem, sondern der Software-Pfad: Der Treiber-Stack erzwang einen ineffizienten Ausführungsmodus (enforce-eager), der die Karten auf rund 16 Token/s ausbremste. CUDA-Graphs — die übliche Beschleunigung — waren deaktiviert.
- Auf der RTX 5090 greifen CUDA-Graphs wieder, weil ihr Treiberpfad aktuell ist. Das vervielfacht den Durchsatz, ohne dass mehr Karten nötig wären.
- Eine einzelne Karte spart außerdem den Tensor-Parallel- und PCIe-Aufwand, den vier Karten untereinander erzeugen. Jeder Cross-GPU-Hop kostet Latenz, die sich bei einer Karte erübrigt.
- FP8 statt aggressiver 4-Bit-Quantisierung hält die Ziffern stabil: entscheidend, wenn aus Belegen Zahlen korrekt extrahiert werden müssen. Ein falsch erkannter Betrag ist schlimmer als ein langsamerer Durchsatz, denn eine falsche Rechnungssumme wird teuer entdeckt.
Was das für den Mittelstand bedeutet
Vier Karten zu betreiben bedeutet vier Stromanschlüsse, vier Kühlkreisläufe, vier Fehlerquellen, vier Treiber, die gepflegt werden wollen. Im on-prem Betrieb schlägt jede Karte nicht nur mit Anschaffungspreis zu Buche, sondern mit kontinuierlichem Aufwand: Rack-Platz, Stromrechnung, Wärme, Ersatzteilhaltung und vor allem Betreuungsaufwand.
Eine einzelne, aktuelle Karte konsolidiert das auf einen Bruchteil der Komplexität. Die RTX 5090 steht bei uns im selben Inferenz-Host wie der Rest der Pipeline: ein Device, ein Treiber-Stack, ein Upgrade-Pfad. Wer später auf ein nächstes Modell umsteigt, tauscht eine Karte statt vier.
Unsere Sicht
Die Lehre ist alt, aber sie wiederholt sich: erst die Ursache messen, dann Hardware kaufen. Eine aktuelle Karte schlägt hier vier ältere, und nebenbei sinken Komplexität, Stromverbrauch und Wartungsaufwand. Konsolidieren ist im Eigenbetrieb oft die bessere Skalierung als Hinzufügen. Wer on-prem skaliert, kommt mit der richtigen Karte weiter als mit vier alten. Die zwei Stunden Diagnose haben sich in der ersten Nacht amortisiert, und seither läuft die Vision-Stufe sauber mit.