Wie wir die richtige lokale KI für einen mittelständischen Betrieb ausgewählt haben

Die Auswahl in einem Satz

Erst kamen Aufgabe und Qualitätsgrenzen, dann ein Vergleich mit eigenen Dokumenten. Für Text und Steuerung wählten wir Gemma 4 31B, für Bilder und Scans Qwen2.5-VL-32B-Instruct. Die günstigere AMD-Plattform reichte aus, weil der Vorgang im Hintergrund laufen durfte.

Bei lokaler KI beginnt die Diskussion oft mit Hardware. Wie viel Grafikspeicher ist nötig? Welche Box ist schneller? Welche GPU ist lieferbar? Beim ersten Termin zu diesem Projekt lag bereits ein Ausdruck mit den technischen Daten eines GPU-Servers auf dem Tisch — der IT-Dienstleister des Hauses hatte vorgearbeitet.

Die Fragen sind berechtigt. Sie kommen nur zu früh. Wer mit der Hardware beginnt, kauft leicht ein starkes System für die falsche Aufgabe.

Die richtige Reihenfolge lautet: Prozess, Testfälle, Modell, Hardware.

Schritt 1: Aus der Aufgabe klare Anforderungen machen

„Wir brauchen ein gutes lokales Sprachmodell“ lässt sich nicht prüfen. Für die Auftragsvorbereitung haben wir stattdessen festgehalten, was die Lösung können muss:

• deutsche Geschäfts- und Produktionstexte sicher verstehen,
• Bestellwerte in eine feste Form bringen,
• nur die vorgesehenen Funktionen aufrufen,
• mehrseitige Dokumente und interne Hinweise verarbeiten,
• Scans, Fotos und Tabellenlayouts lesen,
• lokal mit vertretbarer Wartezeit laufen,
• für den gewerblichen Einsatz passend lizenziert sein,
• sich im Betrieb aktualisieren und sichern lassen.

Dazu kamen Fragen aus dem Alltag: Wie viele Vorgänge treffen gleichzeitig ein? Wartet jemand am Bildschirm? Wie lange darf das System ausfallen? Wer spielt Updates ein? Ist ein Ersatzgerät nötig?

Schritt 2: Mit eigenen Fällen testen

Öffentliche Vergleichstests helfen bei der Vorauswahl. Sie sagen aber wenig darüber aus, ob ein Modell die eigenen Bestellungen, Abkürzungen und Kommentarfelder versteht. Kein öffentlicher Benchmark enthält die Artikelbezeichnungen dieses Betriebs.

Darum haben wir einen eigenen Testsatz aufgebaut — mit den häufigen Standarddokumenten, aber auch mit den weniger fotogenen Fällen: der um neunzig Grad gedrehte Scan, das abfotografierte Bestellformular mit handschriftlichem Zusatz am Rand, die Tabelle, deren Spaltenlogik nur der Kunde selbst kennt. Dazu mehrdeutige Artikelbezeichnungen, freie Kommentare, fehlende oder widersprüchliche Angaben, verschiedene Kundensprachen, absichtlich manipulierte Eingaben — und Fälle, bei denen „manuell prüfen“ die richtige Antwort ist.

Für jeden Fall stand vorher fest, welches Ergebnis richtig ist. Bewertet wurden nicht schöne Texte, sondern richtige Felder, vollständig richtige Vorgänge, passende Funktionsaufrufe, stabiles Format, Wartezeit und der Umgang mit Unsicherheit.

Schritt 3: Modelle nach ihrer Aufgabe auswählen

Ein Modell muss nicht alles gleich gut können. In diesem Projekt war eine Aufteilung sinnvoll:

Gemma 4 kann ebenfalls Bilder verarbeiten. Das Qwen-Modell gewann trotzdem den konkreten Dokumenttest — unter anderem an den schiefen Scans. Modellwahl ist keine Glaubensfrage. Der bessere Kandidat ist derjenige, der die eigenen Fälle besser löst.

Diese Auswahl ist allerdings eine Momentaufnahme. Sie passt zum Testsatz und zum Stand August 2026; neue Modelle können später besser abschneiden. Deshalb bleibt der Testsatz bestehen. Ein Modellname darf veralten, das Auswahlverfahren nicht.

Schritt 4: Speicherbedarf verständlich rechnen

Modelle mit 31 oder 32 Milliarden Parametern brauchen viel Speicher. Für den lokalen Betrieb werden ihre Zahlenwerte oft verkleinert gespeichert — dieser Vorgang heißt Quantisierung. Das spart Speicher und meist auch Rechenzeit; zu starke Quantisierung kann die Qualität verschlechtern.

Für die erste Einordnung genügt eine grobe Faustformel: Parameterzahl mal Bits je Gewicht, geteilt durch acht, ergibt den Speicher für die Modellgewichte. Bei 31 Milliarden Parametern und 4 Bit sind das rechnerisch etwa 15,5 Gigabyte.

Damit ist der Speicherbedarf noch nicht vollständig. Hinzu kommen Platz für den laufenden Betrieb, längere Texte, Bilder, parallele Anfragen und gegebenenfalls ein zweites Modell. Die 128 Gigabyte gemeinsamer Speicher waren also keine Voraussetzung für ein einzelnes kleines Modell. Sie gaben dem System Reserve und verhinderten ständiges Verschieben von Daten.

Schritt 5: Zwei Hardwareklassen praktisch vergleichen

Im Projekt kamen zwei kompakte Plattformen mit 128 Gigabyte gemeinsamem Speicher infrage:

Diese Tabelle ist kein allgemeines Leistungsurteil. Geschwindigkeit hängt von Modellformat, Verkleinerung, Textlänge und Softwareversion ab. Deshalb lief auf beiden Kandidaten derselbe vollständige Test — mit denselben Dokumenten, denselben Modellen, denselben Kriterien.

Schritt 6: Die erlaubte Wartezeit klären

Technische Vergleiche sprechen gern über Rechenwerte. Im Betrieb zählt die gefühlte Wartezeit, und die hängt davon ab, wer wartet. Sitzt eine Person am Bildschirm und wartet auf das Ergebnis, fallen schon kurze Pausen auf; dann braucht es schnelle erste Ergebnisse und eine kurze Gesamtdauer. Läuft eine Bestellung nach Eingang automatisch an, während im Büro längst an etwas anderem gearbeitet wird, dürfen es auch ein oder mehrere Minuten sein. Und bei Spitzenlast — etwa am Montagmorgen, wenn die Bestellungen des Wochenendes gemeinsam eintreffen — zählt, wie lange die Warteschlange wird und ob der letzte Vorgang noch rechtzeitig fertig ist.

In diesem Projekt lief die Verarbeitung überwiegend im Hintergrund. Niemand saß vor dem Bildschirm und zählte Sekunden. Deshalb genügte die günstigere AMD-Lösung trotz längerer Rechenzeit — die schnellere Maschine hätte vor allem schneller gewartet.

Schritt 7: Nicht nur den Kaufpreis rechnen

Zum Preis des Geräts kommen die Kosten über die gesamte Nutzungsdauer:

• Kauf oder Leasing, Ersatzgerät und Abschreibung,
• Strom, Kühlung und Standort,
• Installation, Überwachung, Sicherung und Wiederherstellung,
• Updates für Betriebssystem, Treiber, KI-Software und Modelle,
• erneute Tests nach Änderungen,
• Support und interne Betriebszeit,
• Ausfallkosten und nötige Reserve.

Ein billigeres System ist nicht günstiger, wenn die Wartezeit seine Nutzung verhindert. Ein schnelleres System ist nicht wirtschaftlicher, wenn seine Leistung brachliegt.

Die Entscheidungsmatrix

Die Gewichte richten sich nach dem Einsatz. In einer medizinischen Anwendung wiegt ein Fehler anders als bei einer internen Textassistenz.

Fazit

Die richtige lokale KI steht nicht auf einer allgemeinen Bestenliste. Sie zeigt sich im Test mit den eigenen Fällen — auch mit den schiefen Scans und den handschriftlichen Zusätzen. Erst danach lässt sich die passende Hardware wählen.

In diesem Projekt war Geschwindigkeit nicht das entscheidende Kriterium. Gefragt war ein wirtschaftlicher, wartbarer und ausreichend schneller Betrieb. Deshalb gewann das günstigere System.

Offizielle technische Quellen

1. Google: Gemma 4 Model Card
2. Google: Gemma-Veröffentlichungen und Versionen
3. Qwen-Team: Qwen2.5-VL-32B
4. AMD: Ryzen AI Max+ 395 – Spezifikationen
5. AMD: Ryzen AI Halo Developer Platform
6. NVIDIA: DGX Spark Hardware Overview

Ein klarer Prozess ist der Anfang

Der Einstieg beginnt mit einer begrenzten Aufgabe, echten Vorgängen und klaren Qualitätskriterien.

Anwendungsfall besprechen