KI im Unternehmen, ohne dass Daten das Haus verlassen — was es kostet und wann es sich rechnet

Die Frage in den Gesprächen hat sich verschoben. Vor zwei Jahren ging es darum, ob KI im Betrieb etwas bringt. Heute geht es darum, welche Daten dafür das Haus verlassen — und was die Alternative kostet.

Dieser Artikel rechnet das durch. Mit einem Rechner im Text, dessen Annahmen offenliegen, damit Sie eigene Zahlen einsetzen können.

Wo die Daten tatsächlich hingehen

Der Reihe nach, an drei Betriebsarten, die in Oberösterreich häufig sind.

Kanzlei. Ein Schriftsatz soll zusammengefasst werden. Im Dokument stehen Mandantenname, Gegner, Streitwert und Strategie. Wer das in ein Chatfenster kopiert, übermittelt Daten, die der beruflichen Verschwiegenheit unterliegen, an einen Dienstleister. Ob das zulässig ist, hängt am Vertrag, an der Berufsordnung und an der Einwilligung — nicht am Bauchgefühl.

Arztpraxis. Befunde und Diagnosen sind Gesundheitsdaten. Die DSGVO behandelt sie in Artikel 9 als besondere Kategorie mit grundsätzlichem Verarbeitungsverbot und engen Ausnahmen. Die Hürde liegt hier also höher als bei einer Adressliste, und sie liegt höher, als viele Tools im Marketing durchblicken lassen.

Industriebetrieb. Konstruktionszeichnungen, Kalkulationen, Angebotstexte. Oft ohne Personenbezug, also kein DSGVO-Thema — aber Geschäftsgeheimnis. Hier ist die Frage nicht die Rechtsgrundlage, sondern ob Sie wollen, dass Ihre Kalkulationslogik als Trainings- oder Debugging-Material irgendwo liegt.

Dazu kommt der AI Act. Er ist am 1. August 2024 in Kraft getreten und gilt seit 2. August 2026. Seitdem greifen unter anderem Transparenzpflichten für generative KI, etwa die Kennzeichnung, dass man mit einer Maschine schreibt. Die Pflichten für Hochrisiko-Systeme nach Anhang III wurden auf Dezember 2027 verschoben, für in Produkte eingebettete Systeme auf August 2028. Für den typischen KMU-Einsatz — Texte zusammenfassen, Belege auslesen, Entwürfe schreiben — sind vor allem Transparenz und Dokumentation relevant, nicht der Hochrisiko-Teil.

Das ist kein Rechtsrat. Welche Grundlage in Ihrem Fall trägt, klärt Ihre Rechtsberatung oder Ihr Datenschutzbeauftragter. Mein Teil ist die Technik: Was geht, was kostet es, was ist der Aufwand.

Drei Wege, und wann welcher passt

Es gibt nicht „Cloud oder lokal". Es gibt drei Abstufungen, und die mittlere wird am häufigsten übersehen.

Weg	Was das Haus verlässt	Aufwand	Passt, wenn
Cloud-API mit Auftragsverarbeitungsvertrag	Inhalte gehen an den Anbieter, vertraglich gebunden, je nach Anbieter mit Region für die Verarbeitung	Stunden bis Tage	keine besonderen Datenkategorien, Vertrag und Verarbeitungsverzeichnis sind sauber
Modell bei einem europäischen Anbieter	Inhalte gehen raus, aber an einen Anbieter mit Verarbeitung in der EU	vergleichbar mit der Cloud-API	die Verarbeitung soll in der EU bleiben, eigener Betrieb lohnt aber nicht
Komplett lokal	nichts	Hardware, Einrichtung, laufender Betrieb	Berufsgeheimnis, Gesundheitsdaten, harte interne Vorgabe — oder sehr hohes, gleichmäßiges Volumen

Die ehrliche Einordnung: Für die meisten Betriebe unter 150 Mitarbeitern ist Weg eins oder zwei die richtige Wahl. Lokal wird dann interessant, wenn Daten gar nicht raus dürfen oder das Volumen so groß und gleichmäßig ist, dass sich die Hardware rechnet. Beides kommt vor. Beides ist die Ausnahme, nicht die Regel.

Was lokal realistisch läuft

Zwei Größen entscheiden. Erstens der Speicher: Das Modell muss hineinpassen. Zweitens die Speicherbandbreite: Sie bestimmt, wie schnell Text entsteht. Wer nur auf den Speicher schaut, kauft ein Gerät, das große Modelle laden kann und sie zäh abarbeitet.

Drei Hardware-Klassen sind für Betriebe dieser Größe realistisch, Preise Stand 24. September 2026:

Klasse	Speicher	Preis	Passt für
Consumer-Karte, etwa GeForce RTX 5090	32 GB	ab rund 4.030 € brutto	kleine Modelle, quantisiert auch etwas größere
Kompaktrechner mit vereintem Speicher, etwa NVIDIA DGX Spark und die Geräte von Lenovo, ASUS und Gigabyte auf derselben Basis	128 GB, 273 GB/s	rund 5.000 bis 7.300 € netto je nach Hersteller	mittlere Modelle; NVIDIA gibt Inferenz bis 200 Milliarden Parameter an
Profikarte, etwa RTX PRO 6000 Blackwell	96 GB	ab rund 12.800 € brutto	mittlere Modelle, deutlich schneller

Die Spark-Klasse ist der interessanteste Zugang für KMU, weil 128 GB Speicher sonst richtig teuer sind und das Gerät mit einem 240-W-Netzteil auskommt statt mit einem Serverschrank. Der Haken steht im selben Datenblatt: 273 GB/s Bandbreite. Eine Profikarte mit GDDR7 liegt um ein Vielfaches darüber. Für Stapelverarbeitung über Nacht spielt das keine Rolle. Für einen Chat, bei dem jemand auf die Antwort wartet, schon.

Bei den Modellen ist die Lage seit 2025 eine andere, als viele Beiträge zum Thema noch abbilden: Ein großer Teil der starken offenen Gewichte kommt aus China — Qwen von Alibaba, DeepSeek, Kimi von Moonshot. Dazu kommen gpt-oss von OpenAI und Mistral aus Frankreich.

Modell	Größe	Lizenz	Bedarf laut Modellkarte
gpt-oss-20b (OpenAI)	21 Mrd. Parameter	Apache 2.0	läuft in 16 GB
Mistral Small 3.2 (Frankreich)	24 Mrd.	Apache 2.0	rund 55 GB in bf16
Qwen3.8-27B (Alibaba)	27 Mrd., dicht	Apache 2.0	rund 56 GB in bf16
gpt-oss-120b (OpenAI)	117 Mrd.	Apache 2.0	eine 80-GB-Karte
DeepSeek-V4-Flash-DSpark	284 Mrd., davon 13 Mrd. aktiv	MIT	Rechenzentrum, laut Karte ein Knoten mit vier GB300
Kimi K3 (Moonshot)	2,8 Billionen	eigene Lizenz mit Bedingungen	nicht im Betrieb aufstellbar

Daraus folgt eine Einschränkung, die selten jemand ausspricht: Die stärksten offenen Modelle sind lokal genauso wenig zu betreiben wie ein kommerzielles Spitzenmodell. Was in einem KMU auf eigener Hardware läuft, ist die Mittelklasse mit 20 bis 30 Milliarden Parametern — auf der Spark-Klasse etwas darüber. Diese Modelle können Belege auslesen, Texte zusammenfassen und Entwürfe schreiben. Sie sind nicht das, was Sie aus dem Chatfenster eines großen Anbieters kennen.

Zur Herkunft: Offene Gewichte heißen, dass die Datei auf Ihrem Gerät liegt und rechnet. Es geht nichts nach Hangzhou, nichts nach Paris, nichts nach San Francisco — genau darum geht es ja. Zwei Dinge prüfen Sie trotzdem vorher. Erstens die Lizenz: Apache 2.0 und MIT sind unkompliziert, bei einzelnen großen Modellen hängen Bedingungen daran. Zweitens das Verhalten: Wie gut das Modell Deutsch schreibt und wie es mit heiklen Themen umgeht, unterscheidet sich deutlich. Und Support gibt es bei keinem dieser Modelle. Wenn etwas nicht funktioniert, ist das Ihr Thema.

Zum Tempo: Veröffentlichte Messungen für dichte 70B-Modelle auf einer RTX PRO 6000 liegen bei etwa 24 bis 31 Tokens pro Sekunde für einen einzelnen Nutzer. Das reicht für Dokumentenverarbeitung im Hintergrund. Für zehn Leute, die gleichzeitig tippen und sofort eine Antwort erwarten, reicht es nicht.

Die Rechnung, mit offenen Annahmen

Der folgende Rechner ist eine Modellrechnung, keine Messung. Er vergleicht die laufenden Kosten eines eigenen Geräts mit den Token-Kosten einer API. Alle Eingangsgrößen stehen darunter — ersetzen Sie sie durch Ihre eigenen, sobald Sie sie haben.

Die Annahmen hinter dem Rechner. Ersetzen Sie sie durch Ihre eigenen Werte, sobald Sie welche haben — die Größenordnung ändert sich dadurch deutlich.

Größe	Angesetzt	Herkunft
Tokens je Seite	750	Annahme: rund 500 Wörter Fließtext je Seite
Ausgabe je Vorgang	25 % der Eingabe	Annahme: Zusammenfassung oder Extraktion, kein langer Text
Arbeitstage je Monat	21	Annahme
Durchsatz lokal	30 Tokens/Sekunde	veröffentlichte Benchmarks für 70B auf einer RTX PRO 6000: 24–31 Tokens/s bei einem Nutzer. Auf der Spark-Klasse ist der Wert wegen der geringeren Bandbreite zu optimistisch.
Leistungsaufnahme unter Last	600 W	NVIDIA-Datenblatt RTX PRO 6000 Blackwell
Grundlast rund um die Uhr	100 W	Annahme für Server im Leerlauf
Strompreis, Standardwert	21 ct/kWh	Eurostat, Nicht-Haushalte Österreich, 20–499 MWh/Jahr, 2. Halbjahr 2025: 0,2072 €/kWh
Hardware, Standardwert	15.000 €	Annahme: Profikarte ab rund 12.800 € brutto plus Rechner drumherum
Kapazität je Gerät	730 Stunden Rechenzeit im Monat	rechnerische Obergrenze; reicht sie nicht, rechnet der Rechner mit mehreren Geräten
Nutzungsdauer	36 Monate	Annahme
Wartung	150 € / Monat	Annahme: rund 2 Stunden Betreuung im Monat
API-Preise	1 $ / 5 $ und 2 $ / 10 $ je Million Tokens	Anthropic-Preisliste, Haiku 4.5 und Sonnet 5, Stand 24.09.2026
Wechselkurs	1 € = 1,1367 $	EZB-Referenzkurs vom 24.09.2026

Was bewusst nicht drinsteht: Einrichtung, Anpassung der Abläufe, Schulung, Ausfallzeiten. Die fallen bei beiden Wegen an, lokal deutlich stärker.

Das Ergebnis ist unbequem für alle, die lokale KI aus Kostengründen verkaufen wollen: Bei den heutigen Token-Preisen gewinnt die API in fast jeder Konstellation. Bei 200 Vorgängen à drei Seiten am Tag stehen rund 19 € API-Kosten gegen etwa 585 € für ein eigenes Gerät, das überwiegend im Leerlauf steht. Erst bei sehr großen, gleichmäßigen Mengen nähern sich die beiden Linien an — und dann braucht es rechnerisch schon mehrere Geräte, was die Ersparnis wieder auffrisst.

Die Rechnung dreht sich, wenn die Token-Preise steigen, wenn die Hardware deutlich billiger wird oder wenn das Gerät ohnehin für etwas anderes im Haus steht. Sie dreht sich nicht durch Wunschdenken. Der Grund für lokal ist der Datenschutz, nicht der Preis. Wer lokal aus Kostengründen plant, sollte vorher genau diese Rechnung mit eigenen Zahlen machen.

Was die Rechnung nicht enthält: Ihre Arbeitszeit für die Einführung, die Anpassung der Prozesse und die Schulung. Die fällt in beiden Fällen an, lokal spürbar mehr.

Wo lokal nicht passt

Dieser Abschnitt ist der wichtigste, weil er in den meisten Beiträgen zum Thema fehlt.

Der Qualitätsabstand ist real. Offene Modelle haben stark aufgeholt, und für Zusammenfassungen, Textentwürfe und Extraktion aus Belegen reichen sie oft. Bei langen Dokumenten, kniffligen Anweisungen und mehrstufigen Aufgaben liegen die großen kommerziellen Modelle weiter vorn. Wer zuerst mit einem Spitzenmodell gearbeitet hat und dann lokal weitermacht, merkt den Unterschied.

Betrieb ist Arbeit. Ein lokales Modell ist ein Server: Updates, Treiber, Monitoring, Backups, jemand, der sich zuständig fühlt. Wenn das Gerät am Freitagabend steht, steht der Prozess, der daran hängt. Wer heute schon keine Zeit für Serverpflege hat, bekommt sie dadurch nicht.

Hardware altert schnell. Die Karte, die heute passend dimensioniert ist, ist in drei Jahren Mittelmaß. Die API wird in dieser Zeit eher billiger und besser, ohne dass Sie etwas tun.

Die API ist klar die bessere Wahl, wenn das Volumen schwankt, die Daten keine besondere Kategorie sind, ein Auftragsverarbeitungsvertrag vorliegt und niemand im Haus den Betrieb übernehmen will. Das trifft auf die Mehrheit der Betriebe zu, mit denen ich spreche.

Und unabhängig vom Weg gilt: Der Nutzen entsteht nicht durch das Modell, sondern durch den Prozess drumherum. Wie Freigaben, Protokoll und Grenzen aussehen sollten, steht in KI-Agenten im Unternehmen. Wie die Übergabe zwischen Systemen automatisiert wird, ohne dass KI im Spiel sein muss, steht bei der Prozessautomatisierung mit n8n.

Wie Sie das für Ihren Betrieb entscheiden

Die Entscheidung hängt an drei Fragen, in dieser Reihenfolge:

1. Welche Daten sollen verarbeitet werden, und welche Kategorie sind sie?
2. Wie viel davon, pro Tag, über zwölf Monate gerechnet?
3. Wer betreibt das Ergebnis, wenn es läuft?

Frage drei entscheidet öfter als Frage eins. Wenn im Haus niemand den Server übernehmen kann und will, ist lokal die falsche Antwort, egal wie gut die Rechnung aussieht. Dasselbe Muster gilt bei Dateiablagen: Eine eigene Nextcloud kostet wenig Server, aber laufenden Betrieb — durchgerechnet im Artikel zu den Nextcloud-Kosten.

Wenn Sie den Bestand erst sortieren müssen — welche Systeme laufen, was hängt woran, wo liegen die Daten —, ist die Infrastruktur-Analyse der sinnvollere erste Schritt. Ein Tag vor Ort, danach wissen Sie, worauf ein KI-Einsatz bei Ihnen überhaupt aufsetzen würde.

Quellen und Stand

• AI-Act-Fristen: Europäische Kommission, „AI Act", abgerufen am 24.09.2026.
• Strompreis Gewerbe Österreich: Eurostat, Datensatz nrg_pc_205, Nicht-Haushalte, Verbrauchsband 20–499 MWh/Jahr, ohne erstattungsfähige Steuern: 0,2072 €/kWh im zweiten Halbjahr 2025.
• Speicherbedarf der Modelle: Modellkarte gpt-oss-120b / gpt-oss-20b und Modellkarte Mistral Small 3.2, abgerufen am 24.09.2026.
• Leistungsaufnahme und Speicher der Profikarte: NVIDIA, RTX PRO 6000 Blackwell Workstation Edition (96 GB, 600 W), abgerufen am 24.09.2026.
• Hardwarepreise: Preisvergleich Geizhals Österreich, abgerufen am 24.09.2026 (RTX 5090 ab rund 4.030 € brutto, RTX PRO 6000 Blackwell ab rund 12.800 € brutto).
• DGX Spark: NVIDIA, DGX Spark — 128 GB vereinter Speicher, 273 GB/s, 240-W-Netzteil, Inferenz bis 200 Mrd. Parameter, abgerufen am 24.09.2026. EU-Preise der Partnergeräte laut Händlerübersicht von pi3g, Stand September 2026, 5.038 bis 7.265 € netto.
• Offene Modelle: Modellkarten auf Hugging Face — Qwen3.8-27B (Apache 2.0, 55,6 GB bf16), DeepSeek-V4-Flash-DSpark (284 Mrd. Parameter, 13 Mrd. aktiv, MIT), Kimi K3 (2,8 Billionen Parameter), abgerufen am 24.09.2026.
• Durchsatz 70B: veröffentlichte Ollama-Benchmarks für die RTX PRO 6000 Blackwell, 24–31 Tokens/Sekunde bei einem Nutzer, abgerufen am 24.09.2026.
• API-Preise: Anthropic, Preisübersicht — Haiku 4.5 1 $ je Million Eingabe-Tokens und 5 $ je Million Ausgabe-Tokens, Sonnet 5 2 $ / 10 $, abgerufen am 24.09.2026.
• Wechselkurs: EZB-Referenzkurs vom 24.09.2026, 1 € = 1,1367 $.