Die kurze Antwort zuerst
KI lässt sich in einem KMU mit gewachsener IT einführen, wenn man die richtigen Schritte in der richtigen Reihenfolge geht. Die wichtigsten Weichen: Datenkategorie bestimmen (sensibel oder nicht?), dann entscheiden zwischen Cloud-KI oder lokaler KI. Und bevor überhaupt KI ins Spiel kommt: prüfen, ob die IT-Basis das trägt.
Wer das überspringt und einfach „KI einführt", beschleunigt bestehende Probleme. Löst sie aber nicht.
Der Druck von oben, und die Realität unten
Der Druck kommt von allen Seiten. Der Steuerberater nutzt KI für Buchhaltungsauswertungen. Der Wettbewerber hat "KI-gestützte Angebotserstellung" auf der Website. Und dann kommt Montag: „Wir müssen das auch einführen."
Was genau? Wie? Und was passiert dabei mit den Kundendaten?
In meiner Praxis zeigt sich ein konstantes Muster: Was CEOs in Berichten lesen und was ihre IT tatsächlich hergibt, sind meistens zwei verschiedene Welten. KI-Demos laufen auf modernen Cloud-Systemen mit sauberen Datenbankstrukturen. Das IT-Ökosystem eines typischen Berliner KMU sieht anders aus: eine 15 Jahre alte ERP-Software, Kundendaten in drei Systemen, von denen eines niemand mehr richtig kennt, und Mitarbeiterdaten in Excel auf dem Fileserver.
Das bedeutet nicht, dass KI für Sie nicht funktioniert. Es bedeutet, dass Sie zuerst verstehen müssen, wo Sie stehen.
Warum „einfach ChatGPT einführen" meistens ein Fehler ist
ChatGPT ist ein gutes Werkzeug für viele Aufgaben. Das Problem beginnt, wenn Mitarbeiter anfangen, echte Unternehmensdaten einzugeben. Und das passiert immer, wenn es keine klaren Richtlinien gibt.
In meinen Projekten sehe ich regelmäßig diese Szenarien:
- Ein Vertriebsmitarbeiter kopiert den Angebotsentwurf inklusive Kundendaten in ChatGPT, um ihn „besser formulieren" zu lassen.
- Eine HR-Mitarbeiterin gibt Bewerbungsunterlagen ein, um eine schnelle Zusammenfassung zu bekommen.
- Der Buchhalter lässt eine Rechnung mit Kundendaten von der KI prüfen.
Bei all diesen Szenarien verlassen personenbezogene Daten das Unternehmensnetz. Ob dafür die notwendigen datenschutzrechtlichen Grundlagen vorliegen (Auftragsverarbeitungsvertrag, Drittlandtransfer, Einwilligung) ist eine Frage, die Sie mit Ihrem Datenschutzbeauftragten oder einem Anwalt klären müssen. Aus meiner Praxiserfahrung: Die meisten KMUs, die ich besuche, haben diese Fragen noch nicht gestellt. Erst recht nicht beantwortet.
Die Datenschutz-Frage. Ohne Rechtsbehauptungen.
Ich mache keine Rechtsberatung. Was ich aus über 8 Jahren IT-Praxis sagen kann: Wenn Unternehmensdaten in Cloud-KI-Diensten landen, gibt es datenschutzrechtliche Fragen, die gestellt werden müssen. Die konkreten Antworten hängen von Ihrem Unternehmen, den Datenarten und den genutzten Diensten ab.
Was in meinen Projekten hilft: den Datenschutzbeauftragten früh einbinden, bevor KI ausgerollt wird. Nicht hinterher.
Die strukturelle Unterscheidung, die in der Praxis den Unterschied macht:
- Kein Personenbezug: KI für interne Textentwürfe, Code-Unterstützung, allgemeine Recherche. Hier entstehen deutlich weniger datenschutzrechtliche Fragen als bei sensiblen Daten.
- Personenbezug vorhanden: Kunden-, Mitarbeiter-, Gesundheits- oder Finanzdaten. Hier klären Sie die rechtliche Grundlage, bevor Sie irgendeinen Cloud-Dienst einsetzen.
Anbieter mit EU-Datenresidenz wie Microsoft Azure OpenAI oder andere EU-basierte Dienste sind eine andere Ausgangslage als ein kostenloser Privat-Dienst. Aber auch hier bleiben Fragen zu klären, die Ihr Datenschutzbeauftragter beantworten muss.
KI-Readiness-Check: Ist Ihre IT-Basis bereit?
Bevor Sie in KI investieren, beantworten Sie diese Fragen ehrlich. Sie sind typischer Bestandteil jedes KI-Readiness-Assessments, das ich durchführe:
Wenn mehr als zwei dieser Punkte mit „Nein" beantwortet werden: Stabilisieren Sie zuerst die IT-Basis. KI auf einer wackeligen Infrastruktur beschleunigt Probleme. Sie löst sie nicht.
Alles zur IT-Basis-Stabilisierung finden Sie im Artikel Gewachsene IT dokumentieren: Die Schritt-für-Schritt-Anleitung.
Option 1: Cloud-KI mit klar definierten Datenschutz-Grenzen
Wenn Sie bereits Microsoft 365 nutzen, ist Microsoft Copilot der naheliegendste Einstieg. Copilot for Microsoft 365 verarbeitet Daten innerhalb des M365-Datenschutzrahmens, nutzt keine Unternehmensdaten für das Modelltraining und bietet EU-Datenresidenz bei entsprechender Konfiguration.
Was das in der Praxis bedeutet: weniger ungeklärte Datenfragen als bei Privat-Diensten. Die rechtliche Einordnung trifft trotzdem Ihr Datenschutzbeauftragter.
Konkrete Werkzeuge:
- Copilot in Word, Excel, Outlook, Teams: KI direkt in den Anwendungen, die Ihre Mitarbeiter kennen.
- Azure OpenAI Service: Unternehmens-Zugang zu GPT-4 mit privaten Endpunkten und EU-Datenresidenz.
- Microsoft Fabric: KI-gestützte Datenanalyse für größere Datenmengen.
Achtung
Wichtige Einschränkung: Copilot for M365 kostet pro Nutzer und Monat eine signifikante Zusatzlizenz. Prüfen Sie, für welche Rollen im Unternehmen der Einsatz tatsächlich produktivitätssteigernd ist, bevor Sie die Lizenz flächendeckend ausrollen.
Option 2: Lokale KI auf eigener Infrastruktur
Die Alternative: Sprachmodelle laufen auf Ihrer eigenen Hardware, in Ihrem eigenen Netzwerk, ohne Daten nach außen zu senden.
In meiner Praxis ist das für viele KMUs die bessere Ausgangslage, besonders für Unternehmen, die regelmäßig sensible Daten verarbeiten.
Die wichtigsten Werkzeuge 2026:
- Ollama: Software, die Open-Source-Sprachmodelle lokal ausführt. Installation: 10 Minuten. Keine Cloud, keine Datenweitergabe. Aktuelle Version v0.23.2, über 4.500 Modelle verfügbar.
- Qwen3 8B (Empfehlung Einstieg): 6 GB VRAM, sehr gutes Deutsch, Apache-2.0-Lizenz für unbegrenzte kommerzielle Nutzung. Läuft auf einer RTX 4060 (280-320 Euro) mit 40-55 Tokens/Sek.
- Llama 4 Scout: Für komplexere Aufgaben, multimodal (Text + Bild), 10 GB VRAM.
- Open WebUI: Browser-basierte Oberfläche für das gesamte Team im lokalen Netzwerk.
- AnythingLLM: Spezialisiert auf Dokumentenanalyse. Fragen Sie Ihre internen Dokumente ab, ohne dass Inhalte das Netzwerk verlassen.
Realistischer Vergleich lokale KI vs. Cloud für typische KMU-Aufgaben (E-Mails, Dokumentenzusammenfassung, interne Recherche): Mit einer RTX 4060 erhalten Sie 40-55 Tokens/Sekunde. Für normale Büroaufgaben ist das subjektiv nicht von Cloud-KI zu unterscheiden.
Hinweis
Wichtige Einschränkung lokaler KI: Bei sehr komplexen Analysen oder kreativen Aufgaben erzielen größere Cloud-Modelle wie GPT-4o noch deutlich bessere Ergebnisse. Für interne Standardaufgaben ist lokale KI in meinen Projekten jedoch ausreichend.
Welche Option passt zu Ihrem Unternehmen?
Aus meinen Projekten leite ich diese Orientierungshilfe ab. Sie ersetzt keine individuelle Prüfung:
- Microsoft 365 vorhanden, keine hochsensiblen Daten: Copilot ist der einfachste Einstieg mit geringstem Implementierungsaufwand.
- Sensible Daten (Gesundheit, Finanzen, Vertragsdetails), keine externe Cloud gewünscht: Lokale KI mit Ollama ist der richtige Weg. Klären Sie die datenschutzrechtliche Ausgangslage trotzdem mit Ihrem Datenschutzbeauftragten.
- KI in automatisierte Prozesse integrieren (Dokumentenverarbeitung, E-Mail-Klassifizierung): Azure OpenAI mit privaten Endpunkten oder lokale KI mit Programmierschnittstellen-Anbindung.
- Unsicher, wollen klein anfangen: Starten Sie mit lokaler KI auf einem bestehenden Server. Testen Sie Use Cases intern. Entscheiden Sie erst dann über Cloud-KI.
Die ersten 3 sinnvollen KI-Anwendungsfälle für KMUs mit gewachsener IT
Nicht jeder Anwendungsfall eignet sich für den Start. Diese drei sind in meiner Praxis am schnellsten umsetzbar und liefern messbaren Nutzen:
- Interne Dokumentensuche und -zusammenfassung: Mitarbeiter stellen Fragen zu internen Handbüchern, Prozessbeschreibungen, technischen Dokumentationen und bekommen präzise Antworten. Mit lokaler KI verlässt nichts das Unternehmensnetz. Realistisch: 30-60 Minuten Ersparnis pro Mitarbeiter und Woche.
- Entwurf von Standardtexten und E-Mails: Angebote, Standardantworten, Protokollzusammenfassungen. Die KI liefert den Rohtext, der Mitarbeiter prüft und passt an. Für Texte ohne Personenbezug ist das sofort mit lokaler KI umsetzbar. Oder bei entsprechender Prüfung auch mit Cloud-Diensten.
- Code-Assistenz und Automatisierungsskripte: PowerShell-Skripte, Excel-Makros, einfache Automatisierungen. KI hilft beim Schreiben, Erklären und Debuggen. Enorme Zeitersparnis für alle, die regelmäßig mit solchen Aufgaben konfrontiert sind.
Berliner KMU und KI. Was die Zahlen zeigen.
Laut der IHK-Berlin-Digitalisierungsumfrage 2026 setzen bereits 40 % der Berliner Unternehmen KI-Tools ein. Das sind 5 Prozentpunkte über dem Bundesschnitt. Gleichzeitig nennen 34 % rechtliche Unsicherheiten als Haupthürde.
Das deckt sich mit dem, was mir Berliner KMUs, mit denen ich arbeite, berichten: Das Interesse ist da. Die Blockade ist die Unklarheit, nicht die Technik.
Lokale KI löst einen Teil dieser Blockade: Kein Auftragsverarbeitungsvertrag nötig, keine Programmierschnittstellen-Aufrufe in Drittländer, keine Drittlandtransfer-Fragen. Ob das für Ihr spezifisches Setup und Ihre Daten die richtige Lösung ist, bleibt eine Einschätzung, die Sie mit Ihrem Datenschutzbeauftragten treffen.
Einen detaillierten Praxisleitfaden zur lokalen KI mit Ollama finden Sie im Artikel Shadow AI im KMU mit Ollama zurückgewinnen.
Wenn das Backup nicht stimmt, nützt KI gar nichts
Ein Thema, das bei KI-Einführungen oft vergessen wird: Auch KI-verarbeitete Daten, KI-Ausgaben und KI-Konfigurationen müssen in eine funktionierende Backup-Strategie eingebunden sein.
Bevor Sie KI einführen: Prüfen Sie, ob Ihr Backup wirklich trägt. Dazu empfehle ich den Artikel KMU-Backup-Strategie 2026.
Mein Fazit
KI ist kein Allheilmittel und kein Schreckgespenst. Es ist ein Werkzeug, das bei manchen Aufgaben erhebliche Effizienzgewinne bringt. Bei anderen ist es kaum relevanter als eine bessere Google-Suche.
Der Schlüssel ist: die richtigen Anwendungsfälle für Ihr Unternehmen identifizieren, den richtigen technischen Weg wählen (Cloud oder lokal) und die datenschutzrechtlichen Fragen klären. Mit einem Datenschutzbeauftragten oder Anwalt, nicht allein.
Die Empfehlung aus meiner Praxis: Fangen Sie klein an. Wählen Sie einen konkreten Anwendungsfall. Messen Sie den Nutzen. Dann entscheiden Sie, ob Sie ausbauen. Kein Pilotprojekt-Theater. Kein Strategiepapier. Einfach anfangen, lernen, entscheiden.