KI-Strategie im Mittelstand: Warum Sie kein Transformationsprojekt brauchen
Aktualisiert: 2. Juni
Die meisten KI-Studien sind für Unternehmen wertlos. Nicht weil sie falsch sind, sondern weil sie das Falsche messen. Wenn Unternehmensberater in einem Laborexperiment 40 % bessere Ergebnisse liefern, sagt das wenig über Ihren Vertriebsleiter. Und wenn CEOs berichten, KI bringe keinen Nutzen, sagt das wenig über die Fachbereichsleiterin, die seit drei Monaten ihre Marktrecherchen mit KI macht.
Ich arbeite seit dem Release von ChatGPT 3.5 aktiv mit KI-Werkzeugen. Dieser Beitrag richtet sich an Geschäftsführende, Fachbereichsverantwortliche und interessierte Mitarbeitende, die wissen wollen, wie eine KI-Strategie im Mittelstand pragmatisch aussehen kann. Es geht nicht um maschinelles Lernen in der Produktion und nicht um alle KI-Features von Microsoft oder anderen Anbietern. Es geht um generative KI als Denk- und Arbeitswerkzeug. Ich verzichte bewusst auf technisches Fachvokabular. Wo es tiefer geht, verlinke ich weiterführende Beiträge.
Bringt KI im Unternehmen wirklich etwas?
Ehrlich: Wir wissen es heute nicht genau. Die seriösen Studien widersprechen sich, weil jede etwas anderes misst. Was bleibt: KI hilft bei bestimmten Aufgaben - die Größenordnung des Geschäftswerts ist offen.
Wenn Sie die Nachrichtenlage verfolgt haben, sind Sie vermutlich verwirrt. PwC, 2026 befragte 4.454 CEOs in 95 Ländern für die 29th Global CEO Survey - nur ein Bruchteil berichtet bisher konkrete Cost-Savings oder Umsatzbeiträge durch GenAI. Eine US-Census-basierte NBER-Analyse (Bonney et al., 2024) zeigt: KI-Nutzung in der US-Wirtschaft liegt bei rund 5-6 % der Unternehmen - die Fläche fehlt schlicht. Eine Microsoft/NBER-Studie 2025 mit 6.317 Mitarbeitenden in 58 Firmen kommt zu kleinen, aber realen Effekten: −7 % Lesezeit für E-Mails, einen halben Tag schneller bei Dokumenten. Gleichzeitig sagt BCG, 2024: KI-Vorreiter wachsen deutlich schneller als der Rest. Dell'Acqua et al., 2023 messen in einem Harvard-BCG-Experiment (n=758): innerhalb der "Frontier" werden 12,2 % mehr Aufgaben in 25,1 % weniger Zeit erledigt - Lower-Performers gewinnen sogar 43 % Qualität. Außerhalb der Frontier: 19 Prozentpunkte schlechter als ohne KI. Alle seriös. Alle messen unterschiedliche Dinge.
Die Auflösung: Jede dieser Studien hat methodische Schwächen, nur unterschiedliche. Die nüchternen Studien messen harte Geschäftszahlen oder breite Adoption - und finden wenig, weil KI in der Fläche bisher kaum angekommen ist. Die positiven Studien haben andere Probleme: BCG vergleicht die digital reifsten 5 % aller Firmen mit dem Rest, ohne zu wissen, ob die nicht auch ohne KI schneller gewachsen wären. Harvard testet Elite-Berater mit fiktiven Aufgaben im Labor - und zeigt im selben Experiment auch deutliche Verschlechterung dort, wo KI nicht hingehört. Die Studien, die beeindruckende Produktivitätszahlen melden, fragen oft nur nach dem Gefühl, nicht nach dem Ergebnis. Dazu kommt: Viele positive Studien werden von Organisationen finanziert, die KI-Beratung verkaufen. Die unabhängigen kommen zu nüchterneren Ergebnissen.
Die ehrliche Antwort: Wir wissen es aktuell vielleicht nicht genau. Die Forschung hält mit der Geschwindigkeit der Technologie nicht mit. Was wir wissen: KI kann bei bestimmten Aufgaben helfen. Wie groß der echte Geschäftswert ist, kann heute niemand seriös beziffern. Nicht die Studien, keine Unternehmensberatung, und nicht dieser Blogbeitrag. Was allerdings auffällt: KI-Investitionen im deutschen Mittelstand sinken, während der Gesamtmarkt steigt (Bitkom, 2025). Ob das in drei Jahren ein Problem sein wird, weiß niemand. Aber wenn es eines wird, ist Aufholen deutlich teurer als Ausprobieren.
Mein persönlicher Eindruck: Die meisten Studien messen Erfahrungen primär aus 2024 und 2025. Die Qualität der aktuellen KI-Modelle hat sich seitdem spürbar verändert. Die Art, wie ich heute mit KI arbeite, hat wenig mit dem zu tun, was diese Studien gemessen haben. Kein Beweis. Aber ein Grund, die Ergebnisse nicht als endgültiges Urteil zu lesen.
Konkret für den deutschen Mittelstand: Laut Bitkom-KI-Studie 2025 nutzen 36 % der deutschen Unternehmen ab 20 Mitarbeitenden bereits aktiv KI - fast doppelt so viele wie ein Jahr zuvor. 67 % der Befragten erwarten dabei keine Veränderung in der Beschäftigung. Heißt: KI verdrängt selten, sie ergänzt - aber wer drei Jahre wartet, bis "die Studienlage klar ist", hat den Einstieg verschlafen.
Wie startet ein Mittelständler eine KI-Strategie ohne Transformationsprojekt?
Mit zwei klaren Schichten: einem Fundament, das die Daten hält, und einem Agentensystem darüber, das denkt und baut. Ohne Gremienentscheidung, ohne Budgetfreigabe, ohne Change-Programm. Erst im Kleinen lernen, dann entscheiden, wie weit man gehen will.
Als ich dieses Modell zum ersten Mal aufgeschrieben habe, waren es drei getrennte Welten: ein Tresor für sensible Daten, ein Denker fürs Konzeptionelle, ein Macher für die Umsetzung. Inzwischen sehe ich es anders. Denker und Macher sind für mich zu einem verschmolzen: einem agnostischen Agentensystem, das mit Claude und Codex gleichzeitig arbeitet. Geblieben sind zwei Schichten. Das Fundament, das Ihre Daten hält. Und das Agentensystem darüber, das denkt und baut. Warum die Trennung gefallen ist, kommt weiter unten. Sie hat einen praktischen Grund, keinen theoretischen.
Wichtig vorab: Dieses Modell richtet sich nicht an alle Mitarbeitenden gleichzeitig. Es richtet sich an ausgewählte Führungskräfte, Fachbereichsverantwortliche und interessierte Mitarbeitende, die Lust haben sich damit zu beschäftigen, die passenden Aufgaben mitbringen und bei denen die Anforderungen an Datenschutz und Compliance vertretbar sind. Es beschreibt einen möglichen Einstieg. Wie das in einer Organisation mit 100+ Mitarbeitenden skaliert, ist ein eigenes Thema.
Schicht 1: Microsoft 365 als sicheres Fundament
Microsoft 365 ist das Fundament. Nicht weil es die spannendste Schicht ist, sondern weil es schon da ist und die wirklich sensiblen Daten hält: Verträge, Rechnungen, Kundendaten, Personaldaten, interne Kommunikation. Alles was schützenswert ist, bleibt im Zweifelsfall hier und nur hier. Voraussetzung für jeden KI-Einsatz auf dieser Ebene: eine grundlegende Ordnung in SharePoint und Teams. Wer sein digitales Fundament in Ordnung bringt, profitiert von jeder zukünftigen KI-Verbesserung automatisch.
Microsoft Copilot ist ein chirurgisches Werkzeug. Für bestimmte Aufgaben das beste am Markt. Für andere nicht. Es gibt eine kostenlose Version und die Bezahlversion (M365 Copilot, ab 30 Euro pro Person und Monat). Beide bieten sogenannte Commercial Data Protection: Ihre Eingaben werden nicht zum Trainieren von KI-Modellen verwendet. Das wissen viele Führungskräfte nicht.
Wo Copilot brilliert: Bei allem, was Ihre internen Daten betrifft. Copilot kann in Ihrem Videomeeting mitschreiben und hinterher eine Zusammenfassung liefern. Kein anderes KI-Werkzeug kann das, weil kein anderes (hoffentlich!) in Ihrem Meeting sitzt. Copilot kann Ihre E-Mails, Chat-Nachrichten und Dokumente gleichzeitig durchsuchen und Zusammenhänge finden, für die Sie sonst Stunden bräuchten. Als persönlicher Lernassistent für Excel, Power BI oder SharePoint ist er für Neulinge ein genialer Einstieg.
Wo Copilot schwächelt: Bei der reinen Denkleistung. In meinen Tests hat ein Copilot-Assistent eine öffentliche Quelle zitiert und dabei Informationen geliefert, die dieser Quelle direkt widersprachen. Dieselbe Frage in einem anderen KI-Werkzeug? Sofort korrekt. Auch der Cross-Government-Test der britischen Regierung, 2024 mit 20.000 Beschäftigten in 12 Behörden bestätigt das Bild: Teams-Meetings erreichen 71 % Peak-Adoption, Excel und PowerPoint bleiben bei 23 % bzw. 24 % stehen - sobald es um eigene Analyse oder Erstellung geht, fällt die Nutzung stark ab.
Mein Fazit nach über zwei Jahren testen, Stand Ende 2025: Copilot gewinnt, wenn es um Ihre Daten geht. Bei reiner Denkleistung war ein dediziertes Frontier-Modell noch klar vorne. Microsoft verbessert Copilot in hohem Tempo - also: regelmäßig neu prüfen, nicht auf einer Momentaufnahme festkleben.
Die nächste Stufe heißt Copilot Cowork. Zusammen mit Anthropic hat Microsoft sie angekündigt: Assistenten, die mehrstufige Aufgaben innerhalb Ihres gesicherten Systems eigenständig erledigen. Aktuell in der Testphase, kein Datum für den DACH-Raum, das Preismodell (99 USD pro Person und Monat) für den Mittelstand eine offene Frage. Die Richtung stimmt. Aber meine ehrliche Erwartung: Die volle Automatisierung und Integration, die ich in Schicht 2 beschreibe, wird selbst Cowork vorerst schwer erreichen. Ein in sich geschlossenes Microsoft-System ist dafür zu eng. Das Fundament bleibt das Fundament, nicht der Motor.
Meine Empfehlung für Schicht 1: Nutzen Sie die kostenlose Copilot-Version sofort. Führen Sie wenige Bezahllizenzen für interessierte Mitarbeitende ein. Binden Sie Ihre Datenschutzverantwortlichen und ggf. Rechtsberatung vorher ein - das ist je nach Branche unterschiedlich zu bewerten. Aber wenn selbst in stark regulierten Branchen wie Finanzdienstleistung und Gesundheitswesen Unternehmen Copilot produktiv einsetzen, ist die Frage berechtigt: Welche konkreten Gründe sprechen in unserem Fall dagegen? Manchmal gibt es gute Antworten. Manchmal beruhen die Bedenken auf Annahmen, die niemand geprüft hat.
Aufwand: Mittel (Lizenzkosten plus interne Klärung). Nutzen: Mittel (bei Aufgaben mit internen Daten stark, bei strategischem Arbeiten begrenzt). Für das eigentliche Denken und Bauen brauchen Sie etwas anderes. Das ist Schicht 2.
Schicht 2: Das agnostische Agentensystem - es denkt und baut
Hier passiert die eigentliche Arbeit. Dieses KI-Agentensystem im Mittelstand ist die Schicht, in der aus Werkzeugen echte Hebelwirkung wird. Früher habe ich getrennt: erst mit Claude, ChatGPT oder Gemini denken, dann mit Claude Code oder Codex bauen. Heute ist das eins. Ein Agentensystem, das den Kontext kennt, Konzepte entwickelt, sie selbst umsetzt, automatisiert und in meine Abläufe integriert. Agnostisch, also nicht an einen Anbieter gekettet: Claude als Hauptarbeiter, Codex als zweiter Blick. Genau dieses freie Zusammenspiel ist für mich der Punkt, an dem aus einem Werkzeug wirkliche Intelligenz und freie Gestaltung wird - etwas, das ein einzelnes Tool, auch Copilot, so nicht leistet.
Und hier kommt die Beobachtung, die mich selbst überrascht hat: Ich arbeite inzwischen fast alle meine Anwendungsfälle zu rund 90 Prozent ganz ohne personenbezogene oder Kundendaten. Strategie, Analyse, Recherche, Konzepte, Auswertungen, der Bau neuer Automatisierungen. Der Großteil der Wertschöpfung braucht die sensiblen Daten gar nicht. Das ist der Grund, warum die alte Trennung zwischen Denken und Bauen gefallen ist: Wenn neunzig Prozent der Arbeit ohnehin außerhalb des Tresors stattfinden, brauche ich keine getrennte Denk-Schicht mehr. Ich brauche ein System, das denkt und baut. Die sensiblen zehn Prozent bleiben sauber im Fundament.
Die eiserne Regel bleibt: Personenbezogene Daten, Kundeninformationen und sensible Unternehmensdaten gehören nicht in dieses Agentensystem. Dafür ist das Fundament da. Was hier stattfindet, ist Denk-, Konzept- und Umsetzungsarbeit mit allgemeinen, öffentlichen oder anonymisierten Informationen. Eine E-Mail entsteht hier als Entwurf und wird erst in Outlook mit echten Namen und Bezügen ergänzt.
Der Einstieg: spezialisierte Arbeitsbereiche
Sie müssen nicht sofort ein vollintegriertes System bauen. Der niedrigschwellige Start sind spezialisierte Arbeitsbereiche in Claude, ChatGPT oder Gemini - digitale Aktenordner, die sich Kontext merken: einer für Strategie und Positionierung, einer für Vertrieb und Recherche, einer für Marketing. Jeder Bereich sammelt über die Zeit Wissen an und denkt mit, statt bei null anzufangen. Wie viel Kontext Sie geben, entscheiden Sie. Schon mit öffentlichen Brancheninformationen und groben Positionierungsideen kommen Sie erstaunlich weit. Niemand zwingt Sie, Ihr gesamtes Strategiepapier hochzuladen.
Die Ausbaustufe: ein durchgängiges Agentensystem
Die Ausbaustufe ist ein durchgängiges Agentensystem über Werkzeuge wie Claude Code (von Anthropic) und Codex (von OpenAI). Beide waren ursprünglich für Softwareentwicklung gedacht - aber dasselbe Werkzeug, das Code schreiben kann, entwickelt auch Strategien, baut Excel-Auswertungen, sortiert E-Mails oder fasst Dokumente zusammen, sofern man die nötigen Zugriffe einrichtet. Hier wird KI vom Sparringspartner zum Mitarbeiter, der mehrstufige Aufgaben eigenständig übernimmt.
Was das im Alltag konkret tut (Auszug):
Erinnerung bei Planabweichungen ("Du hast diese Woche noch keinen Beitrag veröffentlicht, obwohl drei geplant waren")
Reporting und Auswertungen automatisch erzeugen
Aufgaben umsetzen im Rahmen klar abgegrenzter Rechte
Neue Automatisierungen auf Anweisung bauen, ohne externe Entwickler
Lernen durch persistente Notizen und Memory zwischen Sitzungen
Ein Beispiel aus der Praxis: Ich wollte die Reichweite meiner LinkedIn-Beiträge automatisiert messen. Idee und Umsetzungsanweisung im selben System entwickelt, dann direkt bauen lassen. Die Lösung lief beim ersten Versuch. In unter 30 Minuten hatte ich ein fertiges System, Erweiterungen danach jeweils mit einem Satz. Dieselbe Lösung über herkömmliche Werkzeuge wie Power Automate oder SharePoint? Tage bis Wochen, plus Abstimmungsschleifen. Eine ausführliche Beschreibung steht in meinem Praxisbeispiel zu datenbasierten Entscheidungen.
Warum agnostisch, nicht ein einzelner Anbieter: Ich nutze Claude als Hauptarbeiter und Codex als zweiten Blick. Wenn etwas wichtig ist, schaut das eine Werkzeug auf das, was das andere produziert hat. Zwei verschiedene Modelle finden unterschiedliche blinde Flecken. Das ist kein Tool-Tuning, sondern ein einfaches Kontroll-Prinzip - und es ist der Grund, warum ich mich nicht an einen Anbieter binde. Wer tiefer einsteigen will, findet in meinem Praxisbericht zum Aufbau eines Multi-Agenten-Systems die ehrliche Version inklusive der Schwächen, die in der ersten Euphorie übersehen werden.
Zur Datensicherheit: Seriöse Anbieter schützen Ihre Daten. Bei Business-Abonnements werden Ihre Eingaben standardmäßig nicht zum Training verwendet. Bei den gängigen Abos für Einzelpersonen liegen die Daten derzeit überwiegend auf amerikanischen Servern; für strenge Anforderungen gibt es EU-Optionen über Enterprise-Pläne. Und: Ihre Mitarbeitenden nutzen solche Werkzeuge vermutlich längst. Der Torii SaaS-Benchmark 2026 zeigt: 26 der Top-50 Schatten-IT-Apps in Unternehmen sind KI-Tools. Wer das strukturiert freigibt, hat nicht mehr Risiko, sondern mehr Kontrolle.
Der eigentliche Wert ist nicht die Technologie, sondern das Lernen. Welche Aufgaben lohnen sich wirklich? Wo sind die echten Reibungspunkte? Das beantwortet keine Unternehmensberatung und kein Zertifikat, sondern nur der eigene Betrieb. Wer mit den Arbeitsbereichen aus der Einstiegsstufe beginnt, kann heute starten - für 20 bis 30 Euro pro Person und Monat, ohne IT-Erfahrung, nach ein bis zwei Stunden Klärung mit dem Datenschutzverantwortlichen. Das volle Agentensystem mit Claude Code und Codex kommt dann, wenn man weiß, dass es sich lohnt.
Aufwand: Gering bis mittel. Einstieg über Arbeitsbereiche sofort möglich; das volle Agentensystem braucht Setup (Einzelplatz unter einer Stunde, API-Kosten meist unter einem Euro pro Tag bei Solo-Nutzung). Geschäftsführende ohne Konsolen-Erfahrung brauchen für die Ausbaustufe Begleitung. Nutzen: am Anfang ungewiss - und genau darum geht es: kontrolliert experimentieren statt schätzen.
Was kostet dieses Modell wirklich?
Die technischen Kosten sind gering - meist unter 30 Euro pro Person und Monat. Die größte Investition liegt in interner Klärung, Befähigung und der Ordnung im eigenen System.
Ein bisschen Zahlen: Microsoft 365 Copilot ab 30 Euro pro Person und Monat. Claude Pro oder ChatGPT Plus ab 20 USD pro Person und Monat. Claude Code und Codex laufen über eigene Abos in ähnlicher Größenordnung oder über API-Kosten von wenigen Euro pro Tag bei normaler Nutzung. Eine Pilotgruppe von fünf Menschen kostet damit weniger als eine Beratertagesgage.
Was teuer ist: die Aufmerksamkeit, die Klärung und die Zeit, die Menschen brauchen, um vom Spielen zum produktiven Arbeiten zu kommen. Das kann keine Lizenz ersetzen.
Fazit KI-Strategie im Mittelstand
Es gibt gerade viele Stimmen, die KI-Transformation als schnelle, flächendeckende Bewegung beschreiben: Agentic AI First and Fast. Das klingt überzeugend, solange man die Realität komplexer Organisationen ausblendet: ungeklärte Zuständigkeiten, fehlende Anreize, Gremien die prüfen, Budgets die blockiert werden.
Mein Ansatz ist das Gegenteil davon. AI First and Small. Im Kleinen anfangen. Ohne Transformationsversprechen, ohne große Budgets, ohne externe Abhängigkeit. Lernen, was im eigenen Kontext funktioniert. Dann, wenn der Mehrwert nachgewiesen ist, entscheiden, wie weit man gehen will.
KI-Strategie im Mittelstand bedeutet nicht, ein teures Transformationsprogramm zu starten. Es bedeutet, zwei Schichten sauber zu trennen und mit dem anzufangen, was heute verfügbar ist. Das Fundament aus Microsoft 365 ist meist schon vorhanden und braucht vor allem Ordnung. Das Agentensystem darüber ist heute startklar - niedrigschwellig über Arbeitsbereiche, in der Ausbaustufe agnostisch mit Claude und Codex. Und mit der Einsicht, dass der Großteil der Wertschöpfung ganz ohne sensible Daten läuft, ist der Einstieg weniger heikel, als die meisten denken.
Eine letzte Einordnung: Echte Erfahrung mit Agentensystemen haben aktuell die allerwenigsten Menschen und Unternehmen - wer tiefer einsteigen will, dem empfehle ich meinen ehrlichen Praxisbericht zum Aufbau eines Multi-Agenten-Systems. Was funktioniert, hängt stark von Branche, Kultur und Menschen ab. Dieser Beitrag ist ein Vorschlag, wie man pragmatisch, schnell und guenstig an die KI-Readiness im Mittelstand herangeht. Kein Patentrezept. Und auch das gehört zur Ehrlichkeit: Er kann nächste Woche überholt sein. Die Technologie bewegt sich so schnell, dass jede Einschätzung ein Verfallsdatum hat. Umso wichtiger, selbst Erfahrung aufzubauen, statt auf endgültige Antworten zu warten.
Die "Paralyse durch Analyse" ist vielleicht (!) die teuerste KI-Strategie, die ein Unternehmen wählen kann.
Über den Autor: Marcus Machon berät mittelständische Unternehmen bei Microsoft 365 Governance, SharePoint-/Teams-Struktur, Power-Platform-Automatisierung und Copilot-/KI-Readiness.
Quellen
PwC (2026). 29th Annual Global CEO Survey (n=4.454 CEOs, 95 Länder). Bericht"
Bonney, K. et al. (2024). Tracking Firm Use of AI in Real Time: "A Snapshot from the Business Trends and Outlook Survey. NBER Working Paper 32319 (US Census BTOS). DOI: 10.3386/w32319"
Microsoft/NBER (2025). The Effects of Generative AI on High Skilled Work: "Evidence from Three Field Experiments with Software Developers (RCT, n=6.317 Mitarbeitende, 58 Firmen). arXiv:2504.11443"
BCG (2024). AI Adoption in 2024: "74% of Companies Struggle to Achieve and Scale Value. Bericht"
Dell''Acqua, F. et al. (2023). Navigating the Jagged Technological Frontier (Harvard/BCG, n=758). Harvard Business School Working Paper 24-013. SSRN: "4573321"
UK Government Digital Service (2024). Microsoft 365 Copilot Experiment: "Cross-Government Findings (n=20.000, 12 Behörden). Bericht"
Bitkom Research (2025). Künstliche Intelligenz: "Einsatz in deutschen Unternehmen (n=604 Unternehmen ab 20 MA). Studie"
Torii (2026). SaaS Benchmark Report - Shadow IT and AI Tool Sprawl. Bericht"
