Datensouveräne KI im SAP-Umfeld: lokale Modelle für den Mittelstand

Bei vielen SAP-Anwendern scheitert KI nicht an der Technik. Sie scheitert am Datenschutz. Geschäftskritische Daten aus dem ERP sollen das Haus nicht verlassen. Damit fallen Cloud-Modelle für viele Szenarien aus, bevor das erste Projekt startet.

Dabei ist das Potenzial klar: Dokumentenklassifikation, Preisempfehlungen, Genehmigungsrouting, Compliance-Prüfungen. Alles Aufgaben, bei denen KI messbar hilft. Auf der anderen Seite stehen personenbezogene Daten, Preiskonditionen, Lieferantenbeziehungen und Finanzdaten.

Dazu kommt der regulatorische Rahmen. Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50 des EU AI Act. Die Pflichten für Hochrisiko-Systeme wurden mit dem Digital Omnibus vom 27. Juli 2026 verschoben, auf Dezember 2027 für Anhang III und auf August 2028 für Anhang I. An der Frage nach dem Verarbeitungsort ändert das nichts. Wer jetzt baut, legt fest, wo die Daten in fünf Jahren liegen.

Ein Weg dazwischen: lokale Small Language Models

Es braucht keine große Cloud, um im SAP-Umfeld Nutzen aus KI zu ziehen. Lokal betriebene Small Language Models, sicher über den SAP Cloud Connector angebunden, sind eine tragfähige Alternative. Das Modell arbeitet als vorschlagende Instanz. Es liefert eine Klassifikation, eine Empfehlung oder eine Risikobewertung, die finale Entscheidung trifft der Mensch. Human in the Lead.

Die Daten verlassen zu keinem Zeitpunkt die kontrollierte Infrastruktur des Unternehmens.

Warum kleine Modelle oft genügen

Fein abgestimmte Modelle mit wenigen Milliarden Parametern reichen für typische Unternehmensaufgaben oft aus. Bei Dokumentenklassifikation und Informationsextraktion sehen wir Ergebnisse auf dem Niveau sehr großer Cloud-Modelle. Dazu kommen zwei praktische Vorteile: geringere Latenz und deutlich niedrigere Betriebskosten. Die lokale Inferenz liegt in unserer Messung um eine Größenordnung unter den Kosten typischer Cloud-APIs.

Auch europäische Modelle sind verfügbar. Teuken-7B etwa wurde unter Beteiligung des Fraunhofer IAIS im Projekt OpenGPT-X entwickelt und steht offen zur Verfügung.

Wie es sich sauber in SAP einfügt

Der SAP Cloud Connector baut einen ausgehenden TLS-Tunnel auf. Es werden keine eingehenden Ports geöffnet, die interne Topologie bleibt unsichtbar. Die Orchestrierung läuft auf der BTP: Kontext aufbereiten, sensible Felder maskieren, Ergebnis über einen Confidence-Schwellwert bewerten. Liegt die Konfidenz hoch genug, wird die Empfehlung umgesetzt. Liegt sie darunter, prüft ein Mensch über SAP Fiori. Das Ergebnis wandert über zertifizierte OData-Schnittstellen zurück ins SAP S/4HANA. Der Clean Core bleibt unangetastet.

Wichtig ist die Einordnung: Dieser Ansatz ersetzt SAPs eigene KI wie Joule oder den AI Core nicht. Er ergänzt sie um eine souveräne Schicht für die Fälle, in denen Daten das Unternehmen nicht verlassen dürfen.

Wofür das taugt

Sinnvolle Einstiegsfälle sind Preisempfehlungen (bei uns über PAN, den Price Agent for Negotiations), die Klassifikation eingehender Belege, die Zolltarifierung, das Genehmigungsrouting und die Anomalie-Erkennung in Finanzbuchungen. Gemeinsam ist ihnen: klar umrissene Aufgabe, hoher manueller Aufwand, sensible Daten.

Kontrolliert statt auf einen Schlag

Man beginnt mit einem Use Case, einer GPU und einem 7B-Modell, misst den Nutzen und wächst von dort. Clean Core als Fundament, eine KI-Einführung, die kontrolliert und schrittweise passiert, und der Mensch, der in der Führung bleibt. So wird aus einem Datenschutz-Blocker ein belastbarer Business Case.

Mehr dazu auf dem DSAG-Jahreskongress

Simon Pamies vertieft das Thema gemeinsam mit Frank Zenker (CAS AG): Session VP027 "Clean Core und kontrollierte KI-Einführung", 7. Oktober 2026, 17:45 Uhr, Partner Stage. Sie finden uns außerdem an Stand M17 in Halle 2.2.