GenAI, aber sicher
26.03.2025
Die LLB hat mit Ergon einen Proof-of-Concept zur sicheren Nutzung von generativer künstlicher Intelligenz (GenAI) mit sensiblen Daten auf Microsoft Azure durchgeführt. Ziel war es, die technischen Fähigkeiten und die Performance von Large Language Models (LLM) und Retrieval Augmented Generation (RAG) auf proprietären Daten zu evaluieren. Um die hohen Sicherheitsanforderungen der LLB zu erfüllen, setzte Ergon ihren GenAI-Security-Blueprint ein und verband die Services in Microsoft Azure geschützt und sicher. So blieben Datenkontrolle, Datenschutz und Datensicherheit jederzeit gewährleistet. Das Ergebnis lässt sich für eine Reihe von Anwendungsfällen einsetzen.
Die LLB ist die traditionsreichste Bank Liechtensteins und bietet ihrer Kundschaft umfassende Dienstleistungen im Wealth Management. Als sichere Anlagepartnerin ist die LLB kontinuierlich gewachsen und heute mit über 1'000 Mitarbeitenden in mehreren Ländern präsent.
Dieses Wachstum stellt vor allem die HR-Abteilung der LLB vor Herausforderungen: Die Zahl der Anfragen steigt stetig. Viel Zeit fliesst dabei in kurze Wissensfragen – Zeit, die für komplexere Probleme fehlt.
In einem Proof-of-Concept wollte die LLB zusammen mit Ergon untersuchen, wie gut Large Language Models (LLM) solche HR-spezifischen Fragen beantworten. Mit Retrieval Augmented Generation (RAG) lassen sich interne Datenbestände durchsuchen und mithilfe eines LLM für die Mitarbeitenden aufbereiten. Der so entstandene Demo-Chatbot beantwortete kurze Wissensfragen der Belegschaft.
Dafür benötigt das System Zugriff auf interne Daten. Für die LLB war klar, dass solche Anwendungsfälle auf einer sicheren und geschützten Plattform laufen müssen, auf der Datenkontrolle, Datenschutz und Datensicherheit jederzeit sichergestellt sind. Zu diesem Zweck setzte Ergon auf ihren GenAI-Security-Blueprint.
Eine sichere Plattform für die Erprobung von GenAI-Lösungen
Mit der rasanten Verbreitung von GenAI-Tools wie Large Language Models stellt sich die Frage, wie sich diese sicher und verantwortungsvoll einsetzen lassen, um der Belegschaft und der Kundschaft einen Mehrwert zu bieten. Dafür muss nicht nur die Datensicherheit stimmen; das Modell soll auch korrekte Antworten liefern und sich dabei auf Fakten stützen.
Der RAG-Ansatz erzeugt Antworten auf Basis bestehender Unternehmensdaten. Das erhöht die Genauigkeit des Modells und erlaubt es, ihm Informationen zu übergeben, die in seinem Trainingsmaterial noch nicht enthalten waren. Wichtig ist, dass jede Aussage zur Nachvollziehbarkeit mit einem Quellenverweis versehen wird.
Da RAG auf bestehenden Unternehmensdaten aufbaut, spielt die Entfernung persönlich identifizierbarer Informationen (PII Removal) im GenAI-Security-Blueprint von Ergon eine wichtige Rolle. Sie stellt sicher, dass die Privatsphäre der Nutzer:innen gewahrt bleibt und keine sensiblen Daten in den generierten Inhalten auftauchen. Um deren Qualität und Genauigkeit zu sichern, sind zudem systematische Tests mit «Goldstandard»-Antworten unerlässlich. Sie machen die Leistung der Modelle messbar und helfen, sie laufend zu verbessern. Safety-Prompts und Content-Filter reduzieren das Risiko unangemessener oder schädlicher Inhalte. Auf Infrastrukturebene kapseln Virtual Networks (VNET) die einzelnen Services – etwa die Suche und das LLM – voneinander ab. Indem sie Netzwerkverbindungen isolieren und den Datenverkehr kontrollieren, schützen sie die Datenintegrität und verhindern unerwünschte Zugriffe.
Mit dem GenAI-Security-Blueprint von Ergon konnte die LLB neue Modelle und Anwendungsfälle in einem geschützten Rahmen rasch erproben – ohne Abstriche bei der Sicherheit.
Sicher, vielseitig einsetzbar
Der Proof-of-Concept zeigte, dass sich GenAI erfolgreich mit schützenswerten Daten in einer Public Cloud einsetzen lässt. Der Ansatz lässt sich zudem leicht auf neue Business Cases übertragen.
In nur sechs Wochen brachte Ergon dabei ein breites Kompetenzspektrum zusammen: von der Entwicklung sicherer Infrastruktur in der Azure Cloud über Document Intelligence und ETL-Prozesse bis zum Prompt Engineering mit aktuellen Tools und Sprachmodellen. Alles aus einer Hand – durch unsere Full-Stack Data Scientists.
Wollen auch Sie mit GenAI Geschäftsnutzen schaffen und Erfahrung mit aktuellen Methoden sammeln? Ergon berät und begleitet Sie über den ganzen Weg: vom Design der Datenstrategie über den Aufbau einer Data Foundation bis zur erfolgreichen Umsetzung und zum Betrieb Ihres (Gen)AI-Cases.