Typische Probleme bei der Entwicklung und dem Einsatz von ML-basierter Software
In traditionellen Unternehmen ist entwickelte Software oft schwer zu betreiben, da das Entwicklungsteam nicht in den laufenden Betrieb eingebunden ist und folglich keinen Anreiz hat, Software zu erstellen, die leicht zu betreiben ist.
Bei ML-basierter Software ist die Diskrepanz zwischen Entwicklung (Dev) und Betrieb (Ops) noch größer. Für die Entwicklung von ML-basierter Software (dem so genannten „Trainieren eines ML-Modells“) müssen Entwickler experimentieren. Sie brauchen Agilität. Auf der anderen Seite erfordert der Betrieb ML-basierter Software Stabilität.
Darüber hinaus sorgen nicht-automatisiertes Artefaktmanagement sowie nicht-automatisierte Test-, Build- und Release-Prozesse dafür, dass das Entwicklungsteam demotiviert und ausgebremst wird. Dies beeinträchtigt die Entwicklungsgeschwindigkeit erheblich und führt dazu, dass Software-Releases langwierig, instabil und mit einem hohen manuellen Aufwand verbunden sind. Ein langwieriger Release-Prozess erfordert einen strengen Zeitplan für die Releases, was wiederum die Markteinführungszeit für neue Funktionen verlängert. Entsprechend verlangsamen umständliche Release-Prozesse in der IT den Release neuer Funktionen. Dadurch bleibt weniger Zeit für die Markteinführung sowie für das besser Verstehen von Kundenwünschen. Letztlich führt dies zu nicht genutztem Ertragspotenzial und geringerer Kundenzufriedenheit.
Bei ML-basierter Software ist dieses Problem noch gravierender. Da sich beim Training von ML-Modellen mehr Komponenten ändern als bei klassischer Software, ist die Nichtautomatisierung des Artefaktmanagements und der Test-/Build-/Release-Prozesse bei ML-basierter Software umständlicher. Zu den zusätzlichen, sich ändernden Komponenten gehören u. a. die Datenauswahl, die Datenaufbereitungsmethoden sowie die Auswahl der Modellarchitektur.
Im Gegensatz zu klassischer Software haben ML-Modelle eine natürliche Tendenz, im Zeitablauf an Qualität zu verlieren. Diese Modelle werden mit Daten trainiert, die ein Abbild der Realität zu einem bestimmten Zeitpunkt darstellen, und funktionieren nur dann wie beabsichtigt, wenn sie auf ähnlichen Daten angewendet werden. Wenn sich zum Beispiel das Nutzungsverhalten ändert, wird das ML-Modell nicht wissen, wie es damit umgehen soll. Somit besteht ein erhöhter Bedarf, ML-Modelle zu überwachen und neu zu trainieren.
Einer der Hauptvorteile von ML-Modellen besteht letztlich darin, dass sie im Laufe der Zeit besser werden können. Wir können im Zeitablauf weitere Daten sammeln und sie zur Verbesserung des Modells nutzen. Das bedeutet aber auch, dass es mehr Auslöser für Veränderungen gibt als bei klassischer Software. Dies wiederum erfordert, dass ML-Modelle häufiger aufs Neue trainiert und bereitgestellt werden müssen.
BankingHub-Newsletter
Analysen, Artikel sowie Interviews rund um Trends und Innovationen im Banking alle 2-3 Wochen direkt in Ihr Postfach
Lösung: MLOps-Zyklus analog zum DevOps-Zyklus
Um die oben genannten Probleme zu lösen –solche, die auch klassische Software betreffen, sowie solche, die spezifisch für ML sind – können wir den MLOps-Zyklus als Denkrahmen verwenden.
MLOps ist eine Anwendung von DevOps und hat die gleichen Zyklusphasen. Die Inhalte der einzelnen Phasen unterscheiden sich jedoch von denen des klassischen DevOps.
Wenn Sie sich für die Einführung von MLOps in Ihrem Unternehmen entscheiden, sollten Sie die MLOps-Implementierung ganzheitlich betrachten, d. h. insbesondere unter Einbeziehung der Aspekte Organisationsstruktur, Governance, Tools und Technologie.
Haben Sie DevOps in Ihrer IT-Organisation bereits eingeführt, gibt es drei Hauptpunkte, die Sie berücksichtigen müssen.
Zunächst müssen Sie entscheiden, welche Tools Sie verwenden möchten. Aus unserer Sicht hat das derzeitige Toolkit noch keinen ausreichenden Reifegrad erreicht, da MLOps ein relativ neues Thema ist und der Markt sich noch entwickelt und konsolidiert. Daher müssen Sie unter Berücksichtigung Ihrer spezifischen Anforderungen prüfen, ob die von Ihnen in Betracht gezogenen Tools Ihren Bedürfnissen entsprechen. Zudem empfehlen wir, andere IT-Manager/-innen (oder externe Berater/-innen) zu befragen, die auf ihrem Weg zu MLOps bereits einen Schritt weiter sind.
Ein zweiter Punkt: Da ML-Modelle aus echten Daten lernen müssen, sind Produktionsdaten auf irgendeine Weise einer Entwicklungsumgebung zeitnah, rechtskonform, regelkonform und sicher zur Verfügung zu stellen. Das bedeutet, dass Sie darüber nachdenken müssen, welche neuen Rollen und Berechtigungen definiert werden müssen und wie die Daten aus Sicht des Datenmodells (aggregiert, pseudonymisiert, vollständig sichtbar) und aus Sicht der Architektur (welche ETL-Prozesse müssen angepasst werden?) zugänglich gemacht werden können.
Drittens müssen Sie erörtern, ob die Geschwindigkeit der ML-Entwicklung den Anforderungen Ihres Unternehmens entspricht. Da ML-Modelle naturgemäß dazu neigen, sich im Laufe der Zeit zu verschlechtern (z. B. bei Änderungen im Konsumverhalten oder in der Art der zu analysierenden Dokumente), muss das Modell ständig aufs Neue trainiert und bereitgestellt werden. Wenn Ihre Prozesse zu langsam sind, kann es gut sein, dass Ihr Modell zum Zeitpunkt seiner Einführung bereits veraltet ist. Sie sollten daher die Anforderungen an die Aktualität Ihrer Modelle bestimmen und Ihre ML-Entwicklungsgeschwindigkeit entsprechend anpassen. Die Anforderungen an die Aktualität ergeben sich aus dem Geschäftsproblem, das Sie lösen wollen.
Deep-Dive-Beispiel: Toolkit
Wie Sie der obigen Tabelle entnehmen können, erfordern nicht alle Phasen des MLOps-Zyklus ML-spezifische Tools. Oft können stattdessen DevOps-Tools verwendet werden. Es gibt aber auch Phasen, die sehr ML-spezifisch sind – insbesondere „Entwickeln“ und teilweise „Überwachen“.
Fazit zu MLOps
Wie bereits in der Einleitung erwähnt, ist ML-basierte Software bereits hier und gewinnt weiter an Bedeutung. ML ist jedoch keine magische Kreatur, die nicht gebändigt werden kann. Ganz im Gegenteil. Viele Regeln des traditionellen Software-Engineerings können erfolgreich auf ML-basierte Software angewendet werden. Es gibt ein MLOps-Toolkit, in der Form von Systemen, Prozessen und Tools. IT-Manager/-innen müssen nun den richtigen Zeitpunkt für ihre Organisation bestimmen, um den Schritt zu wagen es zu benutzen. Hierdurch werden sie es schaffen Effizienzgewinne zu erzeugen und zu bewahren.
