Beim Produktivbetrieb von Diensten mit Machine Learning- und KI-Modellen ist ein kontinuierliches Verfügbarkeits-Monitoring der Services erforderlich. Zusätzlich sollte die Performance der KI-Modelle stetig überwacht werden, da sie aus verschiedenen Gründen abnehmen kann. Eine häufige Ursache liegt darin, dass sich die Datengrundlage in der realen Welt vor allem bei längeren Zeithorizonten verändern kann und somit die ursprünglichen Trainingsdaten, auf denen das Modell angelernt wurde, nicht mehr aktuell sind. Daher ist es ratsam, das Verhalten von KI-Modellen zu erfassen und ein Nachlassen der Leistung erkennen zu können. In einem solchen Fall kann über spezielle Retraining Pipelines ein erneutes Anlernen des Modells auf frischen Daten automatisiert erfolgen, um die Performance wiederherzustellen.