Funktioniert das Modell anhand der Validierungsdaten wie gewünscht, wird das Modell anhand Testdaten aus dem realen Betrieb untersucht und schließlich wird eine Bewertung der Ergebnisse und des Projektprozesses selbst vorgenommen.

Hier werden neben Data Scientists und KI-Experten nun auch wieder weitere Stakeholder eingebunden, um Ergebnisse gemeinsam zu diskutieren.

Für die Erprobung der Modelle soll ein möglicher Zeitraum sowie Erfolgskriterien festgelegt werden. Dabei sind neben den Modellen an sich auch der zugrundeliegende gesamte Prozess der Modellierung zu bewerten und wichtige Erkenntnisse für den späteren Betrieb oder für weitere Anwendungsfälle aufzubereiten.

Als Ergebnis erhalten Sie ein oder mehrere erprobte und ggf. weiterentwickelte Modelle inklusive einer aufbereiteten Dokumentation über gewonnene Erkenntnisse.

• In 5 Schritten zu Ihrem KI-Modell
  Max-Ludwig Stadler (Oktober 2023)
• CRISP-DM – A Framework For Data Mining And Analysis
  Mithun Sridharan (o.J.)
• CRISP-DM: Grundlagen, Ziele und die 6 Phasen des Data Mining Prozess
  Laurenz Wuttke (o.J.)

Für die Evaluation sollte ein angemessener Zeitraum mit zugehörigen Zielen festgelegt werden. In nachfolgenden Lektionen finden Sie vertiefend, was die Inhalte der Evaluation sind, um dementsprechend Ziele und Fristen setzen zu können.

Nachdem für die Modellbildung Vergangenheitsdaten genutzt wurden, soll die Leistungsfähigkeit der Modelle nun mit realen Testdaten aus der Produktionsumgebung, bzw. aus dem laufenden Betrieb untersucht werden.

Der Evaluationszeitraum sollte entsprechend des jeweiligen Use Cases gestaltet werden. Soll bspw. eine Nachfrageprognose anhand von Vergangenheitsdaten und Saisonalitäten umgesetzt werden, sollte auch ein gesamtes Jahr in der Evaluation untersucht werden. Handelt es sich hingegen um einen Eingriff in einen Prozess, kann auch schon die Untersuchung einer Produktionswoche ausreichend sein.

Ebenso wie Evaluationszeitraum sind auch die Ziele individuell je Use Case festzulegen. Das können Kennzahlen wie bspw. Kostensenkungen, Produktivitätssteigerungen oder verbesserte Prognosen (Genauigkeiten). Daneben kommen viele weitere Erfolgskriterien in Frage, die konkret vom jeweiligen KI-Use Case abgeleitet werden müssen.

• Standards für Evaluation
  Gesellschaft für Evaluation (2016)

Hier sind die verschiedenen Modelle zu vergleichen und es ist zu bewerten, inwiefern die Projektziele mit Hilfe der verschiedenen Modelle erfüllt werden konnten.

Dafür werden die vortrainierten Modelle mit laufenden Betriebsdaten gefüttert und die ausgegebenen Ergebnisse analysiert und bewertet werden.

Das Resultat sollten ein oder mehrere „Sieger“-Modelle sein, die für einen realen Betrieb in näherer Auswahl stehen. Achten Sie dabei auf den gesetzten Evaluationszeiträume sowie die festgelegten Ziele. Sollten keine Modelle geeignet sein, sind Gründe dafür zu suchen und ggf. sollten die Modellbildung oder davorliegende Schritte wiederholt werden.

• CRISP-DM – A Framework For Data Mining And Analysis
  Mithun Sridharan (o.J.)
• CRISP-DM: Grundlagen, Ziele und die 6 Phasen des Data Mining Prozess
  Laurenz Wuttke (o.J.)

An dieser Stelle wird nochmal der Gesamtprozess zur Implementierung eines KI-Use Cases analysiert:

• Prüfung ob es weitere Faktoren oder Aufgaben gibt, die übersehen wurden,
• Prüfung, ob Qualitätsprobleme vorliegen oder zukünftig auftreten könnten und
• Hervorheben von Prozessen oder Aktivitäten, die korrigiert oder wiederholt werden müssen.

Diese Informationen sind sauber aufzubereiten und abzulegen, damit ggf. nötiges Wissen im späteren Betrieb zugänglich ist und damit das neu gewonnene Wissen der Organisation für spätere Projekte zugänglich gemacht wird.

• CRISP DM: Das Data Mining Modell einfach erklärt
  Kilian (Juli 2020)
• CRISP-DM Phase 5: Evaluation Phase
  Zipporah Luna (Oktober 2021)

Die vorher ausgearbeiteten Informationen werden an dieser Stelle in konkrete Maßnahmen inklusive einer Bewertung von Gründen für und gegen die jeweilige Maßnahme übersetzt.

Grundlegend erfolgt hier die Entscheidung, ob ein Modell in den operativen Betrieb überführt wird oder ob ein erneute Modellierung des Use Cases erfolgen soll.

• CRISP-DM: Grundlagen, Ziele und die 6 Phasen des Data Mining Prozess
  Laurenz Wuttke (o.J.)
• CRISP DM: Das Data Mining Modell einfach erklärt
  Kilian (Juli 2020)
• CRISP-DM Phase 5: Evaluation Phase
  Zipporah Luna (Oktober 2021)
• Wie werden KI-Modelle trainiert?
  Fisher Data Science (Oktober 2023)