Ein Bericht über die Erfahrungen eines Hardware-in-the-loop Testers bei der Tochtergesellschaft eines Automobilherstellers
Die Tochtergesellschaft eines großen Automobilherstellers führt unter anderem Prototypen-Tests für Automobile und deren Steuergeräte durch. Die Position für einen Hardware-in-the-loop Tester wurde besetzt, der mithilfe von Bildverarbeitung kamera-basierte Tests durchführen sollte und gleichzeitig Ansprechpartner für alle Bildverarbeitungsbelange im Unternehmen sowie der Muttergesellschaft war. Im Rahmen dieses Berichts wird er Halot genannt, kurz für Hardware-in-the-loop Tester. Halot schrieb zunächst eine Bildverarbeitungsbibliothek und zog erste Testsysteme auf. Ziel war es, ein bildverarbeitendes Test-Programm aufzusetzen, mit dem jeder Tacho getestet werden kann, ohne dass bei kleinen Veränderungen von Herstellerseite händisch nachgearbeitet werden musste.
„Die Fahrzeugentwicklung geht (…) zwischen drei und sechs Jahre. Und in dieser Phase gibt es natürlich immer wieder Anpassungen. (…) Und das musste dann halt immer nachgezogen werden. Also jede Änderung auf teilweise zwei Wochen Basis musste angepasst werden, damit die Tests weiter erfolgreich durchlaufen. Wir haben 24/7 diese Steuergeräte getestet und der Pain war halt immer diese ständige [neue] Anpassung.“
In der Branche und im Unternehmen wurde bereits über die Anwendung eines KI-basierten Arbeitssystems zur Datenauswertung und Fehlererkennung diskutiert. Dieses System sollte Probleme erkennen und automatisiert Fehlermeldungen zuordnen. Das händische Zuordnen von Bildern zu Fehlermeldungen würde damit wegfallen, was Zeit sparen würde.
Um herauszufinden, ob die Tests hinsichtlich der Änderungen von Herstellerseite vereinfacht und Kapazitäten gespart werden können, wurde ein Projekt gestartet, indem Halot gemeinsam mit einem Kollegen die KI-Anwendung testete. Das Budget dafür wurde vom zuständigen Bereichsleiter bereitgestellt mit der Aussage: „Probiert es mal, schaut mal, wie weit ihr kommt“. Dabei fuhr Halot zunächst fort, das Programm händisch, „Zeile für Zeile“ zu programmieren, während sein Kollege das KI-System zur Automatisierung des Testverfahrens nutzte.
„Das ist quasi der Wettlauf zwischen den beiden „Händisches, klassisches Programmieren“ versus „automatisierte Erkennung„ durch KI.“
Es stellte sich heraus, dass das KI-gestützte Modell im Vergleich schlechter abschnitt als die Software, die Parameter für Parameter programmiert wurde. In Vergleichstests erreichte sie nur 80 Prozent, während die „Händische“ eine Erfolgsquote von 95 bis 96 Prozent korrekter Fehlererkennung aufwies. Der zu testende Bildausschnitt vom Tacho war zu groß und das KI-System nicht in der Lage, den betroffenen Bereich auf dem Bild des gesamten Tachos zu erkennen. Es musste wieder manuell nachprogrammiert werden, um die Region of Interest zu verkleinern. „Bei so großen Bilddaten wird es schwierig herauszufiltern für die KI, was sie eigentlich zu tun hat.“ Dazu kam noch das Problem der ständig neu eintreffenden Input-Parameter von Seiten des Herstellers.
„Wenn sich jetzt der Hersteller ändert von dem Steuergerät und die Farben ändern sich nur ein Tick von der Beleuchtung her, dann muss das gesamte Netzwerk neu angelernt werden und je nach Größe vom Netzwerk kann das auch gerne mal 40-80 Stunden dauern und in der Zeit ist Stillstand.“
Trotz hoher Erwartungen an das KI-System überwogen die Nachteile durch den hohen Aufwand in der Umsetzung und die Nutzung wurde nach der Testphase eingestellt. „Die Nuancen sind wirklich, wo es wirklich schwierig wird“, berichtet Halot.
Nach dem Scheitern des KI-Projekts ist Halot zu der Erkenntnis gekommen, dass bestimmte Maßnahmen zur Unterstützung bei der Implementierung einer KI-Anwendung essenziell sind. Klare Ziele sowie Sinn und Zweck des Einsatzes sollten vorgegeben sein. Vor allem brauche man viel Zeit:
„Das erste ist Zeit, weil es sehr, sehr zeitintensiv ist, so eine KI zu erproben und zu entwickeln“.
Eine moderne Architektur und ein guter Datenzugriff sollten idealerweise schon im Voraus geregelt sein. „Also die Infrastruktur, die unter der KI liegt, die die Daten nutzt, sollte zumindest mal vor Umsetzung geprüft werden auf Tauglichkeit.“ Mithilfe von Feedbackschleifen sollte das Projekt kontinuierlich evaluiert werden, auf das vorhandene Wissen aufgebaut und in kleinen Schritten vorangegangen werden.
„Der Invest ist halt sehr, sehr hoch bei der KI. Das muss man im Auge behalten. Es ist leider nicht so, dass man es direkt aufsetzen kann und zwei Monate später dann ein fertiges System hat, was super produktiv läuft.“
Eine gewisse Offenheit für neue Dinge sei auch wichtig. Vor dem Hintergrund, dass sich Rahmenbedingungen ständig ändern, sollte man als Unternehmen informiert und interessiert für Neues bleiben. Der eventuelle Nutzen für das Unternehmen sollte immer berücksichtigt werden.
Halot beobachtet, dass KI-Systeme bestimmte Aufgaben zwar schneller und effektiver erledigen können, Menschen für komplexe Aufgaben aber immer noch benötigt werden. Er bezeichnet sich grundsätzlich als Freund der KI, räumt jedoch ein, dass er auch Angst vor den Menschen habe, die sie einsetzen.
„Gib es den falschen Leuten in die Hand und sie werden nur Unfug damit machen.“
Für Halot liegt das gescheiterte KI-Projekt bereits einige Jahre zurück und er ist sich sicher, dass heute bereits ein enormer Fortschritt zu verzeichnen ist. Der Respekt in der Gesellschaft vor KI ist in seinen Augen gerechtfertigt und bestimmte Aufgaben im beruflichen Kontext würden in Zukunft übernommen werden. Aus diesem Grund sollten nach wie vor Kontrollmechanismen von Menschen vorhanden sein, um sicherzustellen, dass das jeweilige KI-System auch verlässliche Ergebnisse liefert. Dabei schließt er den Kreis zu der eigens getesteten KI-Anwendung, die im Testverfahren eine Fehlererkennungs-Quote von 80 Prozent erreichte:
„Es war schon beeindruckend zu sehen, was das Ding kann, mit sehr, sehr wenig Einsatz. Also das Paleo-Prinzip kennt man ja wahrscheinlich, das 80/20 Prinzip. Ich denke für 80 Prozent schafft es eine KI immer super und damit kann man schon viel erreichen. Doch für die letzten paar Prozent wird es immer noch händisch etwas benötigen.“