ML-Empfehlungssystem für die Fahrzeugdiagnose

In einem Projekt unseres Gründers bei einem Premium-Automobilhersteller ging ein ML-Empfehlungssystem für die Fahrzeugdiagnose in Produktion, auf einer Diagnose-Plattform mit über 15.000 Nutzern pro Monat. Die Qualität der Empfehlungen wird mit definierten Kennzahlen in Grafana und Kibana gemessen.

Ausgangslage

Die Diagnose-Plattform, auf der auch der KI-Assistent mit Retrieval entstanden ist, wird in Werken, in Remote-Update-Services und im Aftersales genutzt. Im Diagnoseprozess müssen die Nutzer an vielen Stellen entscheiden, welcher Schritt als nächstes sinnvoll ist: welche Prüfung, welche Messung, welches Bauteil. Erfahrene Nutzer wissen das oft, andere suchen.

Gemeinsam mit dem Fachbereich wurde daraus ein Anwendungsfall für Machine Learning (ML): ein Empfehlungssystem, das den nächsten sinnvollen Schritt vorschlägt.

Aufgabe

Das Empfehlungssystem sollte als produktives Feature in die Plattform kommen: Empfehlungen, die Nutzern im Diagnoseprozess die nächsten sinnvollen Schritte vorschlagen. Dazu gehörte mehr als ein Deployment. Es musste klar sein, was eine gute Empfehlung ist und wie sich das messen lässt. Schlechte Vorschläge kosten das Vertrauen der Nutzer.

Lösung

Als Product Owner und Solution Architect verantwortete unser Gründer das Vorgehen:

• Anwendungsfall mit dem Fachbereich. Der Anwendungsfall entstand gemeinsam mit dem Fachbereich, ausgehend von einer konkreten Stelle im Diagnoseprozess und nicht von der Technik.
• Definition einer guten Empfehlung. Gemeinsam mit dem Fachbereich wurde festgelegt, wann eine Empfehlung als hilfreich gilt. Erst diese Definition macht Qualität messbar und verhindert, dass das Team ein Modell auf die falsche Zielgröße optimiert.
• Qualitätsmessung mit definierten KPIs. Aus der Definition entstanden Kennzahlen (KPIs), an denen sich die Empfehlungen in Produktion messen lassen.
• Monitoring in Grafana und Kibana. Die Kennzahlen sind in Grafana und Kibana sichtbar. Fachbereich und Entwicklung sehen dieselben Zahlen.

Ergebnis

Das Empfehlungssystem ist produktiv im Einsatz. Entscheidungen über das Tuning des Modells, etwa ob eine neue Version live geht, fallen auf Basis von Messwerten statt aus dem Bauchgefühl. Statt Einzelfälle zu diskutieren, sehen Fachbereich und Entwicklung dieselben Kennzahlen und entscheiden gemeinsam.

Erkenntnisse aus dem Projekt

• Der schwierigste Schritt in die Produktion ist kein technischer. Es ist die gemeinsame Definition mit dem Fachbereich, was ein gutes Ergebnis ist.
• Ein ML-Feature ist erst fertig, wenn seine Qualität in Produktion messbar ist. Ein gutes Ergebnis im Test allein reicht nicht.
• Kennzahlen, die Fachbereich und Entwicklung gemeinsam sehen, ersetzen Diskussionen über Einzelfälle.

Übertragbar auf Ihr Vorhaben

Wir bringen heute ML- und KI-Anwendungen in die Produktion, inklusive Datenpipeline, Qualitätsmessung und Rollout, siehe KI-Entwicklung. Rollouts planen wir dabei schrittweise: zuerst eine begrenzte Nutzergruppe, dann in Stufen, mit Prüfung der Messwerte vor jeder weiteren Stufe. Warum viele Piloten den Schritt in die Produktion nicht schaffen, beschreibt der Artikel KI-Pilot in Produktion bringen, die Frage nach Eigenbau oder Einkauf der Artikel KI Build vs. Buy. Wenn bei Ihnen ein Prototyp auf den nächsten Schritt wartet, sprechen Sie uns an.