Nicht alles braucht einen LLM: Ein Rahmen zur Bewertung, wann KI sinnvoll ist

Frage : Welches Produkt sollte maschinelles Lernen (ML) nutzen? Antwort des Projektmanagers : Ja.

Spaß beiseite: Das Aufkommen generativer KI hat unser Verständnis davon, welche Anwendungsfälle sich am besten für ML eignen, auf den Kopf gestellt. Historisch gesehen haben wir ML stets für wiederholbare, prädiktive Muster in Kundenerlebnissen genutzt, doch jetzt ist es möglich, eine Form von ML auch ohne einen vollständigen Trainingsdatensatz zu nutzen.

Dennoch lautet die Antwort auf die Frage „Welche Kundenbedürfnisse erfordern eine KI-Lösung?“ nicht immer „Ja“. Große Sprachmodelle (LLMs) können für manche immer noch unerschwinglich sein, und wie alle ML-Modelle sind LLMs nicht immer präzise. Es wird immer Anwendungsfälle geben, in denen eine ML-Implementierung nicht der richtige Weg ist. Wie bewerten wir als KI-Projektmanager den Bedarf unserer Kunden an einer KI-Implementierung?

Zu den wichtigsten Überlegungen, die bei dieser Entscheidung hilfreich sein können, gehören:

1. Die erforderlichen Eingaben und Ausgaben zur Erfüllung der Kundenbedürfnisse: Der Kunde gibt Ihrem Produkt eine Eingabe, und die Ausgabe liefert Ihr Produkt. Für eine von Spotify ML generierte Playlist (eine Ausgabe) könnten Eingaben Kundenpräferenzen sowie „gemochte“ Songs, Künstler und Musikgenres umfassen.
2. Kombinationen von Inputs und Outputs: Kundenbedürfnisse können variieren, je nachdem, ob sie für denselben oder einen anderen Input den gleichen oder einen anderen Output wünschen. Je mehr Permutationen und Kombinationen wir für Inputs und Outputs im großen Maßstab replizieren müssen, desto stärker müssen wir auf ML statt auf regelbasierte Systeme zurückgreifen.
3. Muster in Ein- und Ausgaben: Muster in den erforderlichen Kombinationen von Ein- und Ausgaben helfen Ihnen bei der Entscheidung, welches ML-Modell Sie für die Implementierung verwenden müssen. Wenn Muster in den Kombinationen von Ein- und Ausgaben vorhanden sind (z. B. die Auswertung von Kundenberichten zur Ermittlung eines Sentiment-Scores), sollten Sie überwachte oder halbüberwachte ML-Modelle anstelle von LLMs in Betracht ziehen, da diese möglicherweise kostengünstiger sind.
4. Kosten und Präzision: LLM-Aufrufe sind im großen Maßstab nicht immer günstig, und die Ergebnisse sind trotz Feinabstimmung und schneller Entwicklung nicht immer präzise/genau . Manchmal sind überwachte Modelle für neuronale Netze, die eine Eingabe anhand eines festen Satzes von Labels oder sogar regelbasierter Systeme klassifizieren können, besser geeignet als die Verwendung eines LLM.

Nachfolgend habe ich eine kurze Tabelle zusammengestellt, in der die oben genannten Überlegungen zusammengefasst sind. Sie soll Projektmanagern dabei helfen, die Bedürfnisse ihrer Kunden zu bewerten und zu entscheiden, ob eine ML-Implementierung der richtige Weg für die Zukunft zu sein scheint.

Art des Kundenbedarfs	Beispiel	ML-Implementierung (Ja/Nein/Abhängig)	Art der ML-Implementierung
Wiederkehrende Aufgaben, bei denen ein Kunde für denselben Input denselben Output benötigt	Meine E-Mail-Adresse in verschiedenen Online-Formularen hinzufügen	NEIN	Die Erstellung eines regelbasierten Systems ist mehr als ausreichend, um Ihnen bei Ihren Ergebnissen zu helfen
Wiederkehrende Aufgaben, bei denen ein Kunde für denselben Input unterschiedliche Ergebnisse benötigt	Der Kunde befindet sich im „Entdeckungsmodus“ und erwartet ein neues Erlebnis, wenn er die gleiche Aktion ausführt (z. B. sich bei einem Konto anmeldet):— Pro Klick ein neues Kunstwerk generieren – StumbleUpon (erinnern Sie sich?) Entdecken Sie durch zufällige Suche eine neue Ecke des Internets	Ja	–Bildgenerierungs-LLMs –Empfehlungsalgorithmen (kollaboratives Filtern)
Wiederkehrende Aufgaben, bei denen ein Kunde für unterschiedliche Eingaben die gleiche/ähnliche Ausgabe benötigt	–Benotung von Aufsätzen–Generierung von Themen aus Kundenfeedback	Kommt darauf an	Wenn die Anzahl der Eingabe- und Ausgabekombinationen ausreichend einfach ist, kann ein deterministisches, regelbasiertes System dennoch funktionieren. Sollten Sie jedoch mehrere Eingabe- und Ausgabekombinationen benötigen, da ein regelbasiertes System nicht effektiv skalierbar ist, sollten Sie auf Folgendes zurückgreifen: – Klassifikatoren – Themenmodellierung. Allerdings nur, wenn diese Eingaben Muster aufweisen. Wenn überhaupt keine Muster vorhanden sind, sollten Sie die Nutzung von LLMs in Betracht ziehen, jedoch nur für einmalige Szenarien (da LLMs nicht so präzise sind wie überwachte Modelle).
Wiederkehrende Aufgaben, bei denen ein Kunde für unterschiedliche Eingaben unterschiedliche Ergebnisse benötigt	–Beantworten von Kundensupportfragen–Suche	Ja	Es gibt selten Beispiele, bei denen man ohne ML unterschiedliche Ausgaben für unterschiedliche Eingaben in großem Maßstab bereitstellen kann. Es gibt einfach zu viele Permutationen, als dass eine regelbasierte Implementierung effektiv skalieren könnte. Beispiele hierfür sind: – LLMs mit Retrieval-Augmented Generation (RAG) – Entscheidungsbäume für Produkte wie Suche
Nicht wiederkehrende Aufgaben mit unterschiedlichen Ergebnissen	Bewertung eines Hotels/Restaurants	Ja	Vor LLMs war diese Art von Szenario ohne Modelle, die für bestimmte Aufgaben trainiert wurden, schwierig zu realisieren, wie z. B.: – Rekurrente neuronale Netzwerke (RNNs) – Long Short-Term Memory Networks (LSTMs) zur Vorhersage des nächsten Wortes LLMs eignen sich hervorragend für diese Art von Szenario.

Fazit: Verwenden Sie kein Lichtschwert, wenn eine einfache Schere es auch tut. Bewerten Sie die Bedürfnisse Ihres Kunden anhand der obigen Matrix und berücksichtigen Sie dabei die Implementierungskosten und die Präzision des Ergebnisses, um präzise und kostengünstige Produkte in großem Maßstab zu entwickeln.

Sharanya Rao ist Produktmanagerin bei einer Fintech-Gruppe. Die in diesem Artikel geäußerten Ansichten entsprechen denen des Autors und nicht notwendigerweise denen seines Unternehmens oder seiner Organisation .