Ein kürzlich erschienenes Paper wurde breit aufgegriffen und in der Community heftig diskutiert.

Das Paper „Why Do Multi-Agent LLM Systems Fail?“ beschreibt detailliert, warum viele auf dem Markt gängige Multi-Agent-Systeme (MAS) in der Praxis enttäuschende Ergebnisse liefern. Die aufgezeigten Probleme treffen allerdings nicht auf das sunrAI-System zu, da es grundlegend anders konzipiert und implementiert ist. Im Folgenden erläutern wir die üblichen Schwachstellen der meisten Multi-Agent-Systeme und zeigen bei jedem Punkt, wie sunrAI diese umgeht oder löst.

1. Fehlerhafte Agentenaufteilung nach menschlichen Berufsbildern

In vielen MAS-Ansätzen werden Agenten so benannt und aufgebaut, als würden sie reale Berufsfelder widerspiegeln (z. B. „CEO-Agent“, „Marketing-Agent“, „Sales-Agent“). Das erinnert jedoch eher an ein „Kinderspiel“, bei dem ein Einzelner bloß verschiedene Hüte aufsetzt: Da alle Agenten auf dem gleichen LLM-Modell basieren und sich nur in ihrer Prompt-Struktur unterscheiden, besitzt keiner reale Spezialisierungen oder Erfahrungen.

Interessanterweise wurde diese Herangehensweise 2024 von den großen Playern wie Google forciert.

sunrAI verzichtet auf diese oberflächliche Aufteilung. Stattdessen richtet sich die Agentenarchitektur an konkreten Projektanforderungen, Arbeitsabläufen und Data-Flows aus, wie zum Beispiel „Datenbeschaffung“, „Datenprüfung“, „Datenfilterung“, „Datenrekonstruktion für nachfolgende Prozessschritte“, „Qualitätskontrolle“ und „Ergebnisrückgabe an den Nutzer“. Jeder Agent verwendet bei Bedarf eigene Modelle oder Datenquellen und kann sich im Laufe seiner Einsätze durch das Sammeln von Erfahrung und Feedback weiter spezialisieren – so entstehen echte „Experten-Agenten“.

2. Chaotische oder kaum vorhandene Kooperationslogik

Oftmals sieht man in MAS lediglich mehrere LLM-Agenten, die sich gegenseitig kommentieren, und am Ende kommt eine Zusammenfassung der entstandenen Diskussion heraus. Das erinnert an Gruppendiskussionen unter Studierenden verschiedener Fachrichtungen, wobei keine klaren Rollen, Verantwortlichkeiten oder strukturierten Prozesse definiert sind.

sunrAI setzt dagegen eine durchdachte, „unternehmensähnliche“ Architektur ein, die für den jeweiligen Anwendungsfall maßgeschneidert wird. Bestimmte Agenten kommunizieren nur miteinander, wenn sie wirklich voneinander abhängen oder dem Prozess zuarbeiten. Andere Agenten wiederum überwachen die Effizienz und Korrektheit des gesamten Ablaufs. Auf diese Weise entsteht eine klare Hierarchie, die garantiert, dass jedes Teilproblem gezielt gelöst und die Zusammenarbeit zwischen Agenten streng koordiniert wird. Die Architektur kann zudem an verschiedene Bedürfnisse angepasst werden, etwa an Geschwindigkeit, Ergebnisqualität, Selbstlernprozesse oder Evaluationsmaßnahmen.

3. Völlige Autonomie der Agenten ohne „Human in the Loop“

Bei vielen MAS wird die gesamte Aufgabe – nach kurzer Beschreibung – den Agenten überlassen. Wenn die Anforderung unklar formuliert ist oder die benötigten Daten unpassend, veraltet bzw. unzureichend sind, produzieren die Agenten mit ihren Annahmen zwar ein Ergebnis, das aber oft an der Realität oder am eigentlichen Ziel vorbeigeht.
Es verhält sich also so, wie in Unternehmen bei realen Mitarbeitern: Ist das Briefing unklar, die Informationen unzureichend und die Mitarbeiter auch noch unerfahren und müssen ohne Führung und Feedback agieren, entstehen zweifelhafte Ergebnisse.

sunrAI bindet den Menschen in allen wichtigen Phasen ein. Es kann den Nutzer aktiv um Freigabe oder zusätzliches Feedback bitten, wenn das System Unklarheiten erkennt, unsicher beim Ergebnis ist (dafür gibt es einen eigenen „Selbstsicherheits-Score“) oder meint, dass es den gewünschten Qualitätsansprüchen nicht gerecht wird. Ein solches „Human in the Loop“-Verfahren verhindert, dass das System stur in eine Sackgasse läuft und erlaubt eine fortlaufende Kurskorrektur.

4. Unzureichende oder fehlende domänenspezifische Daten

Übliche MAS-Lösungen nutzen häufig nur grundlegende „Retrieval-Augmented Generation“-Methoden (RAG), ohne dass gesichert ist, ob die zurückgespielten Informationen wirklich valide und passend sind. Fehlt ein solides Datenfundament, verlassen sich die Agenten bestenfalls auf unvollständige oder falsch interpretierte Quellen.

sunrAI legt dagegen großen Wert auf eine robuste Datengrundlage. Bevor ein Projekt startet, werden alle relevanten Quellen gesammelt, klar markiert und gründlich aufbereitet. Der Fokus liegt darauf, möglichst hochwertige und gut verständliche Daten durch eigene Agents zur Verfügung zu stellen. Während des Arbeitsprozesses prüft das System kontinuierlich die Datenqualität und passt sie an neue Erkenntnisse an. Bestätigte Ergebnisse werden als neues Wissen zurück in das System gespeist, was zu einem fortlaufenden „Schneeballeffekt“ führt – die Gesamtdatenbasis und damit die Fähigkeiten der Agenten verbessern sich stetig.

Zusammenfassung

Zusammengefasst zeigen die von den Autoren des Papers beleuchteten Problemfelder, warum viele MAS-Systeme derzeit nicht die erhofften Ergebnisse liefern. sunrAI hingegen vermeidet diese typischen Fehlerquellen durch eine spezifische Rollen- und Aufgabenverteilung, eine klar strukturierte und anpassbare Teamlogik, den aktiven Einbezug menschlichen Feedbacks und den konsequenten Aufbau einer qualitativ hochwertigen, domänenspezifischen Datenbasis. Dadurch ist sunrAI nicht von den im Paper beschriebenen Defiziten betroffen und weist einen wesentlich stabileren und skalierbareren Ansatz für Multi-Agent-Lösungen auf.