Kleine Entscheidungen, große Modelle.

1Einleitung

ReAct hat gezeigt, dass Sprachmodelle besser handeln, wenn sie Denkschritte und Aktionen abwechseln: Das Modell plant, ruft ein Werkzeug auf, liest das Ergebnis und plant neu [1]. Toolformer und Gorilla zeigen, dass Modelle lernen können, wann und wie sie Schnittstellen aufrufen, und dass sie dabei oft die falsche Schnittstelle wählen oder Argumente erfinden, wenn die Auswahl groß ist [2, 3].

Daraus folgt eine einfache Frage für jedes Produkt mit Agenten: Was steht im Kontext, wenn das Modell handelt? Jedes Werkzeug, jede Erinnerung und jede Anweisung kostet Tokens, Zeit und Aufmerksamkeit. Die folgenden Abschnitte begründen, wie Xodra diese Frage beantwortet.

2Erst entscheiden, dann generieren

Nicht jede Anfrage braucht das größte Modell. FrugalGPT beschreibt Kaskaden, in denen günstige Modelle zuerst antworten und nur schwierige Fälle weitergereicht werden. Die Autoren berichten, die Kosten des besten Einzelmodells um bis zu 98 % zu senken, bei gleicher Leistung auf den untersuchten Aufgaben [4]. RouteLLM trainiert Router, die pro Anfrage zwischen einem starken und einem schwachen Modell wählen, und berichtet mehr als halbierte Kosten bei kaum veränderter Qualität [5].

Xodra verschiebt die Idee eine Ebene nach vorn. Bevor das Ausführungsmodell einen Token schreibt, beantwortet ein eigener Entscheidungsschritt wenige Fragen: Braucht dieser Lauf das Gedächtnis? Den Computer? Welche Werkzeuggruppen? Wie viel Aufwand? Erst danach läuft das große Modell, mit genau dem, was ausgewählt wurde. Die Entscheidung wählt also nicht nur das Modell, sondern den ganzen Kontext.

Was die zitierten Arbeiten nicht zeigen: dass ihre Zahlen auf Xodra übertragbar sind. Sie belegen das Prinzip, nicht unser Ergebnis.

3Typisierte Entscheidungen statt freiem Text

Eine Entscheidung wie „Braucht dieser Lauf den Computer?“ hat eine kleine, feste Menge möglicher Antworten. Wird sie als freier Text erzeugt, muss jemand den Text deuten, und jede Deutung kann scheitern. Xodra stellt solche Fragen deshalb als typisierte Fragen: eine Wahrscheinlichkeit, dass eine Aussage stimmt, eine Wahl aus festen Optionen, eine Stufe auf einer Skala. Jede Antwort kommt mit einer Konfidenz.

Das ist keine allgemeine Empfehlung für feste Formate. Tam et al. finden, dass strenge Formatvorgaben das Schlussfolgern von Sprachmodellen deutlich verschlechtern können, bei Klassifikationsaufgaben aber vergleichbar oder besser abschneiden [6]. Genau diese Trennung bilden wir ab: Entscheidungen sind Klassifikation und bekommen einen Typ. Antworten an dich sind Sprache und bleiben frei.

4Nur die Werkzeuge, die gebraucht werden

Jedes Werkzeug kommt mit Name, Beschreibung und Schema in den Kontext. Wer viele MCP-Server verbindet, legt dem Modell schnell hunderte Beschreibungen vor. Gan und Sun messen genau das: Wählt ein Abrufschritt vorher die passenden Werkzeuge aus, sinken die Prompt-Tokens um mehr als die Hälfte, und die Trefferquote bei der Werkzeugwahl steigt von 13,62 % auf 43,13 % auf ihrem Benchmark [7]. Gorilla kommt über einen Abruf von Dokumentation zu einem verwandten Ergebnis: weniger erfundene Aufrufe, wenn das Modell nur das Relevante sieht [3].

Mehr Kontext ist dabei nicht neutral. „Lost in the Middle“ zeigt, dass Modelle Informationen in der Mitte langer Eingaben schlechter nutzen als am Anfang oder Ende, auch Modelle, die für lange Kontexte gebaut sind [8]. In Xodra wählt deshalb der Entscheidungsschritt die Werkzeuggruppen pro Lauf. Was nicht gewählt ist, steht nicht im Kontext und kostet nichts.

5Gedächtnis außerhalb des Kontextfensters

Ein Bot, der dich über Wochen kennt, kann nicht jedes Gespräch im Kontext mitschleppen. MemGPT behandelt das Kontextfenster wie Arbeitsspeicher und lagert den Rest in einen externen Speicher aus, aus dem das Modell bei Bedarf nachlädt [9]. Generative Agents speichern Erlebnisse als Text, verdichten sie regelmäßig zu Reflexionen und rufen sie gezielt ab; in den Ablationen tragen Beobachtung, Planung und Reflexion jeweils zur Glaubwürdigkeit des Verhaltens bei [10].

Xodra folgt diesem Muster mit einem eigenen Gedächtnisdienst (Honcho, selbst betrieben in der EU). Ob ein Lauf das Gedächtnis braucht, ist eine der typisierten Fragen aus Abschnitt 3. Was der Bot über dich weiß, kannst du einsehen.

6Ein eigener Computer: was heute geht

Jeder Bot in Xodra hat einen eigenen Linux-Desktop mit Browser. Das macht Aufgaben möglich, für die es keine Schnittstelle gibt. Es ist aber auch der unreifste Teil der Technik. OSWorld prüft Agenten an 369 echten Aufgaben auf Desktop-Systemen: Menschen lösten über 72,36 %, das beste Modell zum Zeitpunkt der Veröffentlichung 12,24 % [11]. Seitdem sind die Werte gestiegen. Verlässlich wie ein Mensch sind solche Agenten noch nicht.

Daraus folgen zwei Designentscheidungen: Du siehst den Computer deines Bots live und kannst jederzeit übernehmen. Und der Entscheidungsschritt startet den Computer nur, wenn ein Lauf ihn braucht.

7Menschliche Freigabe für Nebenwirkungen

Ein Bot, der Webseiten und E-Mails liest, liest auch Text, den andere geschrieben haben. Greshake et al. zeigen, dass Angreifer Anweisungen in solche Inhalte legen können, die ein Sprachmodell später als Befehl behandelt: indirekte Prompt-Injection, bis hin zu Datendiebstahl und Fernsteuerung [12]. Ein Modell allein kann das nicht zuverlässig ausschließen.

Xodra trennt deshalb Lesen von Wirken. Lesen darf der Bot allein. Eine E-Mail senden braucht im Chat immer deine Freigabe, und die Freigabe zeigt in Klartext, was passieren würde. In Routinen, in denen niemand freigeben kann, darf er nur an dich selbst schreiben. Riskante Werkzeuge verbundener MCP-Server fragen vorher.

8Eine eigene Messung

Eine Routing-Anfrage mit sieben typisierten Fragen (Gedächtnis, Computer, vier Werkzeuggruppen, Aufwand) dauerte mit dem Entscheidungsmodell (TypeSafe Jev) 0,28 bis 0,32 Sekunden. Das schnellste Sprachmodell, das wir für dieselbe Aufgabe probiert haben, brauchte 1,2 bis 1,5 Sekunden.

Das ist eine Handvoll Läufe an einem Tag, keine Studie. Keine Aussage über Genauigkeit im Allgemeinen, keine Aussage über andere Modelle oder Lasten. Wir veröffentlichen sie, weil sie unsere Entscheidung erklärt, nicht weil sie sie beweist. Mehr dazu: unser eigenes Entscheidungsmodell.

9Grenzen

• Die zitierten Arbeiten belegen Prinzipien. Ihre Zahlen stammen aus deren Aufbauten, nicht aus Xodra.
• Unsere eigene Messung ist klein und intern. Unabhängig geprüft ist sie nicht.
• Eine falsche Entscheidung im ersten Schritt fehlt dem großen Modell später als Werkzeug oder Erinnerung.
• Computer-Agenten scheitern noch oft an Aufgaben, die Menschen leichtfallen.
• Freigaben schützen vor ungewollten Nebenwirkungen, nicht vor falschen Antworten.