DAGx: eine Trust- und Control-Plane für Agent-Systeme

Forschungsprojekt veröffentlicht: Claim-Level Confidence-Audit, evidence-gated Agent-Memory, menschliche Freigabe-Gates und Kosten-Tracking. Mit ehrlich dokumentierten Ergebnissen, auch den negativen.

Agent-Runtimes werden gerade zur Massenware: Jedes Framework kann Aufgaben planen, Tools aufrufen und Schleifen drehen. Das ungelöste Problem sitzt eine Ebene darüber. Die selbstbewusste Prosa eines Agents ist von seinen tatsächlich belegten Aussagen nicht zu unterscheiden, und alles, was ungeprüft in sein Gedächtnis zurückfließt, verstärkt sich über die nächsten Läufe. Ein Agent, der seine eigenen Halluzinationen als Kontext für morgen speichert, wird nicht klüger, er wird konsequenter falsch. DAGx ist unser Forschungsprojekt zu genau dieser Lücke: eine Trust- und Control-Plane, die über einer beliebigen Agent-Runtime sitzt.

Die zentrale Idee heißt Trust-gated Self-Priming. Übliche Memory-Systeme filtern beim Abrufen nach Relevanz, aber kaum eines prüft beim Hineinschreiben nach Evidenz. DAGx dreht das um: Jeder Agent-Lauf durchläuft zuerst ein Audit auf Claim-Ebene, das jede einzelne Aussage klassifiziert, von belegt über schwach bis riskant. Nur Läufe, deren Aussagen das Audit überstehen, dürfen künftige Läufe als Beispiele primen. Das Prüfurteil wird zum Türsteher des Agent-Gedächtnisses.

Das Gate dahinter ist zweischichtig und fail-closed. Die erste Schicht ist deterministisch und kostet null Tokens: Ein einziger Hochrisiko-Claim, zu wenig belegte Aussagen oder zu viele unklare, und der Lauf ist draußen. Die zweite Schicht ist ein Zwei-Judge-Konsens: Zwei unabhängige LLM-Prüfer müssen beide zustimmen. In unseren Messungen erreichte ein einzelner Judge etwa 0.77 Präzision, der Konsens beider praktisch 1.0. Bei jedem Prüffehler passiert das Sicherste: nichts. Eine menschliche Freigabe-Spur existiert bewusst als markierte Ausnahme, nicht als Hintertür.

Zur Ehrlichkeit dieses Projekts gehören die Ergebnisse, auch die unbequemen. Unsere erste Hypothese, dass evolutionäres Verändern von Prompts zur Laufzeit die Qualität hebt, wurde im Benchmark gegen Experten-Prompts und Optimizer-Baselines widerlegt und ist genau so im README dokumentiert, denn negative Resultate sind Resultate. Die zweite Hypothese, dass ein Confidence-Audit unbelegte Aussagen zuverlässig abfängt, steht vorläufig auf Grün: Catch-Rate 0.864 bei einer False-Alarm-Rate von 0.100 auf einem gelabelten Datensatz. Mit offen benannten Grenzen: zwölf Dokumente sind klein, und der reproduzierbare Lauf auf 30 bis 50 Dokumenten ist der nächste Meilenstein, kein erledigtes Ergebnis.

Im Repository steckt das komplette System: ein Dashboard mit Plan-, Run- und Audit-Ansichten samt Freigabe-Gates und Trace-Ledger, Adapter für mehrere LLM-Anbieter, und ein Benchmark-Harness mit sechs Aufgaben-Suiten und acht Baselines inklusive bekannter Prompt-Optimizer, mit Multi-Seed-Läufen und gepaarten t-Tests statt Einzelanekdoten. Dazu kommt der J-Score, eine gemeinsame Rechnung aus Qualität, Kosten und Latenz, damit sich Verbesserungen nicht durch stillschweigend verzehnfachte Token-Kosten erkaufen.

Besonders praktisch ist der Claude-Code-Adapter: Er hängt die Vertrauens-Schleife ohne eine Zeile Code-Änderung an bestehende Claude-Code-Sessions. Ein Stop-Hook reicht abgeschlossene Läufe zur Prüfung ein, ein Session-Start-Hook schreibt freigegebene Beispiele als Primer-Datei zurück, und nichts davon blockiert jemals die Arbeit. Der Stand ist verifiziert: 75 von 75 Backend-Tests grün, der Offline-Smoke-Test der Priming-Schleife bestätigt Beförderung, Ablehnung und Fail-closed-Verhalten. Der Code steht unter MIT-Lizenz.

Für dich als Unternehmer übersetzt sich DAGx in eine einfache Haltung: Wir glauben Agent-Systemen nicht, wir prüfen sie. Wenn wir für Kunden AI-Automatisierungen bauen, stecken dieselben Prinzipien drin, Freigabe-Gates vor riskanten Aktionen, Belege vor Behauptungen und Kostenrechnung von Anfang an. DAGx zeigt öffentlich, wie ernst wir das nehmen, inklusive der Experimente, die gescheitert sind. Wer einem Dienstleister vertrauen will, der mit AI arbeitet, sollte sich ansehen, wie der mit seinen eigenen Fehlschlägen umgeht.