Context Windows werden laufend grösser. Eine Million Token ist da. Zehn Millionen klingen nicht mehr unrealistisch.
Mich interessiert dabei weniger, dass ein Modell mehr Dokumente lesen kann. Mich interessiert, dass eine AI einen relevanten Teil einer Firma auf einmal im Kopf behalten und darüber hinweg denken könnte.
Das Problem: Die meisten Firmen haben keine zehn Millionen Token nützlichen Kontext. Sie haben zehn Millionen Token Rauschen. Mails, Chats, Sitzungstranskripte, PDFs, CRM-Einträge, alte Wiki-Seiten, Tabellen, Präsentationen. Und ein grosser Teil dessen, was wirklich zählt, steckt nach wie vor in Menschen und ist nirgends aufgeschrieben.
Die Mitarbeiterin, die geht
Nimm jemanden, der fünf Jahre lang die Meta Ads einer Firma betreut hat. Diese Person weiss Dinge, die nirgends im Werbekonto stehen. Dass ein bestimmtes Produkt im Dezember meistens schlecht läuft. Dass zu schnell erhöhtes Budget vor zwei Jahren ein Problem verursacht hat. Warum man eine Kampagnenstruktur aufgegeben hat. Welche Vorliebe des Gründers still und leise die normale Regel übersteuert.
Dann geht sie. Die Kampagnen bleiben. Die Entscheidungslogik geht mit ihr zur Tür hinaus.
Die Übergabe ist der teuerste Teil. Meistens löst man sie so, dass die neue Person einen Monat früher anfängt, damit die alte erzählen kann. Damit gibt die Firma offen zu, dass das Wissen nie aufgeschrieben wurde.
Der Kontext, den es sich festzuhalten lohnt, ist also nicht nur, was passiert ist. Warum haben wir es gemacht. Was haben wir gelernt. Was haben wir verworfen, und weshalb. Welche Regel hat eine Ausnahme. Wer darf entscheiden. Was soll passieren, wenn sich die Bedingungen ändern.
Mehr Kontext ist nicht automatisch besser
Die naheliegende Reaktion auf ein riesiges Context Window ist, dem Modell alles zu geben. Ich halte das für falsch.
Ein Einkaufs-Agent braucht nicht jede HR-Diskussion. Ein Marketing-Agent hat in vertraulichen Finanzdaten nichts verloren. Und ein Satz, den jemand vor sechs Monaten in einer Sitzung gesagt hat, darf nicht dasselbe Gewicht haben wie eine freigegebene Strategie.
Die Frage verschiebt sich also weg vom Speichern und hin zur Architektur. Was ist wahr. Was ist Geschichte. Was ist eine Annahme. Was ist ein Entscheid. Was ist ein Signal. Was darf dieser Agent sehen. Was ist für die Aufgabe relevant, die gerade läuft.
Vom Prompt-Schreiben zum Kontext-Zusammenstellen
Heute fliesst viel Energie in Prompts. Ich glaube, der grössere Teil von AI in Unternehmen wird darin bestehen, den Kontext aufzubauen, bevor der Prompt überhaupt beginnt.
Soll ein Agent den Einkauf überprüfen, dann kennt er bereits den Einkaufsprozess, den aktuellen Lagerbestand, die historische Nachfrage, die Lieferzeiten der Lieferanten, die geltenden Entscheide der Geschäftsleitung, die Signale, auf die es sich zu achten lohnt, und die Regeln, nach denen er arbeiten darf. Nichts davon sollte der Nutzer in ein Chatfenster kopieren müssen.
So etwas wie ein Context Compiler, also ein Baustein, der den passenden Kontext zusammenstellt. Eine Aufgabe kommt herein, die Firma stellt den relevanten Teil von sich selbst zusammen, und erst dann beginnt das Modell zu denken.
Warum die Grösse überhaupt zählt
Der Wert eines grösseren Fensters liegt vielleicht gar nicht in längeren Prompts. Er liegt vielleicht darin, dass AI endlich über genug verbundenes Firmenwissen hinweg arbeiten kann, um Folgen zu erkennen.
Ein Marketingentscheid wirkt sich auf den Einkauf aus. Der Einkauf auf die Liquidität. Die Liquidität auf das Wachstum. Eine Produktlancierung betrifft Support, Lager, Content und Logistik. Heute liegt das in getrennten Systemen und getrennten Köpfen. Mit genug strukturiertem Kontext passt es in einen einzigen Denkprozess.
Die Frage, zu der ich immer wieder zurückkomme, ist deshalb nicht, was ein Modell mit zehn Millionen Token anfangen kann. Sondern was aus einer Firma werden müsste, damit sich zehn Millionen Token überhaupt zu lesen lohnen. Das scheint mir die grössere Arbeit zu sein, und es ist Arbeit, die nur die Firma selbst leisten kann.
