Architektur KI-gestützter Systeme

Willkommen zu Kapitel 12, Architektur KI-gestützter Systeme. Es geht um Systeme, die um künstliche Intelligenz, kurz KI, herum gebaut sind: Modelle des maschinellen Lernens und große Sprachmodelle, kurz LLMs. Sie brauchen alles, was die früheren Kapitel vermittelt haben, und dazu neue Antworten auf neue Fragen. Wo sollte ein Modell laufen? Wie verankern Sie es in Ihren eigenen Daten, lassen es Tools sicher nutzen, testen etwas Probabilistisches und verteidigen sich gegen Prompt-Injection?

Dieses Kapitel richtet sich an Entwicklungsteams und Architekten, die den übrigen Kurs kennen und KI-gestützte Systeme entwerfen, prüfen oder steuern müssen, die zuverlässig, sicher und bezahlbar sind. Es baut auf dem gesamten Kurs auf: jede Qualität, jeder Stil und jede Praxis, nun angewandt auf probabilistische Komponenten. Am stärksten stützt es sich auf Qualitätsmerkmale, Datenarchitektur, Sicherheit und Datenschutz, Resilienz und Observability sowie Bewertung und Fitness Functions. Diese früheren Ideen verändern hier ihre Gestalt. Zu den Qualitätsmerkmalen gehören nun Genauigkeit und Fundiertheit. Die Resilienz muss mit Rate Limits und Ausfällen bei einem Modellanbieter zurechtkommen. Und aus Testen wird Evaluierung. Dies ist das letzte Kapitel, es führt also zur Abschlussprüfung und zur abschließenden Fallstudie.

Der größte Teil eines KI-gestützten Systems ist gewöhnliche Software. Dieses Containerdiagramm aus Abschnitt zwölf Punkt zwei zeigt das durchgehende Beispiel des Kapitels: einen Kundensupport-Assistenten für die Essenslieferplattform. Kunden chatten über die mobile App, die mit einem Chat-Service spricht. Schwierige Gespräche werden an eine Agentenkonsole übergeben, wo menschliche Support-Agenten sie übernehmen. Im Zentrum steht der Orchestrator, der die Prompts, die Tools und die Limits hält. Er durchsucht einen Index des Hilfe-Centers und ruft per Tool Calls die bestehenden Bestell- und Erstattungsservices auf. Jeder Modellaufruf läuft über ein AI-Gateway, das die Schlüssel der Anbieter hält, jeden Aufruf routet und von Anbieter A auf Anbieter B ausweicht. Traces jedes Aufrufs werden für die Evaluierung aufbewahrt. Nur das Modell ist neu. Aber sein Verhalten ist statistisch statt spezifiziert: meist richtig, manchmal selbstbewusst falsch, und geliefert von einem Anbieter, der es drosseln, ändern oder abkündigen kann. Das verändert, wie alles um es herum entworfen werden muss.

Die ersten vier Abschnitte bauen das System auf. Abschnitt zwölf Punkt eins erklärt, was maschinelles Lernen und große Sprachmodelle sind: Training und Inferenz, Tokens, Kontextfenster, Sampling und Embeddings, und warum Halluzination und Nichtdeterminismus inhärent sind. Abschnitt zwölf Punkt zwei verortet das Modell in einer Architektur: gehostet, selbst gehostet oder auf dem Gerät, hinter einem AI-Gateway, mit Routing, Kaskaden, Fallback-Kaskaden und Human in the Loop. Abschnitt zwölf Punkt drei behandelt Retrieval-Augmented Generation, kurz RAG, das häufigste Muster, um Antworten in den eigenen Daten zu verankern, vom Chunking und von Vektorindizes bis zu hybrider Suche und Zugriffskontrolle. Abschnitt zwölf Punkt vier geht vom Antworten zum Handeln über: Tool Calling, die Agentenschleife, Workflow-Muster, das Model Context Protocol, kurz MCP, und das Zuverlässigkeits-Engineering, das Agenten brauchen.

Die zweiten vier Abschnitte machen das System vertrauenswürdig und nachhaltig. Abschnitt zwölf Punkt fünf zeigt, wie man probabilistisches Verhalten testet, mit Evaluierungssets, Metriken, einem Modell als Bewerter und Regressions-Evals, die als Fitness Functions dienen. Abschnitt zwölf Punkt sechs behandelt Prompt-Injection, Excessive Agency und die anderen von OWASP katalogisierten Risiken sowie die mehrschichtigen Abwehrmaßnahmen, die sie eindämmen. Abschnitt zwölf Punkt sieben befasst sich mit der Ökonomie der Tokens, mit Latenz, Caching und Batching und mit der Praxis, Modellaufrufe zu versionieren, zu tracen und zu überwachen. Und Abschnitt zwölf Punkt acht behandelt Data Governance, Fairness, Transparenz und menschliche Aufsicht und wie Regulierung wie die KI-Verordnung der EU und Rahmenwerke wie das NIST AI Risk Management Framework die Architektur prägen.

Ein Sprachmodell kann Anweisungen nicht verlässlich von Daten unterscheiden, daher kann jeder Text in seinem Kontext versuchen, es zu steuern. Dieses Diagramm aus Abschnitt zwölf Punkt sechs zeigt die Antwort: deterministische Schichten um ein nicht vertrauenswürdiges Modell. Die Nachricht eines Nutzers passiert zuerst Eingabe-Guards, dann einen Context Builder, der nicht vertrauenswürdige Inhalte kennzeichnet und Daten heranzieht, die nach den Zugriffsrechten des Nutzers gefiltert sind. Das Modell sitzt in der Mitte, beschriftet mit „nie vertrauenswürdig“. Seine Ausgabe passiert Ausgabe-Guards, die das Schema prüfen und filtern, was beim Nutzer ankommt. Wenn es ein Tool nutzen will, setzt ein Tool-Gateway Autorisierung und Richtlinien durch. Folgenreiche Aktionen brauchen eine menschliche Freigabe, bevor sie die Geschäftssysteme erreichen, während rein lesende Aufrufe direkt durchgehen. Und das Monitoring sammelt Logs, Traces und Anomaliealarme, mit einem Notausschalter. Kein Prompt ist eine Sicherheitsgrenze. Diese deterministischen Schichten entscheiden, was das Modell sehen kann, was es tun kann und was beim Nutzer ankommt.

Zwei Beispiele kehren immer wieder. Der Support-Assistent, den Sie gerade gesehen haben, erhält Retrieval in Abschnitt zwölf Punkt drei und Tools in zwölf Punkt vier und wird in den Abschnitten danach evaluiert, abgesichert und kalkuliert. Das zweite ist dieser Kurs selbst. ArchitectBot beantwortet Fragen der Lernenden, indem er Passagen aus den Kapiteln des Kurses abruft, und ruft eine Kaskade von Modellen mehrerer Anbieter auf, damit ihn ein einzelner Ausfall nicht verstummen lässt. Schriftliche Testantworten werden von einem Modell anhand eines festen Bewertungsrasters bewertet.

Abschnitt zwölf Punkt acht erklärt, dass die KI-Verordnung der EU nach Risiko reguliert: verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten und minimales Risiko, mit eigenen Pflichten für KI-Modelle mit allgemeinem Verwendungszweck. Dieser Stoff ist eine allgemeine Information, keine Rechtsberatung. Die Pflichten hängen vom Sachverhalt jedes Systems ab und von den genauen Rechtstexten und Leitlinien in ihrer jeweils geltenden Fassung, die sich weiter ändern. Bei jeder echten Einstufung oder Compliance-Entscheidung sollte qualifizierte Rechtsberatung hinzugezogen werden.

Behandeln Sie das Modell als talentierte, fehlbare und nicht vertrauenswürdige Komponente, und lassen Sie eine deterministische Architektur entscheiden, was es sieht, was es tun darf und was mit seiner Ausgabe geschieht. Verankern Sie seine Antworten in abgerufenen, zulässigen Fakten. Validieren Sie alles, was es erzeugt, und geben Sie ihm die geringsten Rechte, die seine Aufgabe erfordert. Verlangen Sie eine menschliche Bestätigung für folgenreiche Aktionen. Messen Sie seine Qualität laufend, wie bei jedem anderen Qualitätsmerkmal, und planen Sie für den Ausfall seines Anbieters. Modelle werden immer besser werden, und Systeme, die auf diesem Prinzip aufbauen, werden mit ihnen besser.

Die Abschnitte begleiten das durchgehende Beispiel, während es wächst, daher lohnt es sich, sie der Reihe nach zu lesen. Aber jeder Abschnitt steht für sich, sodass Sie direkt zu dem springen können, den Sie brauchen. Planen Sie für das ganze Kapitel etwa dreieinhalb Stunden Lesezeit ein. Anbieter und Modelle werden nur als Beispiele genannt, weil sich der Markt alle paar Monate ändert, die Prinzipien aber nicht. Am Ende jedes Abschnitts gibt es Fragen zur Selbstkontrolle. Beantworten Sie sie im Kopf, bevor Sie sich die Antworten ansehen. Wenn Sie bereit sind, gibt es einen freiwilligen Kapiteltest, der etwa fünfundvierzig Minuten dauert. Er besteht aus zwanzig Multiple-Choice-Fragen und zwei schriftlichen Antworten. Die Bestehensgrenze liegt bei achtzig Prozent.

So ist das letzte Kapitel aufgebaut. Beginnen Sie mit Abschnitt zwölf Punkt eins, über maschinelles Lernen und große Sprachmodelle für Architekten. Bis gleich.