---
title: "Feingetunte KI-Agenten im Mittelstand mit RAG, Tools und Fine-Tuning"
url: https://coding9.de/blog/feingetunte-ki-agenten-mittelstand
author: "Felix Astner"
datePublished: 2026-04-24T00:00:00.000Z
dateModified: 2026-09-30T00:00:00.000Z
description: "Fine-Tuning oder RAG? Wann feingetunte KI-Agenten sinnvoll sind, was RAG und Tools leisten und welche laufenden Kosten beim Self-Hosting bleiben."
---

# Feingetunte KI-Agenten im Mittelstand mit RAG, Tools und Fine-Tuning

Viele Mittelständler in Rosenheim, Oberbayern und darüber hinaus wollen KI-Agenten einsetzen, die mit Firmendaten arbeiten, in Deutschland laufen und deren Kosten sich planen lassen. Feingetunte Open-Weight-Modelle sind dafür ein wichtiger Baustein, aber nur einer von mehreren. Welche Aufgabe das Fine-Tuning übernimmt und welche **RAG, Tools und das Hosting**, entscheidet darüber, ob ein Agent zuverlässig arbeitet und was er im Betrieb kostet. Genau diese Aufteilung planen wir bei Coding 9 in Rosenheim mit unseren Kunden.

> **Die Grundregel:** Aktuelles Wissen kommt über RAG und Tools zur Laufzeit in den Agenten. Fine-Tuning prägt Verhalten, Stil, Ausgabeformat und Spezialisierung des Modells. Und jede Anfrage verursacht Rechenzeit, egal ob das Modell feingetunt ist oder nicht.

## Was Fine-Tuning an einem Modell verändert

Beim Fine-Tuning wird ein vortrainiertes Sprachmodell mit Ihren Beispielen weitertrainiert, meist mit LoRA oder QLoRA, die nur einen kleinen Teil zusätzlicher Gewichte anpassen. Das Modell lernt daraus Muster: wie eine Antwort aufgebaut ist, welche Fachbegriffe Ihre Branche verwendet, in welchem Ton Sie mit Kunden sprechen, welches JSON-Schema Ihr ERP erwartet und in welche Kategorie ein Ticket gehört.

Als Speicher für Firmenwissen taugt Fine-Tuning dagegen wenig. Was im Training steckt, liegt verteilt in den Gewichten des Modells. Es lässt sich nicht gezielt nachschlagen, das Modell kann dazu keine Quelle nennen und verwechselt Details, vor allem bei Zahlen, Artikelnummern und Fristen. Ändert sich ein Preis oder eine Richtlinie, hilft nur ein neues Training. Und Zugriffsrechte kennt ein Modell nicht: Was hineintrainiert wurde, kann grundsätzlich jeder abfragen, der das Modell nutzen darf.

## Was RAG und Tools im Agenten übernehmen

**RAG (Retrieval-Augmented Generation)** zerlegt Ihre Dokumente in Abschnitte und macht sie über Embeddings durchsuchbar. Wie das technisch funktioniert, zeigt unser Beitrag [Vektorsuche und Embeddings einfach erklärt](https://coding9.de/blog/vektor-suche-embeddings-erklaert). Stellt jemand eine Frage, lädt der Agent die passenden Abschnitte in den Kontext des Modells und antwortet auf dieser Grundlage, mit Verweis auf die Quelle. Ein neues Handbuch landet mit der nächsten Synchronisation im Index, ganz ohne Training. Die Suchschicht kann außerdem die Berechtigungen der Quellsysteme übernehmen, sodass jeder nur Antworten aus Dokumenten bekommt, die er ohnehin sehen darf. Diese Schicht bauen wir als [KI-Data-Hub mit RAG](https://coding9.de/leistungen/ki/data-hub).

**Tools** sind Schnittstellen, die der Agent selbst aufruft: Lagerbestand aus dem ERP, Bestellstatus aus Shopware, offene Tickets aus dem Service-Desk. So arbeitet der Agent mit dem Stand von jetzt und kann auch Aktionen auslösen, etwa einen Bestellvorschlag anlegen, den ein Mitarbeiter freigibt. Ein verbreiteter Standard dafür ist das [Model Context Protocol (MCP)](https://coding9.de/blog/mcp-model-context-protocol-integration).

## Entscheidungshilfe für Prompting, RAG, Tools und Fine-Tuning

Die vier Bausteine lösen unterschiedliche Probleme und haben unterschiedliche Kostenprofile. Die Tabelle fasst zusammen, wofür wir sie einsetzen:

| **Baustein** | **Löst** | **Löst nicht** | **Kostenprofil** |
| --- | --- | --- | --- |
| **Prompting** | Aufgabe, Rolle, Ton und einige Beispiele vorgeben. In Minuten änderbar, ideal für den Start und für Prototypen. | Große Wissensmengen, aktuelle Daten, sehr strikte Formate bei hohem Volumen. | Kein Trainingsaufwand. Lange Prompts erhöhen die Rechenzeit jeder einzelnen Anfrage. |
| **RAG** | Antworten aus aktuellen Dokumenten, mit Quellenangabe und Zugriffsrechten. | Tonalität und Ausgabeformat. Veraltete oder widersprüchliche Dokumente in der Quelle. | Aufbau von Index und Anbindungen. Laufend: Synchronisation, Speicher, Embeddings und längere Kontexte pro Anfrage. |
| **Tools** | Live-Daten wie Preise, Bestände und Bestellstatus, dazu Aktionen in ERP, Shop oder Ticketsystem. | Wissen aus unstrukturierten Dokumenten. Systeme ohne brauchbare Schnittstelle. | Entwicklung und Pflege der Schnittstellen. Jeder Aufruf verlängert die Antwortzeit etwas. |
| **Fine-Tuning** | Festes Ausgabeformat, Tonalität, Fachsprache, Klassifikation, ein kleineres Modell für eine eng umrissene Aufgabe. | Aktuelles oder häufig wechselndes Wissen, Quellenangaben, Zugriffsrechte. | Datenaufbereitung, Training und Evaluation als Projekt. Neues Training bei Wechsel des Basismodells. Die Inferenz kostet weiter bei jeder Anfrage. |

**In dieser Reihenfolge gehen wir in Projekten vor:**

1. Mit Prompting starten und eine Testmenge aus echten Fällen anlegen, an der jede weitere Änderung gemessen wird.
2. Braucht der Agent Wissen aus Handbüchern, Verträgen oder Richtlinien, kommt RAG dazu.
3. Braucht er Live-Daten oder soll er in Systemen handeln, bekommt er Tools.
4. Fine-Tuning folgt, wenn Format, Stil oder Trefferquote mit Prompting nicht stabil genug werden, oder wenn Volumen und Antwortzeit ein kleineres, spezialisiertes Modell verlangen.

## Wann Fine-Tuning für einen KI-Agenten sinnvoll ist

Fine-Tuning zahlt sich aus, wenn eine eng umrissene Aufgabe sehr oft und immer gleich erledigt werden soll. Typische Beispiele aus unseren Projekten:

- **Feste Ausgabeformate** - Eingangsrechnungen, Lieferantenangebote oder Anfrage-Mails werden in genau das JSON-Schema übertragen, das Ihr ERP erwartet, auch bei ungewöhnlichen Layouts.
- **Tonalität und Stil** - Antwortentwürfe im Kundenservice klingen nach Ihrem Haus, mit Ihren Formulierungen und Ihrem Aufbau, ohne dass jede Anfrage eine lange Stilanweisung mitschleppt.
- **Klassifikation in Ihrer Fachdomäne** - Tickets, Reklamationen oder Prüfberichte werden nach Ihren eigenen Kategorien und Fehlerbildern eingeordnet.
- **Kleineres Modell für eine enge Aufgabe** - Ein großes Modell erzeugt Beispiele, ein kleines lernt daraus (Destillation). Das kleine Modell braucht weniger GPU-Speicher und kostet pro Anfrage weniger Rechenzeit.
- **Antwortzeit** - Wenn Anweisungen und Beispiele im Modell stecken, werden Prompts kürzer und Antworten schneller. Das zählt bei Telefonassistenten, Suche oder Echtzeit-Prüfungen in der Produktion.

### Wofür wir kein Fine-Tuning einsetzen

- Preise, Lagerbestände und Produktdaten, die sich täglich ändern. Die liest der Agent per Tool aus Shop oder ERP.
- Richtlinien, Verträge und Normen, bei denen die aktuelle Fassung zählt. Die kommen per RAG mit Versionsstand.
- Alles, was mit Quelle belegt werden muss, etwa im Qualitätsmanagement oder bei Auskünften an Kunden.
- Wissen mit Zugriffsrechten wie Personaldaten, Gehälter oder Kundenkonten. Das bleibt im Quellsystem und wird nur für Berechtigte abgefragt.

## So arbeiten RAG, Tools und Fine-Tuning in einem Agenten zusammen

Ein Beispiel aus dem technischen Support eines Maschinenbauers zeigt, wie sich die Bausteine die Arbeit teilen:

1. Eine Service-Anfrage kommt per Mail. Ein kleines, feingetuntes Modell ordnet sie einer Fehlerkategorie zu und zieht Seriennummer und Fehlercode in ein festes Format.
2. Per Tool fragt der Agent im ERP Maschinentyp, Baujahr und Wartungsvertrag ab.
3. Per RAG holt er die passenden Abschnitte aus Handbuch und Wartungsprotokollen, jeweils mit Quelle und nur aus Dokumenten, die der Bearbeiter sehen darf.
4. Das Sprachmodell formuliert daraus einen Antwortentwurf im Ton des Hauses, den ein Techniker prüft und abschickt. Ist sich der Agent unsicher, übergibt er den Fall direkt an einen Menschen.

Ändert sich das Handbuch, wird der Index aktualisiert. Ändert sich ein Wartungsvertrag, liefert das ERP den neuen Stand. Das Modell bleibt dabei unverändert. Neu trainiert wird nur, wenn sich Kategorien, Formate oder der gewünschte Stil ändern oder ein besseres Basismodell verfügbar ist.

Größere Abläufe verteilen wir auf mehrere spezialisierte Agenten: Einer liest per Tool die Produktdatenbank, der nächste prüft per RAG die Freigaberichtlinien, der dritte bereitet die Bestellung vor. Jeder Schritt bleibt einzeln prüfbar und protokolliert. Wie wir solche Agenten planen und anbinden, steht auf unserer Seite [KI-Agenten für den Mittelstand](https://coding9.de/leistungen/ki/agenten).

## Was feingetunte KI-Agenten im Betrieb kosten

Das Fine-Tuning selbst ist ein Projektaufwand: Beispiele sammeln und prüfen, trainieren, gegen die Testmenge messen. Danach braucht jede einzelne Anfrage Rechenzeit auf einer GPU, die sogenannte Inferenz. Diese Kosten laufen weiter, solange der Agent arbeitet, und sie steigen mit Modellgröße, Länge von Prompt und RAG-Kontext, Länge der Antworten und Zahl der Anfragen.

Wo diese Rechenzeit anfällt, bestimmt das Kostenmodell:

- **API-Anbieter** - Sie zahlen pro Token, auch für ein beim Anbieter feingetuntes Modell. Die Kosten folgen dem Volumen, Leerlauf kostet nichts, Spitzen fängt der Anbieter ab.
- **Self-Hosting** - Statt einer Token-Rechnung zahlen Sie für GPU-Server (Kauf oder Miete), Strom und Rechenzentrum, den Betrieb des Inferenz-Servers, Monitoring, Sicherheits- und Modell-Updates. Diese Kosten fallen auch in Stunden mit wenig Anfragen an. Sie sind gut planbar, rechnen sich aber vor allem bei hoher, gleichmäßiger Auslastung oder wenn Daten Ihr Haus oder Deutschland nicht verlassen dürfen.

Ein kleines, feingetuntes Modell kann pro Anfrage deutlich weniger Rechenzeit brauchen als ein großes Allzweckmodell mit langem Prompt. Ob sich das rechnet, hängt davon ab, ob die Einsparung bei Ihrem Volumen den Aufwand für Training, Evaluation und Pflege übersteigt. Diese Rechnung machen wir mit Ihren realen Mengen, bevor wir eine Architektur empfehlen. Welche Betriebsvarianten es gibt, zeigen unsere Seite [KI-Hosting in Frankfurt oder On-Premises](https://coding9.de/leistungen/ki/hosting) und der [Leitfaden zu DSGVO-konformem KI-Hosting](https://coding9.de/blog/dsgvo-konformes-ki-hosting-leitfaden).

## Fine-Tuning ist kein Selbstläufer, aber machbar

Schlechte Trainingsdaten, Overfitting oder eine unpassende Modellgröße führen schnell zu Frust. Deshalb setzen wir auf einen strukturierten Prozess mit **LoRA/QLoRA**, klarem Daten-Audit und einer festen Testmenge, gegen die jede Trainingsrunde gemessen wird. Wir tunen Modelle von 7B bis 120B Parametern, passend zur verfügbaren Hardware und zum konkreten Use-Case. Als Basis dienen Open-Weight-Modelle wie Llama, Mistral, Qwen, Gemma oder gpt-oss (Stand September 2026). Welches davon passt, entscheiden wir je Aufgabe, denn die Modellfamilien bekommen mehrmals im Jahr neue Versionen.

Ein feingetuntes Modell ist damit ein gepflegtes Stück Software: Kommt ein besseres Basismodell, trainieren wir den Adapter mit denselben Beispielen neu und vergleichen beide Versionen auf der Testmenge. Wie das technisch abläuft, steht in unserem [Fine-Tuning-Guide](https://coding9.de/blog/finetuning-ki-modelle-guide) mit PyTorch, Unsloth und der Datenaufbereitung im Detail. Was OpenAIs offene Modelle für den Betrieb in Deutschland bedeuten, beschreibt unser Beitrag zu [Open-Weight-Modellen von OpenAI](https://coding9.de/blog/openai-open-weight-modelle-dsgvo-ki).

## Praktische Einsatzszenarien im Mittelstand

- **Technischer Support & Dokumentation** - Produkthandbücher, Fehlercodes und Wartungsprotokolle kommen per RAG, Maschinen- und Vertragsdaten per Tool. Fine-Tuning lohnt sich hier für die Einordnung der Anfragen und den Aufbau der Antworten.
- **Einkauf & Lieferantenmanagement** - Angebotsvergleiche und Bestellvorschläge auf Basis der ERP-Daten, Rahmenverträge per RAG. Ein feingetuntes Modell überträgt Lieferantenangebote in ein einheitliches Format.
- **Qualitätsmanagement** - Prüfprotokolle nach Ihren Fehlerbildern klassifizieren (ein guter Fall für Fine-Tuning), Normen und Prüfvorschriften in der aktuellen Fassung per RAG.
- **HR & Onboarding** - Neue Mitarbeiter fragen Richtlinien und Abläufe ab, per RAG und mit Berechtigungen. Personaldaten bleiben im HR-System und kommen nicht ins Training.

Häufigster Fall bei uns: die Kombination mit bestehenden **Shopware- oder Magento-Systemen**. Die Agenten greifen als Tools über APIs auf Produktdaten, Bestellhistorien oder Kundenanfragen zu. Läuft das Modell in Ihrem Haus oder in unserem Rechenzentrum in Deutschland, bleiben auch diese Daten dort.

## Was wir bei Coding 9 in Rosenheim anbieten

Wir bauen pragmatische, produktive KI-Systeme für den deutschen Mittelstand, direkt aus Oberbayern. Mehr über unser Stadtbüro und die Vor-Ort-Betreuung steht auf der Seite [Digitalagentur Rosenheim](https://coding9.de/standorte/rosenheim):

- Agenten-Architekturen aus RAG, Tools und bei Bedarf Fine-Tuning, zugeschnitten auf Ihren Prozess
- Fine-Tuning von Open-Weight-Modellen auf Ihre Beispiele für Format, Stil und Klassifikation, als [Custom Models und Fine-Tuning](https://coding9.de/leistungen/ki/custom-models)
- Betrieb self-hosted bei Ihnen oder managed in deutschen Rechenzentren, mit Monitoring und Updates
- Modulare Architektur mit getrennten Schichten für Modell, Training, Retrieval und Oberfläche, sodass Sie das Modell später austauschen können

## In 5 Schritten zur eigenen KI-Agenten-Lösung

1. **Use-Case-Analyse** - Gemeinsam definieren wir die Prozesse mit dem größten Automatisierungspotenzial.
2. **Daten-Audit** - Welche Dokumente gehören in den RAG-Index, welche Systeme bindet der Agent per Tool an, und gibt es genug gute Beispiele für ein Fine-Tuning?
3. **Proof of Concept** - Prompting und RAG auf einer Testmenge echter Fälle, Fine-Tuning dort, wo die Messung es verlangt, und ein Test in der realen Umgebung.
4. **Integration** - Anbindung an bestehende Systeme (Shopware, ERP, interne Tools).
5. **Betrieb & Weiterentwicklung** - Monitoring von Qualität und Kosten, laufende Aktualisierung des Index, neues Training bei Bedarf und Support.

## Vom Experiment zur echten Unternehmens-KI

Wer KI dauerhaft im Betrieb halten will, braucht einen Agenten, der aktuelles Wissen aus Ihren Systemen holt, im richtigen Format und Ton antwortet und dessen laufende Kosten Sie kennen. Fine-Tuning ist dabei ein Werkzeug für Verhalten und Spezialisierung, RAG und Tools liefern das Wissen.

Genau das bauen wir bei **Coding 9** in Rosenheim mit unseren Kunden auf: KI, die Aufgaben erledigt statt nur zu antworten.

Sie wollen wissen, wie feingetunte KI-Agenten bei Ihnen konkret aussehen könnten? Schreiben Sie uns eine Mail an [info@coding9.de](mailto:info@coding9.de) oder rufen Sie direkt an: **+49 30 82684579**. Wir freuen uns auf Ihre Herausforderungen.

*Made in Rosenheim, Oberbayern. Mit Festpreis nach dem Scoping und messbarem Nutzen.*

## Häufige Fragen

### Ist Fine-Tuning eine Alternative zu RAG?

In den meisten Projekten ergänzen sich die beiden. RAG holt zur Laufzeit aktuelle Informationen aus Ihren Dokumenten, mit Quellenangabe und unter Beachtung von Zugriffsrechten. Fine-Tuning verändert, wie ein Modell antwortet: Ausgabeformat, Tonalität, Fachsprache oder die Einordnung in Ihre Kategorien. Ein KI-Agent im Mittelstand nutzt deshalb oft beides, dazu Tools für Live-Daten aus ERP oder Shop.

### Kann ich unser Unternehmenswissen per Fine-Tuning in ein Modell trainieren?

Für Wissen, das sich ändert oder belegt werden muss, ist das der falsche Weg. Ein feingetuntes Modell kann Fakten aus dem Training nicht zuverlässig wiedergeben, nennt keine Quelle, kennt keine Zugriffsrechte und muss bei jeder Änderung neu trainiert werden. Produktdaten, Preise, Richtlinien und Handbücher gehören in einen durchsuchbaren Index (RAG) oder werden per Tool direkt aus dem Quellsystem gelesen.

### Fallen nach dem Fine-Tuning noch laufende Kosten an?

Ja. Das Training ist ein einmaliger Projektaufwand, jede Anfrage an das Modell braucht danach aber Rechenzeit (Inferenz). Beim API-Anbieter zahlen Sie dafür pro Token, beim Self-Hosting für GPU-Server, Betrieb, Updates und Monitoring. Dazu kommen die Pflege von RAG-Index und Schnittstellen und gelegentlich ein neues Training, etwa wenn ein besseres Basismodell erscheint.

### Ist ein selbst gehostetes Modell günstiger als eine API?

Das hängt vor allem von der Auslastung ab. Self-Hosting ist ein anderes Kostenmodell: Statt pro Token bezahlen Sie Hardware oder GPU-Miete, Rechenzentrum, Betrieb und Updates, auch in Stunden mit wenig Anfragen. Bei hohem, gleichmäßigem Volumen oder wenn Daten das Haus nicht verlassen dürfen, kann das die bessere Wahl sein. Bei wenigen oder stark schwankenden Anfragen ist eine API in der EU-Region meist günstiger. Wir rechnen beide Varianten gern mit Ihren Mengen durch.

### Wann lohnt sich Fine-Tuning für einen KI-Agenten?

Wenn ein Agent eine eng umrissene Aufgabe sehr oft und immer gleich erledigen soll: Daten aus Belegen in ein festes JSON-Format extrahieren, Tickets nach Ihren Kategorien einordnen, Antworten im Ton Ihres Hauses formulieren oder ein kleineres, schnelleres Modell für genau diese Aufgabe betreiben. Voraussetzung sind genug geprüfte Beispiele aus Ihrem Alltag und eine Testmenge, an der Sie den Fortschritt gegenüber reinem Prompting messen.

---

Quelle: [Feingetunte KI-Agenten im Mittelstand mit RAG, Tools und Fine-Tuning](https://coding9.de/blog/feingetunte-ki-agenten-mittelstand)