Lokal gehostete Open-Source-KI-Agentensysteme

Vom Hype zur produktiven Geschäftsanwendung

Arnulf Koch · Vorstand

K&K Software AG · Gerolzhofen

BLOCK 01EINSTIEG

Meine Reise mit KI

Dezember 2022: Schon in der ersten Woche nach dem ChatGPT-Release damit die Rede für unsere Weihnachtsfeier geschrieben.

März 2023: Eine Woche nach dem ChatGPT-API-Release in unser Ticketsystem integriert – die erste produktive KI-Funktion.

Seither: Eigene Vorträge zur tatsächlichen Funktionsweise neuronaler Netze und zum Thema KI & Ethik.

März 2026: An fast jedem Arbeitstag eine komplette KI-Anwendung gebaut – nur via Spracheingabe, mit dem Ziel: an 5 Tagen in Folge einen One-Shot zu bekommen (beim ersten Aufruf exakt wie gewünscht und fehlerfrei).

Vom ersten ChatGPT-Tag bis heute – immer im praktischen Einsatz.

02Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 01EINSTIEG

Vor drei Monaten …

Vor drei Monaten habe ich diesen Vortrag angemeldet – Arbeitstitel: „N8N + lokales LLM, Workflows bauen“.
Das klang damals schon nach Zukunft.
Drei Monate später ist die Welt eine andere.
Heute zeige ich nicht den damals geplanten Workflow, sondern das, was heute möglich ist.
Ich baue nicht mehr mit fremden Open-Source-Tools Workflows – ich baue für jede Anforderung das für mich perfekte (Open-Source-) Tool selbst.

Und zwar an einem echten Fall aus unserem eigenen Haus.

03Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 02

Firmenvorstellung

04Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 02FIRMENVORSTELLUNG

Wer ist die K&K Software AG?

IT-Dienstleister aus Gerolzhofen, Unterfranken – eigenes Haus mit 800 m².

Gegründet 2000, Wurzeln bis 1995 – über 25 Jahre Prozessdigitalisierung.

30 Mitarbeitende.

Drei Teams: Open-Source-ERP (ERPNext), Individuelle Softwareentwicklung (.NET/C#/Blazor/MS-Access), Business IT & Systemhaus.

Unser Team – Gerolzhofen, Frühjahr 2026

05Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 02FIRMENVORSTELLUNG

Unsere DNA: Open Source & digitale Souveränität

25+ Jahre Open Source

Konsequent Open Source – aus Überzeugung, nicht als Trend. Genau deshalb sprechen wir heute über lokale, offene KI.

Kontrolle

Hoheit über Quellcode und Daten. Keine Lizenzkosten, kein Vendor-Lock-in.

Unabhängigkeit

Unabhängig von einzelnen Anbietern – und vom Ausland. Digitale Souveränität als Haltung.

06Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 02FIRMENVORSTELLUNG

Warum gerade wir über dieses Thema sprechen

Wir entwickeln selbst

.NET / C# / Blazor – seit Jahren unser Stack. Der Showcase heute läuft auf genau diesem Stack.

Access ist Tagesgeschäft

Access-Modernisierung gehört zum Alltag: alte Access-DBs werden zu modernen Webanwendungen.

KI ist im Einsatz

KI-Integration machen wir bereits – für Kunden und intern im eigenen Haus.

07Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 03

Was euch erwartet

08Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 03ÜBERBLICK

Der rote Faden des Vortrags

Wo wir vor drei Monaten standen – und wo wir heute stehen

Der Open-Source-Stack für lokale KI-Agenten

Der Pain Point: Microsoft-Access-Altlasten

Showcase: Access-DB zu moderner Webanwendung – mit Live-Demo

Architektur & unsere eigene Ollama-Installation

Was ihr daraus mitnehmen könnt

09Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 04

Die KI-Landschaft 2026

10Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 04LANDSCHAFT 2026

Damals – Heute – Morgen

Damals (Feb 2026)	Heute (Mai 2026)	Morgen
Lokale Modelle: brauchbar, klein	Lokale Modelle: produktionsreif, mittelgroß	Lokale Modelle: spezialisiert je Domäne
Workflows werden orchestriert	Agenten mit Tool-Use	Agenten-Teams
Mensch betreibt Prompt-Engineering	KI generiert eigene Spezifikationen	KI baut sich selbst

11Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 04LANDSCHAFT 2026

Lokale KI ist produktionsreif

41 %

KI-Adoption im deutschen Mittelstand 2026 – mehr als verdoppelt gegenüber 17 % in 2024 (Bitkom 2026)

91 %

der deutschen Unternehmen halten generative KI für strategisch wichtig – im Vorjahr waren es 55 %

Lokale KI ist 2026 kein Hobbyisten-Spielzeug mehr – produktionsreif ab ca. 20 Mitarbeitenden.

12Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 04LANDSCHAFT 2026

Warum jetzt lokal: die vier Treiber

Datenschutz

78 % des dt. Mittelstands nennen Datenschutz als Hauptargument gegen Cloud-KI. Lokale Inferenz löst das strukturell – nicht nur vertraglich.

EU AI Act

Pflichten seit 02/2025, Governance für Hochrisiko-KI ab 08/2026. Lokale Deployments erleichtern Dokumentation und Oversight.

Kosten

Cloud-Abo heute realistisch ~100 €/Monat pro KI-Account – 1.200 €/Jahr pro Nutzer. 200-MA-Firma mit 50 KI-Accounts: ~60.000 €/Jahr. Lokale Hardware: ~20.000 € einmalig.

Digitale Souveränität

Unabhängigkeit von US-Hyperscalern – politisch wie wirtschaftlich ein wachsendes Thema.

13Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 04LANDSCHAFT 2026

„

Modelle sind Commodities – keine Netzwerkeffekte.

Plattformwechsel: KI ist ein Umbruch wie PC, Web, Smartphone – so einer kommt alle 10–15 Jahre.
Dichtes Feld: Frontier-Modelle liegen eng beieinander – kein Anbieter mit Riesenvorsprung.
Wertschöpfung wandert: weg vom Modell, hin zu Anwendung, Workflow, Integration.

Auszug aus dem Software-Netzwerk-Chat

14Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05

Der Open-Source-Stack

15Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Open Source und Open Weight: zwei Definitionen

Modell-Gewichte = die Milliarden Zahlenwerte, die im Training gelernt werden und das Modell ausmachen. Bei KI ist Open Source nicht immer dasselbe wie in der klassischen Software-Welt – darum vorab die zwei Begriffe.

OPEN SOURCE (KLASSISCH)

Code, Trainingsdaten und Gewichte vollständig frei.
Apache 2.0, MIT, BSD – echte freie Lizenzen.
Reproduzierbar: gleiches Modell aus gleichen Daten.
Kommerzielle Nutzung uneingeschränkt erlaubt.

OPEN WEIGHT (KI-TYPISCH)

Nur die Modell-Gewichte sind offen.
Trainingsdaten und Trainingscode bleiben oft proprietär.
Reproduzierbarkeit eingeschränkt.
Manche Lizenzen mit kommerziellen Einschränkungen (z. B. Llama-Lizenz).

Wenn wir hier von Open-Source-Modellen sprechen, sind meistens Open-Weight-Modelle gemeint – wichtig zu wissen.

16Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Der Stack im Überblick

Fünf Schichten – von der Hardware bis zur Anwendung. Jede Schicht ist austauschbar.

17Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Was läuft 2026 lokal?

Modell	Größe (Q4)	Hardware	Stärke
Phi-4-Mini 3,8 B	~2,5 GB	CPU / jede GPU	Einstieg, Edge
Granite 4.1 8 B	~5 GB	RTX 4060 (8 GB)	Code, Compliance (Apache 2.0)
Qwen3.6 27 B	~15 GB	RTX 3090 (24 GB)	Bestes Open-Weight-Coding
Gemma 4 31 B	~19 GB	RTX 3090 / 4090	Allrounder, multimodal
DeepSeek-R1 32 B	~20 GB	RTX 3090 / 4090	Reasoning

Quantisierung ist der Hebel: Q4 (4-Bit) drückt große Modelle auf bezahlbare Hardware. Faustregel: Dateigröße ≈ VRAM.
Die Quelle zählt: Unsloth-Quants sind merklich besser als Standard-Quants; KV-Cache auf Q8 verdoppelt den Kontext.

18Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Wie nah sind offene Modelle dran?

Artificial Analysis: anbieterunabhängige Benchmark-Plattform – neutral und aktuell.

Spitze proprietär: GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro – Intelligence Index ~57–60.

Bestes offenes Modell: Kimi K2.6 bei ~54 – nur ~5–6 Punkte Abstand zur Spitze.

Kernaussage: Offene Modelle sind keine Notlösung mehr – meine Commodity-These, mit Zahlen belegt.

Artificial Analysis – Intelligence Index, Stand 20.05.2026

19Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Drei Monate hinter der Spitze, zwölf Monate ganz frei

US-Spitzenmodelle (proprietär): die Speerspitze, jeweils frischster Stand.
Chinesische Modelle: liegen typisch etwa drei Monate zurück.
Voll-freie Open-Weight-Modelle: liegen typisch etwa zwölf Monate zurück.

Faustregel: Die Qualität der heutigen US-Spitzenmodelle bekomme ich in drei Monaten von chinesischen Anbietern und in zwölf Monaten von komplett freien Open-Weight-Modellen.

20Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Die Modellfamilien

IBM Granite – Apache 2.0, ISO-42001-zertifiziert: der Compliance-Champion.
Qwen (Alibaba) – stärkste Open-Weight-Coding-Familie, Apache 2.0.
Llama 4 (Meta) – MoE, riesiges Kontextfenster; Server-Hardware nötig, Lizenz eingeschränkt.
Gemma 4 (Google) – seit Gemma 4 vollständig Apache 2.0.
DeepSeek R1 – Reasoning-Spezialist, MIT-Lizenz.
Phi-4 (Microsoft) – klein und effizient, MIT-Lizenz.
Mistral – europäischer Anbieter, starkes DSGVO-Argument.

21Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Inference-Server: Wo das Modell läuft

Ollama

„Docker für Sprachmodelle“ – ein Befehl, größte Modellbibliothek. Ideal für Desktop und Demo.

LM Studio

Grafische Oberfläche, niedrigschwellig. Der Einstieg für alle, die keine Kommandozeile wollen.

vLLM

Produktions-Champion: deutlich höherer Durchsatz bei Mehrbenutzer-Last. Für den internen KI-Server.

llama.cpp

Die Kern-Engine: beste CPU-Performance, breiteste Hardware-Unterstützung. Für Edge-Szenarien.

Alle sprechen eine OpenAI-kompatible API – ein Wechsel ist ohne Code-Änderung möglich.

22Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Agent-Runtimes: OpenCode

Open Source, MIT-Lizenz, in Go geschrieben – auf GitHub.
Multi-Provider: 75+ Anbieter – Ollama und LM Studio lokal, Claude/Gemini/OpenAI in der Cloud.
Tool-Use: Datei lesen/schreiben, Shell, Grep, MCP – der Agent kann denken UND handeln.
Container-basiert: pro Projekt isoliert. Streaming via SSE – die Antwort erscheint sofort.
Alternativen: Microsoft Agent Framework, LangGraph, CrewAI – für komplexe Multi-Agenten-Systeme.

23Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 05OPEN-SOURCE-STACK

Was einen Agenten zum Agenten macht

Kein einfacher Aufruf: nicht nur ein Prompt – eine Antwort.
Tool-Use: der Agent liest, sucht, führt aus.
Multi-Turn & Zustand: mehrere Schritte, mit Gedächtnis über den Verlauf.
Streaming: die Antwort entsteht sichtbar in Echtzeit.

Der Agent plant, handelt, prüft – und korrigiert sich selbst.

24Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 06

Use Case: Access-Modernisierung

25Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 06ACCESS-MODERNISIERUNG

„

In fast jeder Mittelstandsfirma gibt es sie: die eine Access-Datenbank, die vor 15 Jahren ‚Herr Müller aus der Buchhaltung‘ gebaut hat.

— Der Pain Point

Geschäftskritisch: Produktionssteuerung, Vertragsverwaltung, Lager – mittendrin im Tagesgeschäft.
Die Kernfrage: „Funktioniert seit 20 Jahren – aber wer pflegt das eigentlich noch?“

26Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 06ACCESS-MODERNISIERUNG

Access-Altlasten in Zahlen

56.000+ Unternehmen weltweit nutzen Access nachweislich (6sense) – die Dunkelziffer als Schatten-IT liegt deutlich höher.
Support ausgelaufen: Access 2016/2019 seit 10/2025. Access 2021 endet am 13.10.2026.
Keine Weiterentwicklung: Microsoft entwickelt Access nicht mehr aktiv weiter.
Die Risiken: Schatten-IT, Bus-Faktor 1, schwindende Access-Entwickler, keine DSGVO-Compliance by Design.

27Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 06ACCESS-MODERNISIERUNG

Code-Generierung ist kein neues Versprechen

Schon 1985 warben dBASE-/Access-Vorläufer mit „STOP CODING“ – „Software schreibt Software“ ist 40 Jahre alt.

Evans zitiert einen Entwickler: „Für die Hälfte meiner Aufträge rate ich von Excel zur Datenbank – für die andere Hälfte genau andersherum.“

Die Pointe: Das Versprechen ist alt. Neu ist, dass es diesmal trägt – weil der Agent die Altanwendung erst versteht.

Konzeptmotiv im Stil einer 1985er Magazin-Anzeige

28Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 06ACCESS-MODERNISIERUNG

Migration: klassisch vs. KI-gestützt

Phase	Klassisch	KI-gestützt
Analyse / Doku	Wochen, manuell	Stunden bis Tage
Spezifikation Zielsystem	Wochen	Stunden bis Tage
Code-Neuentwicklung	Monate	Wochen

Realkosten klassisch: 15.000 € (einfach) bis 200.000 €+ (komplex) – mit KI 5.000 € bis 40.000 €. KI beschleunigt jeden Schritt – aber bei einer Migration müssen auch Menschen mitgenommen werden. Wer „Altlasten per Klick“ verspricht, lügt.

29Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 07

Showcase: AccessToSpecConverter

30Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 07SHOWCASE & LIVE-DEMO

Was ist der AccessToSpecConverter?

Web-App (Blazor): eine Access-Datenbank wird hochgeladen.

Windows-Agent extrahiert die Struktur: Tabellen, Queries, Formulare, Reports, Module, Makros.

KI-Agent analysiert – der Anwender kann im Chat nachfragen.

Antworten werden zu Spezifikationen für die neue Webanwendung.

Echter Fall heute: K&Ks eigene Access-Zeiterfassung.

Projektliste der Web-Anwendung

31Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 07SHOWCASE & LIVE-DEMO

Live-Demo – der Ablauf

Hochladen: Access-DB einspielen (Demo-DB, sanitisiert).

Extraktion: der Artefakt-Baum erscheint.

Fragen: „Erkläre die zentrale Geschäftslogik dieser Datenbank.“

Speichern: die Antwort wird als Spezifikation gesichert.

Vertiefen: „Wie modellierst du Tabelle X als REST-API?“

Ergebnis: ein fertiges Spec-Dokument.

32Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 08

Architektur-Walkthrough

33Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 08ARCHITEKTUR

Architektur im Überblick

Browser, Blazor Server, OpenCode-Container und Windows-Agent – sauber getrennte Bausteine.

34Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 08ARCHITEKTUR

Die Komponenten

Server

Blazor Server (.NET 10), MudBlazor-UI, EF Core / SQLite – Standard-Stack, kein Mysterium.

KI

OpenCode-Container pro Projekt isoliert. Streaming der Antworten via SSE (server-sent events).

Agent

Windows-Dienst auf Maschinen mit Access-Installation – COM-Interop braucht echtes Access.

Provider

frei wählbar: lokal (Ollama, LM Studio) oder Cloud (Claude, Gemini).

Wichtig: Die Struktur-Extraktion läuft deterministisch, ohne KI. Die KI arbeitet erst auf den exakt ausgelesenen Daten – sie rät nicht.

35Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 08ARCHITEKTUR

Hinter den Kulissen – der Ablauf

Vom Upload bis zur Live-Anzeige: acht Schritte, durchgehend als Stream.

36Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 08ARCHITEKTUR

Multi-Provider: lokal oder Cloud

Eine Abstraktion, viele Provider – der Wechsel gelingt ohne Code-Änderung.

Lokal (Ollama / LM Studio) für sensible Daten.

Cloud (Claude / Gemini) für Spitzenleistung.

Wiederverwendbar: dieses Muster trägt – nicht nur für Access.

Provider-Auswahl in der Anwendung

37Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 09

Unsere Ollama-Installation

38Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 09UNSERE OLLAMA-INSTALLATION

Unser eigener LLM-Server

Eigener Ollama-Server: KI-Inferenz vollständig auf eigener Hardware.

Ollama 0.23.4, OpenAI-kompatible API.

Web-Frontend (Open WebUI): ein Browser genügt – kein Cloud-Konto, teamweit nutzbar.

Kein Cloud-Provider nötig: lokal, offen, in Produktion.

Ollama-Konfiguration in der Anwendung

39Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 09UNSERE OLLAMA-INSTALLATION

Unser Modell-Park

15 Modelle aktiv, von 9 GB bis 87 GB.
Querschnitt: gpt-oss (OpenAI), Nemotron (NVIDIA), DeepSeek-R1, Qwen3.6, Gemma 4, Granite 4.1, GLM, Phi-4.
Vom 9-GB-Modell auf einer Consumer-GPU bis zum 87-GB-Modell auf Server-Hardware.

Vom Experiment bis zur produktiven Last – alles auf derselben offenen Plattform.

40Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 09UNSERE OLLAMA-INSTALLATION

Was das praktisch bedeutet

Modellwechsel ist ein Einzeiler – verschiedene Modelle für verschiedene Aufgaben.
Für Coding nutzen wir qwen3.6:27b – auf unserer Hardware das beste Modell unter Ollama; es kann auch den Showcase antreiben.
Hardware-Realität: eine RTX 3090 (~1.000 €, 24 GB) ist der Preis-Leistungs-Sieger für ernsthafte lokale Modelle.
Quantisierung Q4 macht selbst 120-B-Modelle handhabbar.
Klein anfangen, ausbauen, wenn der Bedarf wächst.

41Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 09UNSERE OLLAMA-INSTALLATION

Nachhaltige KI: Strom vom eigenen Dach

Größter laufender Kostenfaktor lokaler KI ist Strom – nicht Lizenzen.

PV-Anlage Firmendach: 37,6 MWh erzeugt, 27,5 MWh verbraucht (2025).

Im Sommer autark – dann kostet lokale KI praktisch nur die Hardware-Abschreibung.

Batteriespeicher auf 45 kWh erweitert.

Datenschutzkonform UND ökologisch – Core Value „Wir agieren nachhaltig“.

Ausbaufähig: Platz für Module und Speicher; saisonale Speicherung (Wasserstoff) wird geprüft.

PV-Jahresbilanz 2025 – Ertrag vs. Verbrauch je Monat

42Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 10

Lessons Learned

43Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 10LESSONS LEARNED

Was wir gelernt haben

Modellwahl ist entscheidend – unter ca. 7 B oft zu schwach für komplexe Aufgaben.
Das Kontextfenster ist der Engpass – große Datenbanken müssen geschnitten werden.
Streaming verändert die UX – Wartebalken sind 2025.
Toolchain wichtiger als Modell – die Agent-Runtime macht den Unterschied.
Vom Pilot zum Alltag ist die eigentliche Hürde – fast jede Firma hat einen KI-Piloten, wenige schaffen den Sprung.

44Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 10LESSONS LEARNED

Wo lokale Agenten heute glänzen

Use Case	Lokal?	Warum
Codeanalyse, Spec-Erstellung	('Ja', (0, 225, 185))	Latenz, Datenschutz
Dokumenten-Q&A intern	('Ja', (0, 225, 185))	Datenschutz
Kreative Texte	('Bedingt', (255, 102, 0))	Modelle noch schwächer als die Cloud-Spitze
Stark multimodal	('Nein', (90, 107, 128))	Hardware-Anforderung extrem hoch

Belege: Code-Migration ist ein etablierter Agenten-Use-Case (Uber, MS-COBOL-Framework); internes RAG läuft lokal produktiv.
Aus unserem Haus: ein lokales multimodales Modell (Gemma 4) beschreibt einen UI-Screenshot und leitet eine Spec ab.

45Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 10LESSONS LEARNED

Was noch nicht gut funktioniert

Sehr lange Kontexte (über 32k) sind teuer.
Weniger Weltwissen – lokale Modelle wissen schlicht weniger.
Tool-Use weniger zuverlässig als bei den Cloud-Spitzenmodellen.
Hybrid statt Vollautomatisierung ist oft realistischer (Klarna-Lektion).

Aber: Der 6-Monats-Trend ist eindeutig – die Lücke schließt sich schnell.

46Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 11

Wann lokal, wann Cloud?

47Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 11LOKAL ODER CLOUD

Entscheidungshilfe: lokal oder Cloud?

Sensible Daten?

JA ▸

lokal

Höchste Qualität nötig?

JA ▸

Cloud-Spitzenmodell

Hohes Anfrage-Volumen?

JA ▸

lokal (Kosten)

Sonst

▸

beliebig

48Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 11LOKAL ODER CLOUD

Open-Source-Stack-Empfehlung 2026

Inference: Ollama (einfach) oder LM Studio (GUI); vLLM, wenn ein Team produktiv darauf zugreift.
Modell: Granite 4.1 (Compliance), Qwen3.6 (Coding), Phi-4-Mini (Einstieg).
Agent-Runtime: OpenCode.
Orchestrierung: N8N bleibt valide; LangGraph/CrewAI für komplexe Multi-Agenten-Workflows.

49Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 11LOKAL ODER CLOUD

Was bedeutet das für eure IT?

Jetzt experimentieren: Ollama installieren, ein kleines Projekt starten.

Use Cases sammeln: wo könnte KI bei euch wirklich helfen?

Stack einfach halten: kein Big-Bang – klein anfangen.

50Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12

Was das für euer Geschäft bedeutet

51Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

Was Software heute wirklich kostet

Code wird Massenware – Konzept und Begleitung werden zur eigentlichen Leistung.

KOSTET HEUTE (FAST) NICHTS

Code schreiben.
Boilerplate und Standardarchitektur.
Tests und Deployment-Skripte.
Generierung von Dokumentation und API.
Routine-Änderungen und Bugfixes.

BLEIBT WERTVOLL — WIR VERDIENEN HIER

Anforderungen verstehen und schärfen.
Bedien- und Workflow-Konzepte gestalten.
Datenschutz und Compliance begleiten.
Qualität sichern und Audits bestehen.
Betrieb verantworten, Reaktionszeiten halten.

Wir verdienen an dem, was KI nicht kann. Den Rest schenken wir.

52Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

Und das gilt auch für eure Systemhaus-Arbeit

Nicht nur die Entwickler – die klassische IT-Dienstleister-Tätigkeit verlagert sich genauso.

ÜBERNIMMT DIE KI – BALD VOLLSTÄNDIG

Rollout von Backup, Monitoring, Security.
Patch-Management und Standard-Updates.
Sicherheitsanalysen und Compliance-Checks.
Ticket-Triage und Standard-Fehlerbehebung.
Reports, Dokumentation, Audit-Vorbereitung.

BLEIBT BEIM MENSCHEN

„Turnschuh-Administration“ vor Ort.
PC und Server aufstellen, Drucker entstauben.
Vertrauensgespräche mit der Geschäftsführung.
Verantwortung und Haftung tragen.
Krisen-Eskalation, harte Entscheidungen.

Was nicht „Turnschuh“ ist, kann die KI – oder kann es in wenigen Monaten.

53Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

„

Noch nie war die Gelegenheit für einzelne intelligente Menschen so groß wie heute.

Alex Karp (CEO Palantir, TBPN März 2026): Zwei Wege, eine Zukunft zu haben – Handwerkliche Fähigkeiten oder Neurodivergenz.
Zwei Fähigkeiten zählen: sich vorstellen können, was möglich ist – und es exakt beschreiben können.
20–30× Multiplikator: Ein Mensch, der KI exzellent steuert, leistet, wofür klassisch ein ganzes Team gebraucht wurde.
Hebel ist Können, nicht Kapital: Geschäftsmodelle, die vor wenigen Jahren Größe brauchten, sind heute für Einzelne erreichbar.

54Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

Eine Person, das Werk von 20.

20×

Eigene Erfahrung Mai 2026: Output eines KI-gestützten Entwicklers gegenüber klassischer Arbeitsweise.

40–50×

absehbar in den nächsten 6–12 Monaten – die Fähigkeiten der Modelle verdoppeln sich alle paar Monate.

Eine starke Person plus Vertretung trägt das Geschäft eines 30-MA-Hauses – Karps Zukunftsprofil in der Praxis.

55Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

Wer kann im KI-Beratungsgeschäft arbeiten?

Vorstellen können, was möglich ist. Eine Lösung sehen, bevor sie da ist.
Exakt beschreiben können. Specs schreiben, die ein anderer – Mensch oder Maschine – eindeutig versteht.
Prozesse verstehen, nicht nur Tools. Das Fach hinter der Software.
KI-Output kritisch prüfen. Review-Disziplin, Halluzinationen erkennen – ohne abzuschalten.
In Komplexität strukturiert navigieren können. Probleme zerlegen, ohne den Überblick zu verlieren.
Lernbereitschaft. Was heute richtig ist, ist in drei Monaten Standard – oder überholt.

Karps Profil in der täglichen Praxis: handwerklich oder neurodivergent – für KI-Excellenz braucht es das Zweite: Neurodivergenz.

56Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

„

Die Spezifikation hat den Wert. Der Code ist Beilage.

— Spec-Driven Development – wie wir bei K&K arbeiten

Modelle verdoppeln ihre Fähigkeiten alle paar Monate – aus derselben Spezifikation generieren wir das System einfach neu.
Ergebnis: ein deutlich besseres Produkt – ohne die Anforderungen erneut zu klären.
Wer die Spezifikation besitzt, besitzt das Produkt – auch in zwölf Monaten noch.

57Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

Unser Selbstversuch: die Buchhaltung

Ziel: 100 % unserer Buchhaltung durch KI-Agenten – wir bauen die Software dafür komplett neu auf.
Grundlage: Grundsätze ordnungsmäßiger Buchführung (GoB), ELSTER-Schnittstelle, Umsatzsteuer-Voranmeldung, Bilanzierung – alles von Grund auf spezifiziert.
KI-natives Design: kein bestehendes System anpassen – die KI kommt mit gewachsenen Altlasten nicht gut zurecht. Wir starten auf der grünen Wiese.
Dogfooding: was wir im eigenen Haus laufen lassen, empfehlen wir Kunden. Was wir bei uns nicht machen, auch nicht.

Wer KI predigt, sollte sie zuerst im eigenen Backoffice einsetzen.

58Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

Das Angebot IST die Demo.

Klassisch: Angebot bei der Ausschreibung – die Implementierung folgt Wochen oder Monate nach Zuschlag.
KI-Zeit: die Implementierung läuft parallel zum Angebot – der Kunde sieht das fertige Ergebnis vorab.
Beispiel: „Code im Quartier“ – wir haben das Projekt mit dem Angebot bereits umgesetzt mitgeliefert.
Effekt: ein Wettbewerbsvorteil, den langsamere Anbieter nicht aufholen können.

59Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

Preisvorteil – konkret weitergegeben

	Klassisch	KI-gestützt (mit Marge)
Aufwand	30 Tage	1 Tag Bau + 3–4 Tage Konzept und Nacharbeit
Listenpreis	30.000 €	9.000 € (Bodenpreis: 4.000 €)
Marge	Standard	höher als zuvor
Zeit bis Live	Wochen bis Monate	wenige Tage

Der Kunde spart 21.000 €, wir verdienen mehr. Das ist die Win-Win-Logik der KI-Zeit.
Wer noch klassisch kalkuliert, wird unterboten – und sieht den Kunden nicht mehr.

60Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 12GESCHÄFT IN DER KI-ZEIT

Auch wir stehen unter Druck – und das ist gut so.

Bestehende Geschäftsmodelle werden obsolet – auch unsere. Wir denken das offen mit.
Das Rennen heißt: KI sauber beherrschen, sauber integrieren, Vorteile an den Kunden weitergeben.
Aufgaben sukzessive shiften: intern mit Augenmaß, beim Neugeschäft kompromisslos KI-first.
Neukundenprojekte komplett mit KI angehen – die alten Aufwandsschätzungen gelten nicht mehr.
Wer wartet, wird von Schnelleren überholt. Mit oder ohne uns zieht der Markt weiter.

Vom Hype zur produktiven Anwendung – und dann zur Neuvermessung des ganzen Geschäfts.

61Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 13

Was ihr mitnehmt + Q&A

62Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 13ABSCHLUSS & Q&A

Wo K&K helfen kann

Access-Modernisierung

Alte Access-Anwendungen analysieren, spezifizieren und in moderne Webanwendungen überführen. access-beratung.team

KI-gestützte Entwicklung

Individuelle B2B-Software – mit lokalen und Cloud-KI-Agenten im Entwicklungsprozess. softwareentwicklung.team

ERPNext + KI

Open-Source-ERP für den Mittelstand, angereichert um KI-Funktionen. erp-beratung.team

Auf „Wie macht ihr das genau?“: Das ist Teil unseres Beratungsangebots – schreibt mich an, wir machen Workshops dazu.

63Lokale Open-Source-KI-Agenten · 22.05.2026

BLOCK 13ABSCHLUSS & Q&A

Vielen Dank.

Fragen, Diskussion – und gern danach im Gespräch.

E-MAIL
koch@kk-software.de

WEB
linkedin.com/in/arnulfkoch/ · access-beratung.team · erp-beratung.team · kk-software.de