Wir ergründen über zwei Tage, wie eine offene Open-Source-Plattform digitale Souveränität garantiert.
Die wichtigste Entscheidung beim Aufbau einer KI-fähigen Datenplattform ist heute nicht mehr die Wahl des richtigen LLMs.
Sondern diese: Wie bauen wir eine Plattform, die auch in den kommenden Jahren offen, souverän und anpassungsfähig bleibt? Genau dieser Frage sind wir bei unserem internen DEVnet Hackathon nachgegangen.
Fünf Teams. Zwei Tage.
Dabei ging es weniger darum, mit den neuesten Technologien zu experimentieren. Wir wollten vielmehr herausfinden, ob sich eine moderne, KI-fähige Lakehouse-Plattform vollständig auf Open Source aufbauen lässt. Ohne Vendor Lock-in. Ohne Hyperscaler. Und ohne, dass sensible Daten jemals die eigene Unternehmensinfrastruktur verlassen.
Unser Ergebnis: Apache Iceberg, Trino, Spark, dbt, Superset, MLflow und OpenMetadata, kombiniert mit einem KI-Agenten, der über MCP Fragen in natürlicher Sprache beantwortet. Angetrieben von einem lokal betriebenen Open-Source-Sprachmodell bleibt die gesamte Verarbeitungskette innerhalb unserer Infrastruktur.
Statt einzelner Technologien standen dabei fünf Architekturentscheidungen im Fokus:
1. Braucht jede Datenplattform ein Cluster?
Nicht unbedingt. DuckDB und Polars schreiben in denselben Iceberg-REST-Katalog wie Spark. Dabei ist Compute austauschbar geworden. Die passende Dimensionierung ist heute eine Architekturentscheidung.
2. Wie baut man Governance ohne ein eigenes Governance-Projekt?
Lineage, Ownership und Data Contracts werden automatisch aus dbt-Artefakten erzeugt. Governance wird Teil der Plattform, statt eines kostspieligen Nachrüstprojekts.
3. Wie vermeidet man Lock-in in der Analytics-Schicht?
Superset generiert das SQL. Trino führt es per Pushdown aus. Das BI-Tool wird austauschbar. Die Geschäftslogik bleibt in der Plattform.
4. Wie macht man Machine Learning reproduzierbar?
Git versioniert den Code. Iceberg versioniert die Daten über Snapshots. MLflow verbindet beides. Reproduzierbarkeit wird zur Plattformfähigkeit.
5. Wann ist ein KI-Agent produktionsreif?
Nicht, wenn er in einer Demo beeindruckt, sondern wenn er zuverlässig Ergebnisse liefert. Kleinere Open-Source-Modelle haben häufig Schwierigkeiten bei der Tool-Auswahl. Deshalb braucht produktionsreife KI aus unserer Sicht von Anfang an ausschließlich Lesezugriff, Ressourcenbegrenzungen und einen Human-in-the-Loop.
Unsere wichtigste Erkenntnis:
Das Open-Source-Lakehouse-Ökosystem ist erwachsen geworden. Der limitierende Faktor ist heute nicht mehr die Technologie. Entscheidend sind die richtigen Architekturentscheidungen Denn sie bestimmen Flexibilität, KI-Fähigkeit, Governance, Kosteneffizienz und digitale Souveränität.
Das ist der Unterschied zwischen einer Plattform, die heute funktioniert und einer Plattform, die auch künftig echten Mehrwert schafft.
