Von der Idee zur skalierbaren GenAI-Lösung

Was passiert, wenn ein Prototyp funktioniert und Nutzerinnen und Nutzer ihn regelmäßig einsetzen? Diese Frage steht im Mittelpunkt unseres Vortrags auf der PyCon DE & PyData 2025.

Demos für Generative AI entstehen schnell: Ein API-Key, etwas Code und wenige Anpassungen genügen. Doch wenn aus einer ersten Idee eine produktive Lösung werden soll, treten neue Herausforderungen auf. Anwendungen müssen skalieren, sich in bestehende Systeme einfügen und stabil laufen.

Thomas Prexl und Frank Rust zeigen in ihrem Vortrag, wie dieser Übergang gelingt. Sie berichten über Stolpersteine, Architekturentscheidungen und die Lösungen, die sie in verschiedenen Projekten entwickelt haben.

Ein besonderer Fokus liegt auf unserem aktuellen Tech-Stack: Qdrant, Postgres, Litellm, FastAPI, OpenWebUI und Streamlit. Diese Komponenten ermöglichen uns eine flexible und skalierbare Architektur, die sowohl lokal als auch in Unternehmensumgebungen funktioniert.

Wir haben in den letzten Jahren viele LLM-Projekte im Mittelstand umgesetzt und wertvolle Erfahrungen gesammelt. Da wir auf Python und Open Source setzen, freuen wir uns, mit unserem Vortrag etwas an die Community zurückzugeben.

Die PyCon DE & PyData 2025 findet vom 23. bis 25. April 2025 im Darmstadtium in Darmstadt statt. Unser Vortrag mit Thomas Prexl und Frank Rust ist am 24. April 2025 um 10:55 Uhr in Raum Helium 3 zu hören.

Mehr Informationen zur PyCon DE & PyData 2025 gibt es hier. Für weitere Einblicke stehen wir jederzeit gerne zur Verfügung.