„Die besten Tools und Frameworks für die Chatbot-Entwicklung“

Ich frage mich oft, warum bei Chatbots eigentlich immer nur über die „besten“ Tools gesprochen wird und nie darüber, wieviel CO2 sie eigentlich fressen. Klar, Tensorflow, Rasa, Botpress – alles nice und mächtig, aber sollte man nicht langsam Tools pushen, die einen Green-Mode oder sowas anbieten? Hab letztens nachgerechnet, ein Testlauf mit Llama2 hat meinen Rechner ordentlich geheizt, bestimmt mehr als mein Wasserkocher... Vielleicht wär’s mal an der Zeit, dass Frameworks sowas wie Eco-Benchmarks ausweisen müssen. Hat jemand da schon Ansätze gesehen? 🌍

Für gewöhnlich drehen sich solche Threads in Sekundenschnelle nur noch um Features und fancy UIs, dabei läuft im Backend fast immer das gleiche Rädchen aus Python-Kram und Docker-Zeug. Ein Punkt, der aber gnadenlos übersehen wird: Die meisten setzen z. B. spaCy oder Huggingface Transformers (manchmal einfach copy-paste vom Github, und dann wundern sie sich über RAM-Knappheit) ein, ohne auch nur das Manual zu öffnen. Kein Scherz, bei spaCy werde ich regelmäßig gefragt, warum nach 10 Minuten das Notebook abstürzt — weil keiner das Caching beachtet oder versteht, wie Speicherverwaltung läuft. 😅

Ganz ehrlich: Wer sich für „beste Tools“ interessiert, sollte ERST die Doku lesen, dann die Systemleistung tracken, und DANN vergleichen. Über Green-Mode & Eco-Benchmarks redet kaum jemand, weil in den Demos für Investoren immer nur Screenshots und angebliche Millisekunden-Latenzen zählen. Klar, Open-Source-Geschichten wie ChaiML schielen in die Richtung, aber da fehlt noch saubere Definition, was nun „grün“ ist...

Ich werfe einfach mal Botpress X (also die neuere Version) in den Raum. Hat bei mir im letzten Jahr ein paar kleinere Projekte echt flott abgedeckt – und das Dashboard ist zumindest für Einsteiger weniger abschreckend als manch anderes Tool. Klar, braucht bisschen Einarbeitung (ging bei mir mit Kaffee und YouTube-Tutorial nebenbei)... aber das Schöne: man kann ziemlich granular eigene Module bauen, falls die Standard-Intents nicht reichen.

Ist jetzt vielleicht ne blöde Frage, aber: Gibt’s eigentlich inzwischen eine vernünftige Möglichkeit, Botpress halbwegs ressourcenschonend in nem Docker-Container zu fahren, ohne dass der RAM direkt abraucht? Habe da mal verschiedene Configs durchprobiert, aber gefühlt giert das Ding immer nach mehr. Falls da jemand einen konkreten Tipp hat – wäre ich echt dankbar!

Mir ist beim Rumprobieren mit verschiedenen Frameworks aufgefallen, dass die „Leichtgewichte“ oft untergehen. Viele greifen direkt zu Rasa oder Huggingface, dabei gibt’s mit tools wie ChatterBot, DeepPavlov oder DialoGPT auch schlankere Optionen, die gerade für kleinere Projekte weniger Ressourcen verschlingen und schneller aufgesetzt sind. Ich find speziell DeepPavlov ziemlich spannend, weil es vortrainierte Module gibt und das Deployment recht unkompliziert war... zumindest bei meinen Tests.

Mich würde mal interessieren: Nutzt hier jemand aktiv solche „kleineren“ Frameworks im produktiven Umfeld und wie sind eure Erfahrungen damit, gerade, was Wartung und Updates angeht? Oder gibt’s vielleicht noch ein Nischentool, das an mir vorbeigegangen ist?