„Die besten Tools und Frameworks für die Chatbot-Entwicklung“

Ich frage mich oft, warum bei Chatbots eigentlich immer nur über die „besten“ Tools gesprochen wird und nie darüber, wieviel CO2 sie eigentlich fressen. Klar, Tensorflow, Rasa, Botpress – alles nice und mächtig, aber sollte man nicht langsam Tools pushen, die einen Green-Mode oder sowas anbieten? Hab letztens nachgerechnet, ein Testlauf mit Llama2 hat meinen Rechner ordentlich geheizt, bestimmt mehr als mein Wasserkocher... Vielleicht wär’s mal an der Zeit, dass Frameworks sowas wie Eco-Benchmarks ausweisen müssen. Hat jemand da schon Ansätze gesehen? 🌍

Für gewöhnlich drehen sich solche Threads in Sekundenschnelle nur noch um Features und fancy UIs, dabei läuft im Backend fast immer das gleiche Rädchen aus Python-Kram und Docker-Zeug. Ein Punkt, der aber gnadenlos übersehen wird: Die meisten setzen z. B. spaCy oder Huggingface Transformers (manchmal einfach copy-paste vom Github, und dann wundern sie sich über RAM-Knappheit) ein, ohne auch nur das Manual zu öffnen. Kein Scherz, bei spaCy werde ich regelmäßig gefragt, warum nach 10 Minuten das Notebook abstürzt — weil keiner das Caching beachtet oder versteht, wie Speicherverwaltung läuft. 😅

Ganz ehrlich: Wer sich für „beste Tools“ interessiert, sollte ERST die Doku lesen, dann die Systemleistung tracken, und DANN vergleichen. Über Green-Mode & Eco-Benchmarks redet kaum jemand, weil in den Demos für Investoren immer nur Screenshots und angebliche Millisekunden-Latenzen zählen. Klar, Open-Source-Geschichten wie ChaiML schielen in die Richtung, aber da fehlt noch saubere Definition, was nun „grün“ ist...