Die perfekte Open-Source LLM-Plattform für Ihre Webagentur: Ein Deep Dive von IT Matter

Als Webagentur ist es von größter Bedeutung, an der Spitze der Technologie zu bleiben. Bei IT Matter sind wir ständig auf der Suche nach innovativen Lösungen, um unsere Dienstleistungen zu verbessern, unsere Arbeitsabläufe zu optimieren und letztendlich unseren Kunden mehr Wert zu liefern. Auf unserer Suche nach einer idealen Large Language Model (LLM)-Plattform haben wir eine gründliche Untersuchung durchgeführt, mit dem Ziel, ein quelloffenes, webbasiertes Tool zu finden, das Kundendaten verwalten, sich an kundenspezifische Arbeiten erinnern und qualitativ hochwertige Inhalte generieren kann – all dies unter Beachtung der Lizenzierungs- und Multi-Tenancy-Anforderungen, die für unser Geschäftsmodell entscheidend sind.

Dieser Artikel beschreibt unsere Reise, die Tools, die wir evaluiert haben, und warum bestimmte Optionen für IT Matter besonders herausragten. Obwohl unsere Ergebnisse auf unsere Bedürfnisse zugeschnitten sind, könnten sie wertvolle Einblicke für andere Agenturen bieten, die vor ähnlichen Entscheidungen stehen.

Die Shortlist: Unsere Top-Kandidaten auf einen Blick

Bevor wir ins Detail gehen, hier ein umfassender Vergleich der Plattformen, die wir in Betracht gezogen haben. Diese Tabelle hebt ihre Kernfunktionen, Lizenzierung und Eignung für eine Agentur wie die unsere hervor.

Legende für Häkchen (✓) und Kreuze (×):

✓: Die Funktion ist stark vorhanden, integriert oder leicht erreichbar.

∼: Die Funktion ist teilweise vorhanden, erfordert erhebliche Einrichtung/Anpassung oder hat Einschränkungen.

×: Die Funktion ist kein Kernangebot, erfordert den Aufbau von Grund auf oder ist direkt eingeschränkt.

Unsere Reise: Die Anforderungen definieren

Bei IT Matter leben wir davon, digitale Probleme einfach zu lösen. Unser Ziel für eine LLM-Plattform war vielschichtig:

• Kundendatenmanagement: Wir benötigten die Möglichkeit, kundenspezifische Daten (Briefings, Projekthistorien, Markenrichtlinien) zu erfassen und abzufragen, um kontextsensitive Antworten und Inhalte bereitzustellen.
• Arbeitsspeicher: Die Plattform musste sich an unsere Interaktionen und frühere Arbeiten im Zusammenhang mit einzelnen Kunden “erinnern”, damit wir Gespräche nahtlos fortsetzen und die Kontinuität wahren konnten.
• Inhaltsgenerierung: Als Webagentur ist die Generierung vielfältiger Inhalte – von Marketingtexten und Blog-Gliederungen bis hin zu Social-Media-Posts und E-Mail-Entwürfen – eine Kernfunktion. Die LLM-Plattform musste dies kreativ und effizient unterstützen.
• Open-Source und webbasiert: Wir bevorzugen Open Source für Transparenz, Kontrolle und die Möglichkeit, selbst zu hosten, um die Datenhoheit zu wahren. Eine webbasierte Benutzeroberfläche war für die Zugänglichkeit innerhalb unseres Teams unerlässlich.
• Multi-Tenancy: Entscheidend war, dass die Plattform als Dienstleister für mehrere Kunden eine effektive Multi-Tenancy ermöglichen musste. Das bedeutet, separate Kundendaten und Workflows zu verwalten, ohne die Sicherheit oder Datenisolation zu beeinträchtigen.

Der Evaluierungsprozess: Was wir herausfanden

Unsere anfängliche Recherche führte uns zu mehreren vielversprechenden Kandidaten.

Frühe Kandidaten: AnythingLLM, Dify und LibreChat

• AnythingLLM (AnythingLLM GitHub): Dies war ein früher Favorit aufgrund seines Fokus auf Dokumenten-Chat und Agenten-Workflows, der auf Datenschutz mit lokalen Einrichtungsoptionen ausgelegt ist. Es nutzt LanceDB für effizientes RAG. Die allgemeine Flexibilität und der Open-Source-Charakter waren ansprechend.
• Dify (Dify.ai): Dify beeindruckte uns sofort mit seinem ausgefeilten, benutzerfreundlichen visuellen Workflow-Editor. Es schien ideal für die Gestaltung kundenspezifischer Anwendungen ohne umfangreiche Codierung. Es unterstützte eine breite Palette von LLMs und bot robuste Agentenfunktionen.
• LibreChat (LibreChat GitHub): Als leistungsstarke Open-Source-ChatGPT-Alternative positioniert, bot LibreChat eine vertraute Benutzeroberfläche, Multi-User-Unterstützung und einen Agenten-Builder. Es fühlte sich wie eine solide, sofort einsatzbereite Chat-Lösung für internes Wissen oder Kundeninteraktionen an.

Die Lizenzhürde: Dify’s Multi-Tenancy-Klausel

Während unserer tiefergehenden Prüfung haben wir die Lizenzvereinbarungen genau unter die Lupe genommen. Hier stellte Dify eine erhebliche Herausforderung für IT Matter dar. Die modifizierte Apache 2.0-Lizenz besagt explizit: “Unless explicitly authorized by Dify in writing, you may not use the Dify source code to operate a multi-tenant environment.” (Sofern nicht ausdrücklich schriftlich von Dify autorisiert, dürfen Sie den Dify-Quellcode nicht zum Betrieb einer Multi-Tenant-Umgebung verwenden.)

Für eine Agentur wie die unsere, bei der “ein Tenant einem Arbeitsbereich” für die Daten eines Kunden entspricht, war dies ein entscheidender Stolperstein. Während Difys Funktionen ausgezeichnet waren, machte die Notwendigkeit einer kommerziellen Lizenz oder einer spezifischen schriftlichen Genehmigung für unser Kerngeschäftsmodell es weniger geeignet für eine wirklich “Open Source für unseren Anwendungsfall”-Lösung. Dies unterstreicht die Wichtigkeit, Lizenzen sorgfältig zu lesen, da “Open Source” nicht immer “kostenlos für alle kommerziellen Zwecke” bedeutet.

Fokuswechsel: LangChain und visuelle Builder nutzen

Mit der Multi-Tenancy-Beschränkung von Dify verfeinerten wir unsere Suche nach Tools, die entweder LangChain (ein mächtiges Framework, das wir für seine Flexibilität bewunderten) nutzten oder visuelle Builder mit permissiveren Lizenzen anboten.

• FlowiseAI (FlowiseAI GitHub): Dieses Tool stieg schnell an die Spitze. Es bietet eine Low-Code/No-Code-Benutzeroberfläche speziell für die Erstellung von LLM-Apps mit LangChain.js. Das bedeutete, dass wir die Leistungsfähigkeit von LangChain für RAG, Speicher und Inhaltsgenerierung auf visuell intuitive Weise nutzen und die Entwicklungszeit erheblich reduzieren konnten. Seine Apache 2.0-Lizenz ist wirklich permissiv für die kommerzielle und Multi-Tenant-Nutzung.
• Langflow (Langflow GitHub): Ähnlich wie FlowiseAI bietet auch Langflow eine visuelle Drag-and-Drop-Oberfläche zum Erstellen von LangChain-Anwendungen. Seine MIT-Lizenz ist ebenso permissiv, was es zu einem weiteren starken Kandidaten macht.

Diese beiden Optionen boten die perfekte Balance: einen webbasierten visuellen Builder, um nicht bei Null anfangen zu müssen, eine tiefe Integration mit LangChain für robuste LLM-Funktionen und Lizenzen, die unser Multi-Client-Agenturmodell vollständig unterstützten.

Tiefere Frameworks und spezialisierte Tools

Wir haben auch grundlegendere Frameworks und spezialisierte Tools untersucht, die als leistungsstarke Backends für unsere LLM-Anwendungen dienen könnten, insbesondere wenn wir uns für eine kundenspezifischere Benutzeroberfläche entscheiden würden:

• Haystack (deepset.ai/haystack): Ein robustes Framework zum Erstellen produktionsreifer RAG-Anwendungen. Obwohl stärker codezentriert, machen seine Modularität und sein Fokus auf komplexe NLP-Aufgaben es attraktiv für die anspruchsvolle Datenverarbeitung.
• LlamaIndex (LlamaIndex.ai): Dieses Framework zeichnet sich durch die Verbindung von LLMs mit externen Daten aus, was es zu einem Eckpfeiler für effizientes RAG macht. Es ist fantastisch für die Datenerfassung und -indizierung, entscheidend für die Verwaltung unterschiedlicher Kundeninformationen.
• RAGFlow (RAGFlow GitHub): Was uns hier ins Auge fiel, waren seine “Deep Document Understanding”-Fähigkeiten. Für eine Agentur wie IT Matter, die mit Kundenbriefings, Verträgen und verschiedenen Dokumentenformaten umgeht, ist die Fähigkeit von RAGFlow, strukturierte Informationen aus komplexen PDFs und anderen Dateien zu extrahieren, ein erheblicher Vorteil. Es bietet auch einen visuellen Builder für RAG-Pipelines.
• SuperAGI (SuperAGI GitHub): Diese Plattform konzentriert sich auf autonome KI-Agenten. Obwohl leistungsstark zur Automatisierung komplexer Aufgaben, könnte ihre agentische Komplexität für unsere unmittelbaren Bedürfnisse eine steilere Lernkurve darstellen als die direkte Inhaltserstellung.
• LangChain (Custom UI) (LangChain.js / LangChain Python): Die ultimative Flexibilität, direkt auf dem LangChain-Framework mit einem benutzerdefinierten Frontend aufbauend. Dies bietet 100% Kontrolle über Multi-Tenancy, UI und Integrationen, erfordert aber den größten Entwicklungsaufwand.

Unser Fazit für IT Matter

Für IT Matter muss die ideale Lösung leistungsstarke LLM-Funktionen mit Benutzerfreundlichkeit und, ganz entscheidend, echter Multi-Tenancy-Unterstützung unter einer permissiven Open-Source-Lizenz in Einklang bringen.

Angesichts unserer Bedürfnisse haben sich FlowiseAI und Langflow als die Top-Empfehlungen herauskristallisiert. Sie bieten die beste Kombination aus:

• Webbasierten visuellen Buildern: Reduzierung der Entwicklungszeit und Ermöglichung unseres Teams, LLM-gestützte Workflows effizient zu erstellen und zu verwalten.
• Tiefer LangChain-Integration: Bereitstellung des Zugriffs auf ein riesiges Ökosystem von Modellen, Data Loadern, Speicherkomponenten und Agenten für robustes RAG und die Generierung von Inhalten.
• Permissiven Open-Source-Lizenzen (Apache 2.0 / MIT): Entscheidend ist, dass sie uns ermöglichen, mehrere Kunden von einer einzigen, selbst gehosteten Bereitstellung aus zu bedienen, ohne zusätzliche kommerzielle Lizenzierung.

Während RAGFlow mit seinen Funktionen zum Deep Document Understanding, die für unsere vielfältigen Kundendaten besonders wertvoll sind, ebenfalls unglaublich vielversprechend aussieht, liegt seine Kernstärke eher spezifisch im Aufbau von RAG-Pipelines als im gesamten LLM-Anwendungsmanagement wie bei FlowiseAI/Langflow. Wir sehen es als potenzielles ergänzendes Tool für die komplexe Dokumentenverarbeitung.

Für andere Unternehmen kann das “beste” Tool je nach ihren spezifischen Prioritäten variieren. Wenn eine Single-Tenant-Bereitstellung oder Cloud-basierte Lösungen akzeptabel sind, könnte Difys ausgezeichnete Benutzeroberfläche ansprechender sein. Wenn eine tiefe, Low-Level-Kontrolle und umfangreiche Entwicklungsressourcen verfügbar sind, bietet der direkte Aufbau mit LangChain, Haystack oder LlamaIndex eine unübertroffene Anpassung.

Bei IT Matter sind wir zuversichtlich, dass die Nutzung von Plattformen wie FlowiseAI oder Langflow es uns ermöglichen wird, die digitalen Probleme unserer Kunden noch einfacher und effektiver zu lösen, indem wir die Leistungsfähigkeit von LLMs nutzen und gleichzeitig unser Engagement für transparente und nachhaltige Lösungen beibehalten.