AnythingLLM selbst hosten – der einfache Weg
Yulei ChenAnythingLLM ist eine All-in-One AI-Anwendung, mit der du mit deinen Dokumenten chatten, AI Agents bauen und RAG (Retrieval-Augmented Generation) mit jedem LLM Provider nutzen kannst. OpenAI, Anthropic, Ollama und viele mehr werden unterstützt. Das Beste: Es ist komplett Open-Source und für Self-Hosting gebaut.
Sliplane ist eine Managed-Container-Plattform, die Self-Hosting schmerzlos macht. Mit One-Click-Deployment läuft AnythingLLM in wenigen Minuten - kein Server-Setup, keine Reverse-Proxy-Config, keine Infrastruktur zum Verwalten.
Voraussetzungen
Vor dem Deploy brauchst du einen Sliplane-Account (kostenlose Trial verfügbar).
Quick Start
Sliplane bietet One-Click-Deployment mit Presets.
Deploy AnythingLLM >- Klick auf den Deploy-Button oben
- Wähl ein Projekt
- Wähl einen Server. Wenn du dich gerade erst angemeldet hast, bekommst du einen 48-Stunden-Trial-Server
- Klick auf Deploy!
Über das Preset
Der One-Click-Deploy oben nutzt Sliplanes AnythingLLM-Preset. Das ist enthalten:
- Offizielles
mintplexlabs/anythingllmDocker Image mit gepinntem Version-Tag - LanceDB als eingebaute Vektordatenbank (keine externe Datenbank nötig)
- Persistenter Storage gemountet auf
/app/server/storage, damit deine Dokumente, Workspaces und Einstellungen Neustarts überleben - Vorkonfiguriert mit Ollama als Standard-LLM und Embedding Provider (zeigt auf
ollama.internalim internen Sliplane-Netzwerk) - Lauscht auf Port 3001
- Telemetrie standardmäßig deaktiviert
Wenn du statt Ollama einen Cloud-LLM-Provider (wie OpenAI oder Anthropic) nutzen willst, kannst du die LLM_PROVIDER-Variable und zugehörige Environment Variables nach dem Deployment ändern.
Nächste Schritte
Sobald AnythingLLM auf Sliplane läuft, erreichst du es über die Domain, die Sliplane dir gibt (z.B. anythingllm-xxxx.sliplane.app).
Ersteinrichtung
AnythingLLM führt dich beim ersten Besuch durch einen Setup-Wizard. Dort konfigurierst du:
- Deinen LLM Provider und dein Model
- Deinen Embedding Provider
- Deine Vektordatenbank (LanceDB ist schon eingerichtet)
- Ob du den Multi-User-Modus aktivieren willst
LLM Provider verbinden
Das Preset nutzt standardmäßig Ollama. Wenn du eine Ollama-Instanz auf Sliplane deployst, kann AnythingLLM darüber per internes Netzwerk kommunizieren. Achte drauf, dass die OLLAMA_BASE_PATH-Variable auf den internen Hostnamen deines Ollama-Service zeigt (z.B. http://ollama.internal:11434).
Für einen Cloud-Provider aktualisier diese Environment Variables:
| Variable | Beispiel |
|---|---|
LLM_PROVIDER | openai, anthropic, azure, etc. |
OPEN_AI_KEY | Dein OpenAI API Key |
ANTHROPIC_API_KEY | Dein Anthropic API Key |
Die vollständige Liste unterstützter Provider findest du in den AnythingLLM Docs.
Environment Variables
Hier die wichtigsten Environment Variables, die du anpassen kannst:
| Variable | Default | Beschreibung |
|---|---|---|
LLM_PROVIDER | ollama | Welcher LLM Provider genutzt wird |
OLLAMA_BASE_PATH | http://ollama.internal:11434 | Ollama API Endpoint |
VECTOR_DB | lancedb | Vektordatenbank-Engine |
AUTH_TOKEN | (zufällig) | API Authentication Token |
JWT_SECRET | (zufällig) | Secret für JWT Token Signing |
PASSWORDMINCHAR | 8 | Minimale Passwortlänge für User |
Logging
AnythingLLM loggt standardmäßig nach STDOUT, was perfekt mit Sliplanes eingebautem Log-Viewer funktioniert. Allgemeine Docker-Log-Tipps findest du in unserem Post über how to use Docker logs.
Troubleshooting
Wenn AnythingLLM nach dem Deployment nicht antwortet, prüf diese häufigen Probleme:
- Port-Mismatch: Achte drauf, dass die
PORT-Variable auf3001gesetzt ist - Storage-Berechtigungen: Der Container läuft standardmäßig als User
1000:1000 - LLM-Verbindung: Wenn du Ollama nutzt, prüf ob der Ollama-Service läuft und im internen Netzwerk erreichbar ist
Kostenvergleich
Natürlich kannst du AnythingLLM auch bei anderen Cloud-Providern selbst hosten. Hier ein Preisvergleich der gängigsten Optionen:
| Provider | vCPU Cores | RAM | Disk | Geschätzte monatliche Kosten | Hinweise |
|---|---|---|---|---|---|
| Sliplane | 2 | 2 GB | 40 GB | €9 | Abrechnung pro Server |
| Render | 1 | 2 GB | 40 GB | ~$35-$45 | VM Small |
| Fly.io | 2 | 2 GB | 40 GB | ~$20-$25 | VM + Volume |
| Railway | 2 | 2 GB | 40 GB | ~$15-$66 | Nutzungsbasiert |
FAQ
Was kann ich mit AnythingLLM machen?
AnythingLLM lässt dich per RAG mit deinen Dokumenten chatten (PDFs, Word-Dateien, Webseiten und mehr). Du kannst eigene AI Agents bauen, mehrere Workspaces für verschiedene Themen erstellen und sogar eine API für deine eigenen Anwendungen bereitstellen. Es funktioniert mit praktisch jedem LLM Provider, du bist also nicht an einen Anbieter gebunden.
Wie verbinde ich AnythingLLM mit Ollama auf Sliplane?
Deploy einen Ollama-Service auf dem gleichen Sliplane-Server. AnythingLLM kann dann über das interne Netzwerk auf Ollama zugreifen unter http://ollama.internal:11434. Das Preset hat das schon konfiguriert. Du musst nur noch ein Model in Ollama pullen (z.B. llama2) und los geht's. Wenn du Hilfe mit Ollama brauchst, schau dir unseren Post über Self-Hosting von Open WebUI mit Ollama an.
Wie aktualisiere ich AnythingLLM?
Änder den Image-Tag in deinen Service-Einstellungen und redeploy. Prüf Docker Hub für die neueste stabile Version.
Welche Alternativen gibt es zu AnythingLLM?
Beliebte Alternativen sind Flowise (Drag-and-Drop LLM Flow Builder), Langflow (Low-Code AI Builder) und Open WebUI (Chat-Interface für Ollama und andere LLMs). Jedes Tool hat einen anderen Fokus, such dir das aus, das am besten zu deinem Use Case passt.
Kann ich AnythingLLM mit mehreren Usern nutzen?
Ja. AnythingLLM unterstützt einen Multi-User-Modus mit rollenbasierter Zugriffskontrolle. Du kannst Admin- und normale User-Accounts anlegen, jeder mit eigenen Workspaces und Berechtigungen. Aktivier es beim initialen Setup-Wizard oder später in den Settings.
