Ollama hat keine eigene Anmeldung. Wer Port 11434 erreicht, kann dein Modell nutzen und bei alten Versionen den Arbeitsspeicher auslesen. Diese Anleitung macht deinen GPU-Server in acht Schritten dicht.
Kurzfassung
- Aktualisiere Ollama auf 0.17.1 oder neuer. Ältere Versionen sind für Bleeding Llama (CVE-2026-7482) anfällig.
- Binde Ollama an
127.0.0.1 und setze nie OLLAMA_HOST=0.0.0.0. Brauchen Container wie Odysseus Zugriff, nimm die Adresse der Docker-Bridge.
- Sperre Port 11434 per ufw und veröffentliche ihn nie über Docker.
- Stell Open WebUI hinter Caddy mit HTTPS und Login oder mach es nur über Tailscale erreichbar.
- Brauchst du die API von außen, setz einen Auth-Proxy mit Token davor.
- Richte einen Alarm für ungewöhnliche GPU-Last ein und teste von außen, ob Port 11434 wirklich zu ist.
Warum das Thema jetzt drängt#
Bleeding Llama ist ein Speicherleck in Ollama, das ohne Anmeldung ausnutzbar ist. Die Lücke trägt die Kennung CVE-2026-7482 und einen CVSS-Wert von 9.1. Drei API-Aufrufe reichen, um Teile des Prozessspeichers abzugreifen: Prompts, System-Prompts und Umgebungsvariablen samt API-Keys. Entdeckt hat sie Cyera. Behoben ist sie seit Version 0.17.1.
Die Lücke trifft auf viele offene Server:
- Jede dritte API antwortet. In einem Scan von Intruder antworteten 31 % von über 5.200 direkt abgefragten Ollama-APIs ohne Zugangsschutz auf einen Testprompt. Das berichtet die Cloud Security Alliance.
- Gestohlene Rechenleistung greift an. Am 12. Juni 2026 beobachtete Sysdig erstmals, wie ein offener Ollama-Server als „Gehirn“ einer automatisierten Angriffskette diente. Eine CVE brauchte der Angreifer dafür nicht. Der offene Port genügte.
- Zugänge werden verkauft. Für „Operation Bizarre Bazaar“ zeichneten Honeypots von Pillar Security in rund 40 Tagen etwa 35.000 Angriffssitzungen auf, unter anderem gegen ungeschützte Ollama-Instanzen auf Port 11434. Die Zugänge wurden über den Marktplatz silver.inc weiterverkauft.
Das Fachwort dafür heißt LLMjacking: Jemand anderes nutzt deine GPU, und du zahlst die Rechnung.
Voraussetzungen
- Ein GPU-Server mit Ubuntu, zum Beispiel eine RTX 4000 Ada mit 20 GB oder eine L4 mit 24 GB
- Ollama als systemd-Dienst und Open WebUI per Docker installiert
- SSH-Zugang mit sudo-Rechten
- Für Caddy: eine Domain, die auf deinen Server zeigt
Schritt 1: Version prüfen und aktualisieren#
Prüf zuerst, welche Version läuft:
Steht dort eine Version unter 0.17.1, aktualisiere sofort. Das Installationsskript ersetzt nur das Programm. Deine Modelle bleiben erhalten.
Läuft Ollama bei dir im Container, hol das neue Image und starte den Container neu:
Aktualisiere Open WebUI gleich mit. Versionen bis 0.6.34 enthalten die Lücke CVE-2025-64496 in der Funktion „Direct Connections“. Ab 0.6.35 ist sie behoben.
Schritt 2: Ollama an localhost binden#
Ollama lauscht nach einer normalen Installation nur auf 127.0.0.1:11434. Das ist sicher. Offen wird der Server fast immer durch eine eigene Änderung.
Warum OLLAMA_HOST=0.0.0.0 der häufigste Fehler ist#
Open WebUI läuft in Docker und erreicht das localhost des Servers nicht. Viele Anleitungen lösen das mit OLLAMA_HOST=0.0.0.0. Damit lauscht Ollama auf allen Netzwerkkarten, auch auf der öffentlichen IP. Die saubere Lösung steht in Schritt 4.
Prüf, worauf Ollama gerade lauscht:
| Ausgabe | Bedeutung |
|---|
127.0.0.1:11434 | Nur lokal erreichbar. So soll es sein. |
0.0.0.0:11434 oder *:11434 | Auf allen IPv4-Adressen erreichbar. |
[::]:11434 | Auch über IPv6 erreichbar. |
Leg die Adresse fest, statt dich auf den Standard zu verlassen:
Trag im Editor ein:
Dann neu laden und prüfen:
Nutze immer systemctl edit. Änderungen direkt in der Datei ollama.service überschreibt das nächste Update.
Für Ollama im Container gilt dasselbe. Veröffentliche den Port nie mit -p 11434:11434, sondern nur lokal:
Sonderfall: Container, die Ollama über host.docker.internal erreichen#
Manche Oberflächen laufen in einem normalen Docker-Netz und sprechen Ollama über host.docker.internal an. Dazu gehört Odysseus mit dem Endpunkt http://host.docker.internal:11434/v1. Ein an 127.0.0.1 gebundenes Ollama erreichen diese Container nicht. Die übliche Abkürzung ist wieder OLLAMA_HOST=0.0.0.0, und damit steht die API im Internet.
Binde Ollama stattdessen an die Adresse der Docker-Bridge. Sie ist privat und von außen nicht erreichbar. So findest du sie:
Meist lautet sie 172.17.0.1. Trag sie über sudo systemctl edit ollama ein:
Die beiden Zeilen unter [Unit] sorgen dafür, dass Ollama erst nach Docker startet. Vorher existiert die Bridge nicht.
Mit aktiver Firewall musst du den Weg vom Container zum Host freigeben. Die Regel gilt nur für die privaten Docker-Netze:
Zwei Dinge ändern sich dadurch:
- Der Befehl
ollama auf dem Server braucht die Adresse: OLLAMA_HOST=172.17.0.1:11434 ollama list.
- Open WebUI aus Schritt 4 bekommt
OLLAMA_BASE_URL=http://172.17.0.1:11434.
Starte Ollama nicht mehr von Hand mit ollama serve, sondern nur über den Dienst. Sonst gilt die Einstellung nicht.
Schritt 3: Port 11434 per ufw sperren#
Die Firewall ist deine zweite Schicht. Sie schützt dich, falls jemand die Bind-Adresse später wieder ändert. Die Grundlagen stehen in unserem Tutorial Firewall mit ufw einrichten.
Die Ports 80 und 443 brauchst du nur für Caddy. Nutzt du ausschließlich Tailscale, lass sie weg.
Prüf danach, ob eine alte Freigabe für 11434 existiert, und lösch sie:
Die 5 steht für die Nummer der Regel aus der Liste.
Achtung: Docker umgeht ufw#
Ein mit -p 3000:8080 veröffentlichter Container-Port ist von außen erreichbar, auch wenn ufw ihn nicht freigibt. Docker schreibt eigene Firewall-Regeln, die vor ufw greifen. Veröffentliche Ports deshalb immer mit 127.0.0.1: davor. Mehr dazu in Docker-Container härten.
So findest du offene Container-Ports:
Jede Zeile mit 0.0.0.0: oder [::]: ist öffentlich.
Schritt 4: Open WebUI hinter Caddy mit Login#
Starte Open WebUI im Host-Netzwerk. Dann erreicht es Ollama über 127.0.0.1, und Ollama muss nicht geöffnet werden. Deine Chats und Konten liegen im Volume und bleiben beim Neuanlegen des Containers erhalten.
Erzeuge zuerst einen festen Schlüssel für die Sitzungen und heb ihn auf:
Was die Schalter tun:
HOST=127.0.0.1 bindet die Oberfläche an localhost. Nur Caddy kommt noch heran.
WEBUI_SECRET_KEY hält Anmeldungen über Container-Neustarts hinweg gültig. Ohne festen Wert erzeugt jeder neue Container einen neuen Schlüssel, und alle müssen sich neu anmelden.
- Lass
WEBUI_AUTH auf dem Standard. Mit WEBUI_AUTH=false gibt es keinen Login mehr.
Zwei Einstellungen prüfst du danach in der Oberfläche. Open WebUI speichert sie nach dem ersten Start in der Datenbank. Umgebungsvariablen ändern sie bei einer bestehenden Installation deshalb nicht mehr.
- Registrierung schließen: Leg zuerst dein Admin-Konto an. Schalte danach im Admin-Panel unter Einstellungen, Allgemein die neuen Registrierungen ab.
- Direct Connections aus lassen: Die Funktion, in der CVE-2025-64496 steckte, ist im Standard abgeschaltet. Prüf im Admin-Panel unter Einstellungen, Verbindungen, dass das so bleibt.
Prüf die Bindung:
Jetzt kommt Caddy davor. Die Installation zeigt unser Tutorial Reverse Proxy mit Caddy. Trag in /etc/caddy/Caddyfile ein:
Caddy holt das Zertifikat von allein. Der Login von Open WebUI ist dein Zugangsschutz. Vergib starke Passwörter und leg neue Nutzer nur selbst an.
Ein zusätzliches Basic Auth vor Open WebUI führt oft zu Login-Schleifen, weil die Oberfläche den Authorization-Header selbst nutzt. Willst du eine zweite Schicht, begrenze den Zugriff auf feste IP-Adressen:
Schritt 5: Alternative: Zugriff nur über Tailscale#
Braucht nur dein Team Zugriff, muss Open WebUI gar nicht ins Internet. Mit Tailscale hängt dein Server in einem privaten Netz, das nur deine Geräte erreichen. Die Einrichtung zeigt Server absichern mit Tailscale.
Ist der Server im Tailnet, gib Open WebUI dort frei:
Die Oberfläche ist jetzt unter der ts.net-Adresse deines Servers erreichbar, mit HTTPS und nur für Geräte in deinem Tailnet. Die Ports 80 und 443 bleiben in ufw geschlossen.
Dafür müssen in deinem Tailnet MagicDNS und HTTPS-Zertifikate aktiv sein. Fehlt eines davon, zeigt der Befehl einen Link, über den du es einschaltest. Den Status siehst du mit tailscale serve status.
Verwechsle serve nicht mit funnel. Der Befehl tailscale funnel macht den Dienst öffentlich.
Schritt 6: Auth-Proxy für die Ollama-API#
Manchmal braucht eine andere Anwendung die API direkt. Öffne dafür nie Port 11434. Es gibt zwei sichere Wege.
Weg 1: SSH-Tunnel. Für einzelne Entwickler reicht das völlig:
Solange der Tunnel steht, erreichst du die API auf deinem Rechner unter http://127.0.0.1:11434.
Weg 2: Caddy als Auth-Proxy. Für Server-zu-Server-Zugriffe prüft Caddy ein Token, bevor es die Anfrage weiterreicht. Erzeuge ein Token:
Ergänze das Caddyfile:
Drei Dinge passieren hier:
- Ohne das richtige Token antwortet Caddy mit 401. Die Anfrage erreicht Ollama nie.
- Die Pfadliste lässt nur Inferenz zu. Die Endpunkte
/api/create, /api/push und /api/blobs, über die Bleeding Llama läuft, bleiben von außen gesperrt.
header_up Host ist nötig, weil ein an localhost gebundenes Ollama fremde Hostnamen mit 403 ablehnt.
Schütze die Datei, denn sie enthält jetzt ein Geheimnis:
Teste beide Fälle:
Der erste Aufruf muss 401 liefern, der zweite die Modellliste.
Schritt 7: Logging und Alarm bei ungewöhnlicher GPU-Last#
Eine gekaperte GPU verrät sich durch Last zu Zeiten, in denen niemand arbeitet. Diesen Alarm baust du auf dem Stack aus unserer Monitoring-Serie auf: Teil 1: Prometheus, Grafana und Alerts und Teil 2: Zentrales Logging mit Loki.
GPU-Metriken erfassen#
Der Stack aus Teil 1 kennt noch keine GPU. Ergänze in ~/monitoring/docker-compose.yml einen Exporter. Er braucht das NVIDIA Container Toolkit, das du aus Odysseus mit GPU kennst.
Trag den Exporter in prometheus/prometheus.yml als neuen Job ein:
Alarmregeln#
Ergänze in prometheus/alert-rules.yml eine zweite Gruppe:
Die Funktion hour() rechnet in UTC. Pass die Stunden und Schwellen an deinen Alltag an. Läuft bei dir nachts ein Batch-Job, verschieb das Zeitfenster.
Die Benachrichtigung per E-Mail oder Telegram hast du in Teil 1 eingerichtet. Sie gilt auch für die neuen Regeln.
Ollama-Logs in Loki#
Ollama schreibt als systemd-Dienst ins Journal. Hast du in Teil 2 den optionalen Abschnitt zum journald aktiviert, liegen die Logs schon in Loki. Jede Anfrage steht in einer Zeile mit [GIN], samt IP-Adresse und Pfad. Prüf das Format einmal direkt:
Diese drei Abfragen helfen dir in Grafana:
Alle Anfragen an die API. Als Zeitreihe siehst du sofort, wann Last entsteht.
Anfragen, die nicht von localhost kommen. Bei einem an localhost gebundenen Ollama bleibt diese Liste leer. Jeder Treffer ist ein Warnsignal. Im Sonderfall aus Schritt 2 stehen hier die privaten Adressen deiner Container. Dann ist jede Adresse verdächtig, die nicht mit 172. beginnt.
Aufrufe der Endpunkte, über die Bleeding Llama läuft. Legst du selbst gerade kein Modell an, sollte hier nichts stehen. Aus dieser Abfrage kannst du in Grafana unter Alerting eine eigene Alarmregel bauen.
Schritt 8: Selbsttest: Ist mein Server von außen erreichbar?#
Teste von einem anderen Rechner aus, nicht vom Server selbst. Nimm deinen Laptop oder dein Handy im Mobilfunknetz.
| Ergebnis | Bedeutung |
|---|
| Timeout oder „Connection refused“ | Der Port ist zu. Gut. |
| JSON mit einer Versionsnummer | Deine Ollama-API ist offen. Zurück zu Schritt 2 und 3. |
| Die Login-Seite von Open WebUI | Port 8080 ist offen. Zurück zu Schritt 4. |
Teste auch IPv6. Dein Server hat ein eigenes IPv6-Netz, und viele vergessen es:
Ein Portscan zeigt alle typischen Ports auf einmal:
Alle vier sollten filtered oder closed melden. Scanne nur deine eigenen Server.
Zuletzt der Blick von innen:
Öffentlich lauschen sollten nur SSH und, falls du Caddy nutzt, die Ports 80 und 443.
Optional: ein VPS als vorgelagerter Reverse Proxy#
Du kannst den GPU-Server ganz aus dem öffentlichen Netz nehmen. Ein kleiner V-Server übernimmt dann Caddy und HTTPS. Der GPU-Server hängt nur im Tailnet und hat außer SSH keinen offenen Port.
Auf dem GPU-Server gibst du Open WebUI wie in Schritt 5 mit tailscale serve frei. Auf dem VPS, der im selben Tailnet hängt, leitet Caddy dorthin weiter:
Der Vorteil: Scanner finden auf der IP deines GPU-Servers nichts. Und du kannst den Proxy härten oder tauschen, ohne die GPU-Maschine anzufassen.
Wenn dein Server offen war#
War Port 11434 mit einer Version vor 0.17.1 erreichbar, geh von einem Datenabfluss aus.
- Aktualisiere Ollama und schließ den Port (Schritt 1 bis 3).
- Tausche alle Schlüssel, die der Ollama-Prozess kannte: API-Keys in Umgebungsvariablen, Tokens, Zugangsdaten zu angebundenen Diensten.
- Prüf mit
ollama list, ob Modelle auftauchen, die du nicht geladen hast.
- Durchsuch die Logs nach fremden Zugriffen:
- Standen personenbezogene Daten in den Prompts, sprich mit deinem Datenschutzbeauftragten über eine mögliche Meldepflicht.
Probleme?#
Open WebUI findet keine Modelle. Prüf OLLAMA_BASE_URL. Im Host-Netzwerk muss dort http://127.0.0.1:11434 stehen. Hast du die Adresse früher in der Oberfläche geändert, gilt der dort gespeicherte Wert. Korrigier ihn in den Admin-Einstellungen unter Verbindungen.
403 Forbidden hinter dem Proxy. Im Caddyfile fehlt header_up Host 127.0.0.1:11434.
401 trotz richtigem Token. Der Header muss exakt Authorization: Bearer DEIN_TOKEN lauten. Achte auf Leerzeichen und Zeilenumbrüche im Token.
Port 8080 ist trotz ufw offen. Der Container läuft mit -p statt im Host-Netzwerk. Starte ihn wie in Schritt 4 neu.
Der GPU-Exporter startet nicht. Meist fehlt das NVIDIA Container Toolkit. Prüf mit docker run --rm --gpus all ubuntu nvidia-smi, ob Docker die GPU sieht.
FAQ#
Bin ich sicher, wenn ich nur aktualisiere?
Nein. Das Update schließt Bleeding Llama. Eine offene API bleibt aber für jeden nutzbar, auch ohne Lücke. Der Fall von Sysdig kam ganz ohne CVE aus.
Hat Ollama eine eigene Authentifizierung?
Nein. Die API kennt weder Passwort noch Token. Den Schutz übernimmt das Netzwerk: localhost, Firewall, Proxy oder VPN.
Reicht es, den Port zu ändern?
Nein. Scanner prüfen nicht nur Port 11434. Ein anderer Port verzögert die Entdeckung um Stunden, nicht mehr.
Gilt das auch für vLLM?
Ja, im Prinzip. Auch ein vLLM-Server gehört an localhost und hinter einen Proxy. vLLM bringt mit --api-key immerhin eine einfache Token-Prüfung mit.
Betrifft mich das mit Odysseus?
Ja, wenn Odysseus lokale Modelle über Ollama nutzt. Odysseus spricht Ollama über host.docker.internal an. Hast du Ollama dafür mit OLLAMA_HOST=0.0.0.0 gestartet, ist deine API offen. Stell auf die Docker-Bridge um, wie im Sonderfall in Schritt 2 beschrieben, und mach danach den Selbsttest aus Schritt 8.
Wie geht es weiter?#
GPU-Server sicher starten
Dedizierte NVIDIA-GPU ohne Time-Slicing, aus deutschen Rechenzentren, monatlich kündbar. Einstieg mit der RTX 4000 Ada (20 GB) oder der L4 (24 GB), in Minuten startklar.
·
L4 ansehen ·
Alle GPU-Server