Ziel: Die drei Kernkomponenten auf dem Nobara-System installieren und verbinden. Alles laeuft lokal, ohne Cloud-Zugang.

Komponenten und ihre Rollen:

Wichtiges Prinzip: LM Studio und das Modell laufen auf dem Host. Open WebUI spricht nur ueber das Netzwerk (Port 1234) mit LM Studio. Das bedeutet: Beim Aktualisieren oder Ersetzen des LM-Studio-AppImages bricht die WebUI-Verbindung nicht ab - relevant sind nur die Modelldateien in ~/.lmstudio, und die sind kein Teil des AppImages.

Falls nvidia-smi nicht gefunden wird, muss zuerst der Grafikkarten-Treiber installiert werden.

Warum AppImage: Es ist eine einzige, in sich geschlossene Datei. Ein spaeteres Update bedeutet nur, die Datei zu ersetzen - Modelle, Einstellungen und Skripte sind nicht darin enthalten.

Schritt 2.1 - Herunterladen:

Das aktuellste LM-Studio-AppImage herunterladen und in /home/rootai/Downloads ablegen.

Schritt 2.2 - Ausfuehrbar machen:

  chmod +x /home/rootai/Downloads/lm-studio-*.AppImage

Schritt 2.3 - Starten (FUSE-Workaround fuer Nobara/Fedora):

Fedora-basierte Systeme aktivieren FUSE fuer normale Benutzer nicht standardmaessig. Daher kann das AppImage mit einem FUSE- oder Mount-Fehler scheitern. Falls das passiert:

  cd /home/rootai/Downloads
  ./lm-studio-*.AppImage --appimage-extract
  ./lm-studio-*/AppRun

Dies entpackt das AppImage in einen Ordner und startet es ueber AppRun. Das Verhalten ist exakt wie beim normalen AppImage.

Schritt 2.4 - Modell laden:

In LM Studio, Bereich “Modelle”: nach Qwen3 27B suchen und die GGUF-Variante (ca. 16 GB) herunterladen. Die Modelle werden in ~/.lmstudio abgelegt - dieses Verzeichnis ueberlebt jedes AppImage-Update.

Schritt 2.5 - lms global verlinken:

LM Studio stellt das lms-Kommando bereit (wird vom Skript start-ai.sh genutzt). Ein stabiler Symlink verhindert, dass Skripte vom exakten AppImage-Dateinamen abhaengen:

  sudo ln -sf /home/rootai/Downloads/lm-studio-*.AppImage /usr/local/bin/lms

Hinweis: Nach einem LM-Studio-Update (neue Versionsnummer im Dateinamen) diesen Symlink neu erstellen, sonst funktioniert lms nicht mehr. Das ist der einzige Teil des Stacks, der nach einem Update angepasst werden muss.

Schritt 2.6 - Pruefen:

  lms ls

Erwartet: Der Befehl laeuft und listet das Modell.

Schritt 3.1 - Server starten:

In LM Studio, Bereich “Developer”: Port 1234 setzen und “Start Server” klicken. (Das lms-Kommando laedt unten das Modell und startet den Server automatisch.)

Schritt 3.2 - Modell laden:

  lms load qwen/qwen3.8-27b

Warten, bis der Ladevorgang abgeschlossen ist (ca. 16 GB in den VRAM, dauert wenige Sekunden).

Schritt 3.3 - OpenAI-kompatible API testen:

  curl -s http://127.0.0.1:1234/v1/models

Erwartet: JSON-Ausgabe, die qwen3.8-27b enthaelt. Wenn das funktioniert, ist die LLM-Seite fertig.

Schritt 4.1 - Image ziehen:

  podman pull ghcr.io/open-webui/open-webui

Schritt 4.2 - Container anlegen und starten:

  podman run -d --name open-webui -p 3000:8080 -v open-webui-data:/app/backend/data --restart unless-stopped ghcr.io/open-webui/open-webui

Erklaerung der Parameter:

* –name open-webui: fester Name, wird von start-ai.sh verwendet (podman restart open-webui) * -p 3000:8080: Host-Port 3000 wird auf Container-Port 8080 gemappt * -v open-webui-data:/app/backend/data: alle Einstellungen, Benutzer und die Wissensdatenbank liegen in diesem Volume und ueberleben Container-Updates * –restart unless-stopped: automatischer Neustart nach einem Reboot

Schritt 4.3 - Pruefen, ob er laeuft:

  podman ps | grep open-webui
  curl -sI http://127.0.0.1:3000 | head -1

Erwartet: eine HTTP-Zeile mit 200 oder 302.

Schritt 4.4 - Im Browser einrichten:

http://<server-ip>:3000 oeffnen und als Admin anmelden, dann:

1. Einstellungen, Verbindungen: OpenAI-API hinzufuegen

• Basis-URL: http://host.docker.internal:1234/v1
• API-Schluessel: ein beliebiger, nicht leerer Wert (LM Studio ignoriert ihn)
• Test: qwen3.8-27b muss in der Modellliste erscheinen
• Warum host.docker.internal: Im Inneren des Containers zeigt localhost auf den Container selbst, nicht auf den Host

2. Einstellungen, Modelle: nomic-embed-text-v1.5 als Embedding-Modell setzen (Voraussetzung fuer RAG, Details in Teil 2)

Hinweis: Das Kunden-Benutzerkonto (artz) und die Modell-Einstellungen werden in Teil 2 eingerichtet.

Schritt 5.1 - Im Hintergrund starten mit Logfile:

  nohup ~/comfyui-env/bin/python ~/comfyui/main.py --listen --port 8188 >> ~/comfyui.log 2>&1 &

Schritt 5.2 - Pruefen:

  curl -s http://127.0.0.1:8188/system_stats

Erwartet: JSON mit System-Statistiken. Bei Problemen:

  tail -f ~/comfyui.log

Schritt 5.3 - In Open WebUI verbinden:

Einstellungen, Verbindungen: ComfyUI hinzufuegen.

* URL: http://host.docker.internal:8188 (gleicher Grund wie oben - Open WebUI laeuft im Container) * Modell: Z-Image

Datei: /home/rootai/start-ai.sh (das vorhandene Skript, unveraendert)

  #!/bin/bash
  # warten, bis Systemdienste und der LM-Studio-Server hochgefahren sind
  sleep 15

  # das Qwen-Modell in LM Studio laden (startet auch den Server)
  lms load qwen/qwen3.8-27b

  # dem Modell ein paar Sekunden zur voelllaendigen Initialisierung geben
  sleep 10

  # Open WebUI neu starten, damit es sich wieder mit der LM-Studio-API verbindet
  podman restart open-webui

Ausfuehrbar machen:

  chmod +x /home/rootai/start-ai.sh

Die Reihenfolge ist wichtig: zuerst LM Studio, dann das Modell, dann Open WebUI.

Nach einem LM-Studio-Update: Nur Schritt 2.5 (lms-Symlink neu erstellen) ist noetig. Das Skript, der Container und die WebUI-Konfiguration bleiben unberuehrt.

Alle drei Pruefungen ausfuehren:

  # 1. LM-Studio-API
  curl -s http://127.0.0.1:1234/v1/models

  # 2. Open WebUI erreichbar
  curl -sI http://127.0.0.1:3000 | head -1

  # 3. ComfyUI erreichbar
  curl -s http://127.0.0.1:8188/system_stats | head -c 100

Danach im Browser:

1. http://<server-ip>:3000 oeffnen und anmelden (als Admin) 2. Ein Chat mit qwen3.8-27b starten und eine einfache Frage stellen, ohne Wissensdatenbank 3. Erwartet: eine normale Antwort ohne Quellenangaben (Quellenangaben kommen mit RAG, siehe Teil 2)

Ziel: Die fuenf Abrechnungsdokumente in die Wissensdatenbank “Zahnarztabrechnung” laden, das Modell “Zahn-Abrechnungs-Assistent” einrichten und pruefen, dass die Antworten aus den Dokumenten stammen und mit korrekten Quellenangaben versehen sind.

Voraussetzung: Teil 1 ist abgeschlossen - LM Studio serviert qwen3.8-27b auf Port 1234 und Open WebUI ist auf Port 3000 erreichbar.

RAG arbeitet in zwei Schritten:

1. Der Dokumenttext wird in Abschnitte (Chunks) zerlegt und von einem Embedding-Modell in Vektoren umgewandelt. 2. Zur Chatzeit wird die Frage auf dieselbe Weise in einen Vektor umgewandelt. Die aehnlichsten Abschnitte werden abgerufen und als Quellenangabe angezeigt.

Ohne Embedding-Modell kann Schritt 1 nicht stattfinden und die Wissensdatenbank bleibt leer.

1. Open WebUI, Einstellungen, Modelle 2. Als Embedding-Modell: nomic-embed-text-v1.5 setzen (eingebaut - kein Ollama und kein zusaetzliches LM-Studio-Modell noetig) 3. Pruefen: In der Modellliste wird das Embedding-Modell als aktiv angezeigt

Ausweichloesung: Falls die deutsche Abrufqualitaet mangelhaft ist: bge-m3 ueber Ollama installieren und das Embedding-Modell darauf umstellen.

Vorkontrolle fuer jedes PDF (ca. 30 Sekunden):

1. Im Browser oder PDF-Betrachter oeffnen 2. Text markieren und kopieren 3. Wird Text kopiert: in Ordnung 4. Zeigt die Seite nur ein Bild: OCR-Problem (betrifft die BEB-Datei)

Schritt 2.1 - SGB V kuezen (optional, empfohlen):

Das komplette SGB V umfasst 577 Seiten und zieht Inhalte aus dem Apotheken- und Krankenhausbereich mit hinein, die bei zahnmedizinischen Fragen als Quellenangabe auftauchen koennen. Falls solches Rauschen in den Quellen sichtbar wird:

1. Das Dokument aus der Wissensdatenbank entfernen 2. Eine gekuerzte Version hochladen, die nur Teil 3, Paragraphen 55 bis 66 (die zahnmedizinisch relevanten Kapitel) enthaelt 3. Auf den Abschluss der Verarbeitung warten

Symptom ohne OCR: Die BEB-Zitate fehlen oder sind unsinnig, waehrend alle anderen Dokumente funktionieren. Ursache: Die BEB-Seiten sind gescannte Bilder, die Textextraktion liefert nichts.

Loesung:

1. Open WebUI, Admin, Einstellungen, Dokumente 2. Option “PDF Extract Images (OCR)” aktivieren 3. Den alten BEB-Eintrag in der Wissensdatenbank loeschen (wichtig - sonst bleibt der leere, veraltete Index erhalten) 4. Das BEB-PDF erneut hochladen 5. Auf den Status “verarbeitet” warten

OCR dauert deutlich laenger als die normale Textextraktion - bei groesseren PDFs einige Minuten. Das ist normal.

1. Open WebUI, Einstellungen, Benutzer 2. Neuen Benutzer anlegen 3. Benutzername: artz 4. Passwort: gemeinsam mit dem Kunden festlegen und sicher uebergeben 5. Rolle: Benutzer (keine Admin-Rechte)

Der Benutzer artz erhaelt im Schritt 5 die Leseberechtigung fuer die Wissensdatenbank.

1. Open WebUI, Wissensdatenbanken, neue Wissensdatenbank anlegen 2. Name: Zahnarztabrechnung 3. Dokumente hinzufuegen: alle fuenf PDFs hochladen (BEB nach Schritt 3) 4. Warten, bis jedes Dokument den Status “verarbeitet” hat und keine Fehler angezeigt werden 5. Berechtigungen: Benutzer artz, Zugriff Lesen

Schnelltest (vor dem Modell):

1. Neue Chat-Sitzung, Wissensdatenbank Zahnarztabrechnung anhaengen 2. Frage: Welcher gesetzliche Festzuschuss gilt fuer eine Krone? 3. Erwartet: Antwort mit sichtbaren Quellenangaben aus dem FZ-Kompendium 2025

Anlegen:

1. Open WebUI, Einstellungen, Modelle, neu anlegen 2. Name: Zahn-Abrechnungs-Assistent 3. Basismodell: qwen3.8-27b (aus LM Studio) 4. Wissensdatenbank Zahnarztabrechnung anhaengen

Systemprompt (Deutsch, direkter Stil):

  Du bist ein Experte fuer die deutsche Zahnarzt- und Zahntechnikerabrechnung
  (GOÄ/GOZ, KZBV FZ-Kompendium, BEL und BEB, SGB V).

  Antworte direkt auf Basis der bereitgestellten Dokumente.
  Nenne immer:
  - die konkrete Positionsnummer
  - den Preis
  - die Edition der Preisliste (z. B. BEB 2024, BEL 2025)
  - das Quelldokument

  Stelle keine Rueckfragen. Wenn Informationen fehlen, sage das klar,
  statt zu raten.
  Diese Abfragen erteilen keine Rechtsberatung.

Zusaetzliche Einstellungen:

1. Das eingebaute Ask-User-Tool deaktivieren (Einstellungen, Tools). Sonst stellt das Modell Rueckfragen (z. B. “Welche Zahnnummer?”), statt direkt aus den Dokumenten zu antworten. 2. In der Chat-Oberflaeche als Antwortmodell auswaehlen

1. Browser: http://<server-ip>:3000, als artz anmelden 2. Modell Zahn-Abrechnungs-Assistent auswaehlen 3. Die folgenden Fragen nacheinander stellen:

Checkliste fuer jede Antwort:

* Quellenangabe sichtbar (Dokumentenname und Abschnitt) * Konkrete Positionsnummer und Preis * Edition genannt (BEB 2024 / BEL 2025 / FZ 2025) * Bei fehlenden Informationen: klare Aussage statt erfundener Antwort