barby/hermes-erkenntnisse
1
0
Fork 0
Code Issues Pull requests Actions Packages Projects Releases Wiki Activity
hermes-erkenntnisse/PROJEKT-UEBERBLICK.md

6.7 KiB
Raw Permalink Blame History

🎯 Barby KI Studio — Projekt-Überblick

Für fremde Claude-Code-Clients: in 5 Minuten verstehen, was das hier ist. Stand 2026-07-20, gespiegelt aus nachtplan.md (Desktop, Bärs Windows-Client).

Was ist das Barby KI Studio?

Eine komplette lokale Kreativ-Suite für KI-generierte Bild-/Video-/Audio-Inhalte, Ziel: so nah an Google Veo wie möglich, komplett steuerbar über das Web-Portal cp.go-ki.eu.

Kette: Prompt (Mini-Drehbuch) → text2img/Charakter → Assets (Turnaround/3D/freigestellt/Props) → LoRA → Szene → Wan2.2-Video → deutsche Stimme → Lip-Sync → alles im Portal, „Veo3-einfach" bedienbar.

Der Studio-Charakter tritt nach außen immer als „Christina Fischer" auf (nie als „Barbie"/„Barby" — das ist nur der interne Name für die Assistenz-Persona, wenn Bär und Assistenz unter sich reden).

Wer/Was arbeitet daran

  • Bär (Matthias) — menschlicher Firewall, Legal-Owner, trifft alle Tool-/Use-Case-Entscheidungen.
  • Mehrere Claude-Code-Agenten parallel (Multi-Agent-Pflicht, per Hook erzwungen): Asset-Stack, Textmodelle/GPU-Management, Portal, Netzwerk/Infra, und dieser Dokumentar-Agent (dokumentiert nur, baut/repariert/generiert nichts selbst).

Maschinen

Maschine Adresse Rolle
VM302 (rdp-go-ki-eu) 173.208.162.43 · Tailscale 100.104.5.57 · LAN 10.10.10.102 A40-GPU-Workstation, 200 GB/32 Cores. Läuft: Studio-GUI :8502, ComfyUI :8188, LiteLLM :4000, Ollama :11434, pyautogui-Fernsteuerung :3336
gpu1 173.208.162.26 · TS 100.108.247.79 Proxmox-Host, ZFS-Dataset mit Modellen, per Samba als R: (\\10.10.10.1\vm302-modelle) auf VM302 gemountet. Storagebox-Mount
pm1 176.9.23.27 · TS 100.71.32.93 Proxmox, im selben Cluster wie gpu1 (consoro-cluster, Quorum 2) — /etc/pve ist clusterweit geteilt, vor Firewall-Änderungen immer pvecm status prüfen
Virginia 159.195.19.76 · TS 100.123.216.107 DERP-US + KASM (kasm.consoro.eu, RDP-Gateway) + 300 GB Storagebox-Cache (liefert Hetzner-DE-Storage in 36 ms statt 111+ ms an Kansas City)
Mailserver / DERP-DE 27.123.245.70 DERP-Relay Deutschland
Portal (VM201) TS 100.114.24.89:9090 cp.go-ki.eu — FastAPI-SPA, /opt/gpu1-status/app.py, dahinter npm-Reverse-Proxy
nas2 (Bär zuhause) TS 100.111.0.111 Synology, hält u.a. Obsidian-Vault /volume1/Obsidian/Wissen/. DS-Lite/CGNAT → Jitter nicht fixbar
Hub 100.87.20.94 Zentraler Orchestrierungs-/MCP-Knoten, von dem aus SSH/Doku-Verteilung läuft

Wichtig: VM302 selbst hat keine großen Modelle lokal auf M: (das ist eine lokale 599-GB-Platte) — die Modelle liegen auf gpu1 und kommen über R: (Samba) sowie Z:\ki-modelle-backup\comfyui-models\ (Storagebox) rein.

Dienste auf VM302 (Kernstück des Studios)

  • ComfyUI :8188 — Bild-/Video-Pipeline (text2img, Undress, Masken/Inpaint, Wan2.2-Video, RMBG-Freistellen)
  • Studio-GUI :8502 — eigenes Web-Frontend, /health prüfbar
  • LiteLLM :4000, Ollama :11434 — Text-/Chat-Modelle (aktuell nur 3 kleine Modelle geladen, Ausbau auf Coding-/Uncensored-/Groß-Modelle offen)
  • pyautogui :3336 — Fernsteuerung/Screenshot-Automatisierung für Verifikation

Alle Dienste, die im Benutzerkontext laufen sollen, müssen als Windows-Benutzer mcp laufen (nicht SYSTEM, nicht ad-hoc unter matthias) — Bär-Regel vom 2026-07-20, damit sie Neustarts überleben und matthias sie trotzdem nutzen kann (API + Dateizugriff).

Regeln (bindend, siehe nachtplan.md für Volltext)

  1. Jedes Ergebnis dreifach: inline im Chat + B:\ (Bild/Video/Audio-Ablage, goldene Regel) + Matrix-Raum „Barby Studio Ergebnisse".
  2. Nichts als „fertig" markieren ohne getesteten Beweis (Video ansehen, ls -la, git log, Health-Check).
  3. Keine Talking-Heads, immer Ganzkörper, keine Anomalien, echte Bewegung.
  4. Deutsche Stimme akzentfrei ohne Dialekt, Lip-Sync synchron, konsistente Charaktere.
  5. Christina-Fischer-Regel (s.o.) in allen Voice-Scripts/Overlays.
  6. Lokal-first, günstigstes Modell das reicht, max. 3 Tasks parallel.
  7. Klare Fixes selbst umsetzen statt als Blocker zu melden — nur echte Blocker (Bär-Credentials, irreversible Aktionen) melden.
  8. Modelle nie über VM302 kopieren (gpu1 bleibt Quelle), kein Reboot ohne Bär-OK.
  9. Vor jedem Proxmox-Firewall-Eingriff pvecm status (Cluster-Falle).
  10. Dokumentation nach jedem Meilenstein: Forgejo + Obsidian + docs.consoro.it, Nachtplan alle 30 Minuten aktualisieren.

Wo steht was (Doku-Landkarte)

Was Wo
Zentrale Live-Planung, Tagesstand C:\Users\matthias\Desktop\nachtplan.md (Bärs Windows-Client, dieser Überblick wird daraus gespiegelt)
Erkenntnisse/Archiv Forgejo git.consoro.eu/barby/hermes-erkenntnisse
Claude-Config, Skills, Hooks Forgejo git.consoro.eu/barby/claude-config
Langfrist-Wissen, Vault Obsidian /volume1/Obsidian/Wissen/ auf nas2
Zusätzliche Doku docs.consoro.it
Ergebnis-Abwurf (Bilder/Videos/Audio) B:\ auf VM302 (bilder/videos/audio/characters/screenshots/archive)
Fertige Ergebnisse an Bär Matrix-Raum !wRgSkVkLNpGzehtWie:matrix.koerners.org, Poster-Skript B:\barby\Post-ToMatrix.ps1
Skills (tailscale-admin, berlin-time, doku-verteilen, comfyui-vm302, gpu1-zugang, ...) verteilt via /opt/claude-deploy/sync-to-gitlab.sh → Forgejo barby/claude-config

Aktueller Grobstand (siehe nachtplan.md für Details/Beweise)

  • Erledigt & verifiziert: Charakter-Konsistenz (IPAdapter), text2img, Undress-Pipeline, Masken/Inpaint-Stack, Wan2.2-Video, deutsche Stimme (edge-tts), Studio-GUI, RMBG-Freistellen (Alpha-PNG, A1), Netzwerk-/Sicherheits-Härtung (Firewall, Tailscale direkt, RSC-Tuning, fail2ban), Hook-Bereinigung VM302 (27 tote Mac-Hook-Einträge entfernt, ~8 Min Wartezeit/Session gespart, fehlender prompt-injection-defender-Hook nachgetragen — vom Master 2026-07-20 19:10 verifiziert).
  • In Arbeit: Lip-Sync bei Ganzkörper-Videos (Crop→LipSync→Composite-Ansatz), Portal-Integration des Studio-Tabs, Turnaround-Asset-Erzeugung (A2, ControlNet-OpenPose-Unterbau steht).
  • Größtes offenes Kern-Deliverable: Portal cp.go-ki.eu — „Veo3-einfach"-Bedienung (ein Prompt-Feld, Anhänge, One-Click), Whitelisting VM302, Tab-Anbindung Barby Studio/GPU-Stack/KI-Chat/Ton & Musik.
  • Bekannte Fallen (aus eigenen Fehlern gelernt): Bär läuft über Starlink, nicht über Tailscale (Anmeldeprotokoll prüfen, nicht raten). Immer erst prüfen, welcher Prozess einen Port besitzt, bevor dessen Config gelesen wird. Nie eine Einzel-Messung als Gesamtstrecke ausgeben.

Dieser Überblick wird vom Dokumentar-Agent gepflegt und gespiegelt (Forgejo + Obsidian). Quelle der Wahrheit für den Tagesstand bleibt nachtplan.md auf dem Desktop.