77 lines
6.7 KiB
Markdown
77 lines
6.7 KiB
Markdown
# 🎯 Barby KI Studio — Projekt-Überblick
|
|
|
|
*Für fremde Claude-Code-Clients: in 5 Minuten verstehen, was das hier ist. Stand 2026-07-20, gespiegelt aus `nachtplan.md` (Desktop, Bärs Windows-Client).*
|
|
|
|
## Was ist das Barby KI Studio?
|
|
|
|
Eine komplette lokale Kreativ-Suite für KI-generierte Bild-/Video-/Audio-Inhalte, Ziel: so nah an Google Veo wie möglich, komplett steuerbar über das Web-Portal **cp.go-ki.eu**.
|
|
|
|
**Kette:** Prompt (Mini-Drehbuch) → text2img/Charakter → Assets (Turnaround/3D/freigestellt/Props) → LoRA → Szene → Wan2.2-Video → deutsche Stimme → Lip-Sync → alles im Portal, „Veo3-einfach" bedienbar.
|
|
|
|
Der Studio-Charakter tritt nach außen **immer als „Christina Fischer"** auf (nie als „Barbie"/„Barby" — das ist nur der interne Name für die Assistenz-Persona, wenn Bär und Assistenz unter sich reden).
|
|
|
|
## Wer/Was arbeitet daran
|
|
|
|
- **Bär** (Matthias) — menschlicher Firewall, Legal-Owner, trifft alle Tool-/Use-Case-Entscheidungen.
|
|
- **Mehrere Claude-Code-Agenten parallel** (Multi-Agent-Pflicht, per Hook erzwungen): Asset-Stack, Textmodelle/GPU-Management, Portal, Netzwerk/Infra, und dieser **Dokumentar-Agent** (dokumentiert nur, baut/repariert/generiert nichts selbst).
|
|
|
|
## Maschinen
|
|
|
|
| Maschine | Adresse | Rolle |
|
|
|---|---|---|
|
|
| **VM302** (rdp-go-ki-eu) | 173.208.162.43 · Tailscale 100.104.5.57 · LAN 10.10.10.102 | A40-GPU-Workstation, 200 GB/32 Cores. Läuft: Studio-GUI :8502, ComfyUI :8188, LiteLLM :4000, Ollama :11434, pyautogui-Fernsteuerung :3336 |
|
|
| **gpu1** | 173.208.162.26 · TS 100.108.247.79 | Proxmox-Host, ZFS-Dataset mit Modellen, per Samba als `R:` (`\\10.10.10.1\vm302-modelle`) auf VM302 gemountet. Storagebox-Mount |
|
|
| **pm1** | 176.9.23.27 · TS 100.71.32.93 | Proxmox, im selben Cluster wie gpu1 (`consoro-cluster`, Quorum 2) — **`/etc/pve` ist clusterweit geteilt**, vor Firewall-Änderungen immer `pvecm status` prüfen |
|
|
| **Virginia** | 159.195.19.76 · TS 100.123.216.107 | DERP-US + KASM (`kasm.consoro.eu`, RDP-Gateway) + 300 GB Storagebox-Cache (liefert Hetzner-DE-Storage in 36 ms statt 111+ ms an Kansas City) |
|
|
| **Mailserver / DERP-DE** | 27.123.245.70 | DERP-Relay Deutschland |
|
|
| **Portal (VM201)** | TS 100.114.24.89:9090 | **cp.go-ki.eu** — FastAPI-SPA, `/opt/gpu1-status/app.py`, dahinter npm-Reverse-Proxy |
|
|
| **nas2** (Bär zuhause) | TS 100.111.0.111 | Synology, hält u.a. Obsidian-Vault `/volume1/Obsidian/Wissen/`. DS-Lite/CGNAT → Jitter nicht fixbar |
|
|
| **Hub** | 100.87.20.94 | Zentraler Orchestrierungs-/MCP-Knoten, von dem aus SSH/Doku-Verteilung läuft |
|
|
|
|
Wichtig: VM302 selbst hat **keine großen Modelle lokal auf `M:`** (das ist eine lokale 599-GB-Platte) — die Modelle liegen auf gpu1 und kommen über `R:` (Samba) sowie `Z:\ki-modelle-backup\comfyui-models\` (Storagebox) rein.
|
|
|
|
## Dienste auf VM302 (Kernstück des Studios)
|
|
|
|
- **ComfyUI** :8188 — Bild-/Video-Pipeline (text2img, Undress, Masken/Inpaint, Wan2.2-Video, RMBG-Freistellen)
|
|
- **Studio-GUI** :8502 — eigenes Web-Frontend, `/health` prüfbar
|
|
- **LiteLLM** :4000, **Ollama** :11434 — Text-/Chat-Modelle (aktuell nur 3 kleine Modelle geladen, Ausbau auf Coding-/Uncensored-/Groß-Modelle offen)
|
|
- **pyautogui** :3336 — Fernsteuerung/Screenshot-Automatisierung für Verifikation
|
|
|
|
Alle Dienste, die im Benutzerkontext laufen sollen, müssen als Windows-Benutzer **`mcp`** laufen (nicht SYSTEM, nicht ad-hoc unter `matthias`) — Bär-Regel vom 2026-07-20, damit sie Neustarts überleben und `matthias` sie trotzdem nutzen kann (API + Dateizugriff).
|
|
|
|
## Regeln (bindend, siehe `nachtplan.md` für Volltext)
|
|
|
|
1. Jedes Ergebnis **dreifach**: inline im Chat + `B:\` (Bild/Video/Audio-Ablage, goldene Regel) + Matrix-Raum „Barby Studio Ergebnisse".
|
|
2. Nichts als „fertig" markieren ohne **getesteten Beweis** (Video ansehen, `ls -la`, `git log`, Health-Check).
|
|
3. Keine Talking-Heads, immer Ganzkörper, keine Anomalien, echte Bewegung.
|
|
4. Deutsche Stimme akzentfrei ohne Dialekt, Lip-Sync synchron, konsistente Charaktere.
|
|
5. Christina-Fischer-Regel (s.o.) in allen Voice-Scripts/Overlays.
|
|
6. Lokal-first, günstigstes Modell das reicht, max. 3 Tasks parallel.
|
|
7. Klare Fixes selbst umsetzen statt als Blocker zu melden — nur echte Blocker (Bär-Credentials, irreversible Aktionen) melden.
|
|
8. Modelle nie über VM302 kopieren (gpu1 bleibt Quelle), kein Reboot ohne Bär-OK.
|
|
9. Vor jedem Proxmox-Firewall-Eingriff `pvecm status` (Cluster-Falle).
|
|
10. Dokumentation nach jedem Meilenstein: Forgejo + Obsidian + docs.consoro.it, Nachtplan alle 30 Minuten aktualisieren.
|
|
|
|
## Wo steht was (Doku-Landkarte)
|
|
|
|
| Was | Wo |
|
|
|---|---|
|
|
| Zentrale Live-Planung, Tagesstand | `C:\Users\matthias\Desktop\nachtplan.md` (Bärs Windows-Client, dieser Überblick wird daraus gespiegelt) |
|
|
| Erkenntnisse/Archiv | Forgejo `git.consoro.eu/barby/hermes-erkenntnisse` |
|
|
| Claude-Config, Skills, Hooks | Forgejo `git.consoro.eu/barby/claude-config` |
|
|
| Langfrist-Wissen, Vault | Obsidian `/volume1/Obsidian/Wissen/` auf nas2 |
|
|
| Zusätzliche Doku | docs.consoro.it |
|
|
| Ergebnis-Abwurf (Bilder/Videos/Audio) | `B:\` auf VM302 (bilder/videos/audio/characters/screenshots/archive) |
|
|
| Fertige Ergebnisse an Bär | Matrix-Raum `!wRgSkVkLNpGzehtWie:matrix.koerners.org`, Poster-Skript `B:\barby\Post-ToMatrix.ps1` |
|
|
| Skills (tailscale-admin, berlin-time, doku-verteilen, comfyui-vm302, gpu1-zugang, ...) | verteilt via `/opt/claude-deploy/sync-to-gitlab.sh` → Forgejo `barby/claude-config` |
|
|
|
|
## Aktueller Grobstand (siehe nachtplan.md für Details/Beweise)
|
|
|
|
- **Erledigt & verifiziert:** Charakter-Konsistenz (IPAdapter), text2img, Undress-Pipeline, Masken/Inpaint-Stack, Wan2.2-Video, deutsche Stimme (edge-tts), Studio-GUI, RMBG-Freistellen (Alpha-PNG, A1), Netzwerk-/Sicherheits-Härtung (Firewall, Tailscale direkt, RSC-Tuning, fail2ban), Hook-Bereinigung VM302 (27 tote Mac-Hook-Einträge entfernt, ~8 Min Wartezeit/Session gespart, fehlender `prompt-injection-defender`-Hook nachgetragen — vom Master 2026-07-20 19:10 verifiziert).
|
|
- **In Arbeit:** Lip-Sync bei Ganzkörper-Videos (Crop→LipSync→Composite-Ansatz), Portal-Integration des Studio-Tabs, Turnaround-Asset-Erzeugung (A2, ControlNet-OpenPose-Unterbau steht).
|
|
- **Größtes offenes Kern-Deliverable:** Portal `cp.go-ki.eu` — „Veo3-einfach"-Bedienung (ein Prompt-Feld, Anhänge, One-Click), Whitelisting VM302, Tab-Anbindung Barby Studio/GPU-Stack/KI-Chat/Ton & Musik.
|
|
- **Bekannte Fallen (aus eigenen Fehlern gelernt):** Bär läuft über Starlink, nicht über Tailscale (Anmeldeprotokoll prüfen, nicht raten). Immer erst prüfen, welcher Prozess einen Port besitzt, bevor dessen Config gelesen wird. Nie eine Einzel-Messung als Gesamtstrecke ausgeben.
|
|
|
|
---
|
|
*Dieser Überblick wird vom Dokumentar-Agent gepflegt und gespiegelt (Forgejo + Obsidian). Quelle der Wahrheit für den Tagesstand bleibt `nachtplan.md` auf dem Desktop.*
|