Initial import: bare-metal stacks, Server UI, GPU fan, tutorials.

Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI, control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve). Co-authored-by: Cursor <cursoragent@cursor.com>
2026-07-05 12:02:04 +00:00
commit 359afb3a59
153 changed files with 18169 additions and 0 deletions
@@ -0,0 +1,46 @@
+# HANDOFF — LocalAI KV cache
+
+## Cel sesji
+
+Przeanalizować konfigurację KV cache w LocalAI i włączyć **skwantyzowany KV** (`q8_0`), aby zmieścić większe modele / dłuższy kontekst na RTX 3090 Ti (24 GB).
+
+## Wynik audytu
+
+1. W [`docker-compose.yml`](../docker-compose.yml) i [`.env`](../.env) **brak** ustawień KV — to prawidłowe; LocalAI konfiguruje KV w YAML modelu.
+2. YAML `gemma-4-12b-it-qat-q4_0` na `/data` nie miał `cache_type_k`, `cache_type_v`, `flash_attention`, `context_size` → domyślnie **f16** KV (więcej VRAM).
+3. Backend: tylko `cuda13-llama-cpp`. TurboQuant **nie** instalowany.
+4. Plik GGUF Gemma **jeszcze nie pobrany** — YAML gotowy przed pierwszym loadem.
+
+## Decyzja
+
+| Opcja | Wybór |
+|-------|-------|
+| Standard `q8_0` + `flash_attention` na `llama-cpp` | **TAK** |
+| Backend `turboquant` (turbo3/4) | **NIE** (odłożone) |
+
+Uzasadnienie: ~2× mniej pamięci KV vs f16, bez nowego backendu, minimalny wpływ na jakość.
+
+## Co zrobiono w repo
+
+- Katalog `coding-agent/` (ten handoff + STATE, BACKLOG, KV-CACHE, CONVENTIONS)
+- [`profiles/gemma-4-12b-q4-kv-q8.yaml.example`](../profiles/gemma-4-12b-q4-kv-q8.yaml.example)
+- [`scripts/apply-kv-profile.sh`](../scripts/apply-kv-profile.sh)
+- Sekcja KV w README stacku i tutorialu 05
+
+## Co zrobiono na serwerze
+
+- Zaktualizowano `/data/apps/localai/models/gemma-4-12b-it-qat-q4_0.yaml` (parametry KV)
+- Restart kontenera `localai`
+
+## Następne kroki (dla agenta / użytkownika)
+
+1. Dokończyć pobieranie GGUF Gemma 4 12B (galeria UI lub URI z `._gallery_*.yaml`).
+2. Po loadzie: `nvidia-smi` + krótki chat — zapisać VRAM w [STATE.md](STATE.md).
+3. Jeśli zapas VRAM: podnieść `context_size` do 16384 w YAML.
+4. Dla przyszłego Qwen3.6-27B GGUF: skopiować wzorzec KV z `profiles/`.
+5. BACKLOG P0 root repo: przekazać `LOCALAI_API_KEY` do compose (osobne zadanie).
+
+## Dokumentacja zewnętrzna
+
+- [LocalAI model configuration — cache_type_k/v](https://localai.io/advanced/model-configuration/)
+- [Text generation — llama-cpp backend](https://localai.io/features/text-generation/)