tomasz-syn-grzegorza
359afb3a59
Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI, control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve). Co-authored-by: Cursor <cursoragent@cursor.com>
29 lines
1.1 KiB
Markdown
29 lines
1.1 KiB
Markdown
# BACKLOG — LocalAI stack
|
||
|
||
## P0 — KV cache (bieżąca sesja)
|
||
|
||
- [x] Audyt konfiguracji KV (compose, YAML, backendy)
|
||
- [x] Szablon `profiles/gemma-4-12b-q4-kv-q8.yaml.example`
|
||
- [x] Skrypt `scripts/apply-kv-profile.sh`
|
||
- [x] Aktualizacja YAML Gemma na `/data` (via `docker exec` — plik root-owned)
|
||
- [x] Restart `localai` — health OK
|
||
- [ ] **Test VRAM po załadowaniu Gemma GGUF** — uzupełnić STATE.md
|
||
|
||
## P1 — po pierwszym modelu chat
|
||
|
||
- [ ] Dostroić `context_size` (8192 → 16384 jeśli VRAM pozwala)
|
||
- [ ] Porównanie jakości odpowiedzi f16 vs q8_0 KV (krótki prompt)
|
||
- [ ] Profil KV dla Qwen3.6-27B GGUF (gdy dodany do LocalAI)
|
||
- [ ] Przekazać `LOCALAI_API_KEY` do `docker-compose.yml` (zsynchronizować z root BACKLOG)
|
||
|
||
## P2 — opcjonalnie
|
||
|
||
- [ ] Backend `turboquant` + `turbo3`/`turbo4` (~3–4× kompresja KV)
|
||
- [ ] Skrypt sync GGUF z `stacks/vllm/models.catalog.yaml`
|
||
- [ ] Reverse proxy + firewall (root tutorial 07)
|
||
|
||
## P3 — dokumentacja
|
||
|
||
- [ ] Zsynchronizować port 8070 vs 8080 w całym repo (root BACKLOG)
|
||
- [ ] Przykład `curl /v1/chat/completions` z auth w tutorialu
|