tomasz-syn-grzegorza
359afb3a59
Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI, control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve). Co-authored-by: Cursor <cursoragent@cursor.com>
47 lines
2.0 KiB
Markdown
47 lines
2.0 KiB
Markdown
# HANDOFF — LocalAI KV cache
|
||
|
||
## Cel sesji
|
||
|
||
Przeanalizować konfigurację KV cache w LocalAI i włączyć **skwantyzowany KV** (`q8_0`), aby zmieścić większe modele / dłuższy kontekst na RTX 3090 Ti (24 GB).
|
||
|
||
## Wynik audytu
|
||
|
||
1. W [`docker-compose.yml`](../docker-compose.yml) i [`.env`](../.env) **brak** ustawień KV — to prawidłowe; LocalAI konfiguruje KV w YAML modelu.
|
||
2. YAML `gemma-4-12b-it-qat-q4_0` na `/data` nie miał `cache_type_k`, `cache_type_v`, `flash_attention`, `context_size` → domyślnie **f16** KV (więcej VRAM).
|
||
3. Backend: tylko `cuda13-llama-cpp`. TurboQuant **nie** instalowany.
|
||
4. Plik GGUF Gemma **jeszcze nie pobrany** — YAML gotowy przed pierwszym loadem.
|
||
|
||
## Decyzja
|
||
|
||
| Opcja | Wybór |
|
||
|-------|-------|
|
||
| Standard `q8_0` + `flash_attention` na `llama-cpp` | **TAK** |
|
||
| Backend `turboquant` (turbo3/4) | **NIE** (odłożone) |
|
||
|
||
Uzasadnienie: ~2× mniej pamięci KV vs f16, bez nowego backendu, minimalny wpływ na jakość.
|
||
|
||
## Co zrobiono w repo
|
||
|
||
- Katalog `coding-agent/` (ten handoff + STATE, BACKLOG, KV-CACHE, CONVENTIONS)
|
||
- [`profiles/gemma-4-12b-q4-kv-q8.yaml.example`](../profiles/gemma-4-12b-q4-kv-q8.yaml.example)
|
||
- [`scripts/apply-kv-profile.sh`](../scripts/apply-kv-profile.sh)
|
||
- Sekcja KV w README stacku i tutorialu 05
|
||
|
||
## Co zrobiono na serwerze
|
||
|
||
- Zaktualizowano `/data/apps/localai/models/gemma-4-12b-it-qat-q4_0.yaml` (parametry KV)
|
||
- Restart kontenera `localai`
|
||
|
||
## Następne kroki (dla agenta / użytkownika)
|
||
|
||
1. Dokończyć pobieranie GGUF Gemma 4 12B (galeria UI lub URI z `._gallery_*.yaml`).
|
||
2. Po loadzie: `nvidia-smi` + krótki chat — zapisać VRAM w [STATE.md](STATE.md).
|
||
3. Jeśli zapas VRAM: podnieść `context_size` do 16384 w YAML.
|
||
4. Dla przyszłego Qwen3.6-27B GGUF: skopiować wzorzec KV z `profiles/`.
|
||
5. BACKLOG P0 root repo: przekazać `LOCALAI_API_KEY` do compose (osobne zadanie).
|
||
|
||
## Dokumentacja zewnętrzna
|
||
|
||
- [LocalAI model configuration — cache_type_k/v](https://localai.io/advanced/model-configuration/)
|
||
- [Text generation — llama-cpp backend](https://localai.io/features/text-generation/)
|