Files

T

tomasz-syn-grzegorza 359afb3a59 Initial import: bare-metal stacks, Server UI, GPU fan, tutorials.

Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI,
control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve).

Co-authored-by: Cursor <cursoragent@cursor.com>

2026-07-05 12:02:04 +00:00

2.0 KiB

Raw Blame History

HANDOFF — LocalAI KV cache

Cel sesji

Przeanalizować konfigurację KV cache w LocalAI i włączyć skwantyzowany KV (q8_0), aby zmieścić większe modele / dłuższy kontekst na RTX 3090 Ti (24 GB).

Wynik audytu

W docker-compose.yml i .env brak ustawień KV — to prawidłowe; LocalAI konfiguruje KV w YAML modelu.
YAML gemma-4-12b-it-qat-q4_0 na /data nie miał cache_type_k, cache_type_v, flash_attention, context_size → domyślnie f16 KV (więcej VRAM).
Backend: tylko cuda13-llama-cpp. TurboQuant nie instalowany.
Plik GGUF Gemma jeszcze nie pobrany — YAML gotowy przed pierwszym loadem.

Decyzja

Opcja	Wybór
Standard `q8_0` + `flash_attention` na `llama-cpp`	TAK
Backend `turboquant` (turbo3/4)	NIE (odłożone)

Uzasadnienie: ~2× mniej pamięci KV vs f16, bez nowego backendu, minimalny wpływ na jakość.

Co zrobiono w repo

Katalog coding-agent/ (ten handoff + STATE, BACKLOG, KV-CACHE, CONVENTIONS)
profiles/gemma-4-12b-q4-kv-q8.yaml.example
scripts/apply-kv-profile.sh
Sekcja KV w README stacku i tutorialu 05

Co zrobiono na serwerze

Zaktualizowano /data/apps/localai/models/gemma-4-12b-it-qat-q4_0.yaml (parametry KV)
Restart kontenera localai

Następne kroki (dla agenta / użytkownika)

Dokończyć pobieranie GGUF Gemma 4 12B (galeria UI lub URI z ._gallery_*.yaml).
Po loadzie: nvidia-smi + krótki chat — zapisać VRAM w STATE.md.
Jeśli zapas VRAM: podnieść context_size do 16384 w YAML.
Dla przyszłego Qwen3.6-27B GGUF: skopiować wzorzec KV z profiles/.
BACKLOG P0 root repo: przekazać LOCALAI_API_KEY do compose (osobne zadanie).

2.0 KiB Raw Blame History Unescape Escape