tomasz-syn-grzegorza/ubuntu-bare-metal
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
73e4fc005e48e360369b8090b7bc624ec72052cd
ubuntu-bare-metal/stacks/localai/coding-agent/BACKLOG.md
T
tomasz-syn-grzegorza 359afb3a59 Initial import: bare-metal stacks, Server UI, GPU fan, tutorials. 
Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI,
control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve).

Co-authored-by: Cursor <cursoragent@cursor.com>
2026-07-05 12:02:04 +00:00

1.1 KiB
Raw Blame History

BACKLOG — LocalAI stack

P0 — KV cache (bieżąca sesja)

  • Audyt konfiguracji KV (compose, YAML, backendy)
  • Szablon profiles/gemma-4-12b-q4-kv-q8.yaml.example
  • Skrypt scripts/apply-kv-profile.sh
  • Aktualizacja YAML Gemma na /data (via docker exec — plik root-owned)
  • Restart localai — health OK
  • Test VRAM po załadowaniu Gemma GGUF — uzupełnić STATE.md

P1 — po pierwszym modelu chat

  • Dostroić context_size (8192 → 16384 jeśli VRAM pozwala)
  • Porównanie jakości odpowiedzi f16 vs q8_0 KV (krótki prompt)
  • Profil KV dla Qwen3.6-27B GGUF (gdy dodany do LocalAI)
  • Przekazać LOCALAI_API_KEY do docker-compose.yml (zsynchronizować z root BACKLOG)

P2 — opcjonalnie

  • Backend turboquant + turbo3/turbo4 (~3–4× kompresja KV)
  • Skrypt sync GGUF z stacks/vllm/models.catalog.yaml
  • Reverse proxy + firewall (root tutorial 07)

P3 — dokumentacja

  • Zsynchronizować port 8070 vs 8080 w całym repo (root BACKLOG)
  • Przykład curl /v1/chat/completions z auth w tutorialu
Reference in New Issue View Git Blame Copy Permalink