Files

T

tomasz-syn-grzegorza 359afb3a59 Initial import: bare-metal stacks, Server UI, GPU fan, tutorials.

Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI,
control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve).

Co-authored-by: Cursor <cursoragent@cursor.com>

2026-07-05 12:02:04 +00:00

1.4 KiB

Raw Permalink Blame History

Konwencje — stack LocalAI

Skrót reguł specyficznych dla tego stacku. Pełne konwencje repo: ../../coding-agent/CONVENTIONS.md.

Ścieżki

Warstwa	Ścieżka
Repo stack	`ubuntu-bare-metal/stacks/localai/`
`.env` (sekrety)	`stacks/localai/.env` — gitignore
Modele runtime	`/data/apps/localai/models/`
YAML modeli	`/data/apps/localai/models/.yaml` — poza git*
Szablony KV	`stacks/localai/profiles/*.yaml.example`
Notatki agenta	`stacks/localai/coding-agent/`

KV cache

Ustawienia tylko w sekcji parameters: pliku YAML modelu.
Skwantyzowany cache_type_v wymaga flash_attention: true.
Dozwolone na llama-cpp: f16, f32, q8_0, q4_0, q4_1, q5_0, q5_1.
Startowa rekomendacja: cache_type_k: q8_0, cache_type_v: q8_0, context_size: 8192.
Modele embedding (np. bge-m3) — nie dodawać KV cache.

Docker

cd stacks/localai
docker compose --profile localai up -d
docker compose --profile localai restart localai

Port wewnątrz kontenera zawsze 8080; host mapuje LOCALAI_PORT (użytkownik: 8070).

VRAM

Jeden duży model chat na GPU naraz.
Przed loadem dużego modelu: cd ../vllm && docker compose --profile vllm down.

Sekrety

LOCALAI_API_KEY — tylko w .env na serwerze, nie w coding-agent/.

1.4 KiB Raw Permalink Blame History