tomasz-syn-grzegorza
359afb3a59
Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI, control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve). Co-authored-by: Cursor <cursoragent@cursor.com>
42 lines
1.4 KiB
Markdown
42 lines
1.4 KiB
Markdown
# Konwencje — stack LocalAI
|
|
|
|
Skrót reguł specyficznych dla tego stacku. Pełne konwencje repo: [`../../coding-agent/CONVENTIONS.md`](../../coding-agent/CONVENTIONS.md).
|
|
|
|
## Ścieżki
|
|
|
|
| Warstwa | Ścieżka |
|
|
|---------|---------|
|
|
| Repo stack | `ubuntu-bare-metal/stacks/localai/` |
|
|
| `.env` (sekrety) | `stacks/localai/.env` — **gitignore** |
|
|
| Modele runtime | `/data/apps/localai/models/` |
|
|
| YAML modeli | `/data/apps/localai/models/*.yaml` — **poza git** |
|
|
| Szablony KV | `stacks/localai/profiles/*.yaml.example` |
|
|
| Notatki agenta | `stacks/localai/coding-agent/` |
|
|
|
|
## KV cache
|
|
|
|
- Ustawienia **tylko** w sekcji `parameters:` pliku YAML modelu.
|
|
- Skwantyzowany `cache_type_v` wymaga `flash_attention: true`.
|
|
- Dozwolone na `llama-cpp`: `f16`, `f32`, `q8_0`, `q4_0`, `q4_1`, `q5_0`, `q5_1`.
|
|
- Startowa rekomendacja: `cache_type_k: q8_0`, `cache_type_v: q8_0`, `context_size: 8192`.
|
|
- Modele embedding (np. bge-m3) — **nie** dodawać KV cache.
|
|
|
|
## Docker
|
|
|
|
```bash
|
|
cd stacks/localai
|
|
docker compose --profile localai up -d
|
|
docker compose --profile localai restart localai
|
|
```
|
|
|
|
Port wewnątrz kontenera zawsze **8080**; host mapuje `LOCALAI_PORT` (użytkownik: **8070**).
|
|
|
|
## VRAM
|
|
|
|
- Jeden duży model chat na GPU naraz.
|
|
- Przed loadem dużego modelu: `cd ../vllm && docker compose --profile vllm down`.
|
|
|
|
## Sekrety
|
|
|
|
- `LOCALAI_API_KEY` — tylko w `.env` na serwerze, nie w `coding-agent/`.
|