Initial import: bare-metal stacks, Server UI, GPU fan, tutorials.
Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI, control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve). Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
@@ -0,0 +1,41 @@
|
||||
# Konwencje — stack LocalAI
|
||||
|
||||
Skrót reguł specyficznych dla tego stacku. Pełne konwencje repo: [`../../coding-agent/CONVENTIONS.md`](../../coding-agent/CONVENTIONS.md).
|
||||
|
||||
## Ścieżki
|
||||
|
||||
| Warstwa | Ścieżka |
|
||||
|---------|---------|
|
||||
| Repo stack | `ubuntu-bare-metal/stacks/localai/` |
|
||||
| `.env` (sekrety) | `stacks/localai/.env` — **gitignore** |
|
||||
| Modele runtime | `/data/apps/localai/models/` |
|
||||
| YAML modeli | `/data/apps/localai/models/*.yaml` — **poza git** |
|
||||
| Szablony KV | `stacks/localai/profiles/*.yaml.example` |
|
||||
| Notatki agenta | `stacks/localai/coding-agent/` |
|
||||
|
||||
## KV cache
|
||||
|
||||
- Ustawienia **tylko** w sekcji `parameters:` pliku YAML modelu.
|
||||
- Skwantyzowany `cache_type_v` wymaga `flash_attention: true`.
|
||||
- Dozwolone na `llama-cpp`: `f16`, `f32`, `q8_0`, `q4_0`, `q4_1`, `q5_0`, `q5_1`.
|
||||
- Startowa rekomendacja: `cache_type_k: q8_0`, `cache_type_v: q8_0`, `context_size: 8192`.
|
||||
- Modele embedding (np. bge-m3) — **nie** dodawać KV cache.
|
||||
|
||||
## Docker
|
||||
|
||||
```bash
|
||||
cd stacks/localai
|
||||
docker compose --profile localai up -d
|
||||
docker compose --profile localai restart localai
|
||||
```
|
||||
|
||||
Port wewnątrz kontenera zawsze **8080**; host mapuje `LOCALAI_PORT` (użytkownik: **8070**).
|
||||
|
||||
## VRAM
|
||||
|
||||
- Jeden duży model chat na GPU naraz.
|
||||
- Przed loadem dużego modelu: `cd ../vllm && docker compose --profile vllm down`.
|
||||
|
||||
## Sekrety
|
||||
|
||||
- `LOCALAI_API_KEY` — tylko w `.env` na serwerze, nie w `coding-agent/`.
|
||||
Reference in New Issue
Block a user