Files

T

tomasz-syn-grzegorza 359afb3a59 Initial import: bare-metal stacks, Server UI, GPU fan, tutorials.

Infrastructure configs for GMKtec K11 (Docker, vLLM, LocalAI, ComfyUI,
control-plane, gpu-fan agent, Server UI with CLI/file explorer/GPU fan curve).

Co-authored-by: Cursor <cursoragent@cursor.com>

2026-07-05 12:02:04 +00:00

4.3 KiB

Raw Blame History

Backlog

Priorytety dla kolejnego agenta. Aktualizuj po ukończeniu zadań.

P0 — naprawy / dokończenie bieżącego

Przekazać LOCALAI_API_KEY do kontenera
Dodać do stacks/localai/docker-compose.yml w sekcji environment::
```
- LOCALAI_API_KEY=${LOCALAI_API_KEY:-}
```
Dodać komentarz / placeholder do stacks/localai/.env.example (bez prawdziwego klucza).
Restart: docker compose --profile localai restart localai

Zweryfikować API auth po restarcie

curl -s http://localhost:8070/v1/models \
  -H "Authorization: Bearer <klucz z .env>"

Bez klucza powinno być 401.

Zsynchronizować port 8070
Albo zaktualizować 05-localai-stack.md, stacks/localai/README.md, root README (port 8070), albo zapytać użytkownika o powrót do 8080.
Dokończyć test modelu LocalAI
Po pobraniu modelu: chat w UI, curl /v1/chat/completions, nvidia-smi (VRAM).

P1 — produkcja / dostęp zewnętrzny

~~SwarmUI~~ — usunięte 2026-07-04 (SWARMUI-REMOVAL.md)
Reverse proxy LocalAI — częściowo (NPMPlus działa dla llm.rtx1.mobile.agency-ai.dev)
LOCALAI_BASE_URL=https://llm.rtx1.mobile.agency-ai.dev w dokumentacji klienta

Bind LocalAI tylko na localhost po proxy:

ports:
  - "127.0.0.1:${LOCALAI_PORT:-8080}:8080"

Rozdział 08 — firewall i hardening (ufw, ograniczenie portów 8070/8090/8091)
Opcjonalnie: LOCALAI_AUTH=true + rejestracja invite (multi-user) zamiast samego legacy key

P2 — integracja modeli i GPU

BGE-Reranker-v2-m3 — GGUF + YAML + download-reranker.sh (2026-07-01). Raport: RERANKER-DEPLOYMENT.md
Połączyć stacks/vllm/models.catalog.yaml z LocalAI
GGUF z /data/apps/gguf/ → symlink lub kopia do /data/apps/localai/models/ + YAML
Skrypt pobierania modelu pod LocalAI (obok vLLM download-model.sh)
vLLM opcjonalnie: ./scripts/download-model.sh qwen3.6-27b-awq-vllm + switch-model.sh
Tylko gdy użytkownik chce AWQ zamiast GGUF w LocalAI
Dokumentacja: jeden aktywny duży model na GPU — LocalAI ↔ ComfyUI, procedura w Server UI — DOCKER-UI-DEPLOYMENT.md, stacks/comfyui/README.md
~~Dockge~~ — usunięty 2026-07-04 (DOCKGE-REMOVAL.md)
Server UI — stacks/server-ui/, port 8091 (2026-07-04)
Produkcja server-ui — sudo ./scripts/install.sh na hoście (systemd)
Architektura Server UI + gpu-fan — research: SERVER-UI-ARCHITECTURE-RESEARCH.md, ADR: ADR-001-host-agent-control-plane.md
- Faza 1: gpu-fan API-only 127.0.0.1:18090
- Faza 2: UI gpu-fan w server-ui (proxy)
- Faza 3: server-ui w Dockerze (docker.sock + mount repo)

P3 — roadmapa tutoriala

Rozdział 07 — ComfyUI stack (Docker, /data/apps/comfyui/) — stack + tutorial 2026-07-04. Research SM: STABILITYMATRIX-RESEARCH.md
Uruchomić ComfyUI na hoście — cd stacks/comfyui && ./scripts/start.sh (użytkownik)
Pełny Docker llama.cpp — niski priorytet jeśli LocalAI wystarczy dla GGUF
Open WebUI dla vLLM — opcjonalnie, nie planowane na teraz

Czego nie robić bez prośby użytkownika

git commit / git push
Pobieranie modeli LLM przy docker compose pull
Build LocalAI lub vLLM ze źródeł GitHub
Edycja plików w .cursor/plans/
Zapisywanie sekretów w coding-agent/ lub w commitach

Ukończone w tej sesji (referencja)

Tutorial 00–03b, 04 (dysk + vLLM), 05 (LocalAI)
stacks/vllm/ — katalog modeli, skrypty, elastyczny compose
stacks/localai/ — stack GPU cuda-13, skrypty, README
stacks/llamacpp/README.md — placeholder
stacks/server-ui/ — własny Docker UI, port 8091 (2026-07-04)
scripts/setup-data-disk.sh — katalogi aplikacji na /data
Root README — roadmapa 05/06/07
stacks/comfyui/ — ComfyUI Docker, port 8188 (2026-07-04); research SM → STABILITYMATRIX-RESEARCH.md
manual-tutorial/07-comfyui-stack.md — tutorial ComfyUI

4.3 KiB Raw Blame History Unescape Escape