# Szablon: Gemma 4 12B Q4_0 z kwantyzowanym KV cache (q8_0)
#
# Zastosowanie na serwerze:
#   ./scripts/apply-kv-profile.sh gemma-4-12b-it-qat-q4_0
# lub skopiuj sekcję parameters do /data/apps/localai/models/<nazwa>.yaml
#
# Dokumentacja: coding-agent/KV-CACHE.md

name: gemma-4-12b-it-qat-q4_0
backend: llama-cpp
mmproj: llama-cpp/mmproj/gemma-4-12B-it-qat-q4_0-gguf/mmproj-gemma-4-12b-it-qat-q4_0.gguf
known_usecases:
  - chat
options:
  - use_jinja:true
parameters:
  model: llama-cpp/models/gemma-4-12B-it-qat-q4_0-gguf/gemma-4-12b-it-qat-q4_0.gguf
  cache_type_k: q8_0
  cache_type_v: q8_0
  flash_attention: true
  context_size: 8192
  temperature: 1
  top_p: 0.95
  top_k: 64
  repeat_penalty: 1
  min_p: 0
template:
  use_tokenizer_template: true
function:
  automatic_tool_parsing_fallback: true
  grammar:
    disable: true