Files
a13labs.infra/ansible/roles/llama_server/defaults/main.yml
T

27 lines
849 B
YAML
Raw Normal View History

llama_server_user: "llama"
llama_server_group: "llama"
llama_server_home: "/home/llama"
llama_server_pubkey: ""
llama_server_models: []
llama_server_models_max: 1
llama_server_image: "ghcr.io/ggml-org/llama.cpp"
llama_server_tag: "server-vulkan"
llama_server_extra_groups: "users,video"
llama_server_devices: []
llama_server_env: {}
llama_server_port: 8080
llama_server_preset_global: {}
# Llama Exporter configuration
llama_server_exporter_enabled: true
llama_server_exporter_port: 9550
llama_server_exporter_user: llama_exporter
llama_server_exporter_user_home: "/opt/llama_exporter"
llama_server_exporter_install_dir: "/opt/llama_exporter"
llama_server_exporter_venv_path: "/opt/llama_exporter/.venv"
llama_server_exporter_scrape_interval: 15
llama_server_exporter_scrape_timeout: 5
# Llama.cpp scrape targets
llama_server_exporter_targets: []