- name: Setup llama.cpp - ROCm
  hosts: llamacpp
  vars:
    podman_user: "{{ llama_user | default('llama') }}"
    podman_group: "{{ llama_group | default('llama') }}"
    podman_extra_groups: "users,video"
    podman_user_home: "{{ llama_home | default('/home/llama') }}"
    podman_user_folders:
      - data
    pods:
      - name: llamacpp-rocm
        build:
          dockerfile: "{{ lookup('file', 'dockerfiles/Dockerfile.llamacpp.rocm') }}"
        env:
          LLAMA_ARG_MODELS_DIR: "/home/worker/.llamacpp"
          LLAMA_ARG_THREADS: 6
          LLAMA_ARG_PARALLEL: 1
          LLAMA_ARG_CACHE: "true"
        ports:
          - "0.0.0.0:{{ llama_port | default(11435) }}:11434/tcp"
        volumes:
          - "{{ llama_home }}/data:/home/worker/.llamacpp:Z"
        device:
          - "/dev/kfd:/dev/kfd:rw"
          - "/dev/dri:/dev/dri:rw"

  tasks:
    - name: Setup Pods
      ansible.builtin.include_tasks:
        file: tasks/podman.yml