GPU Hot - GPU-Temperatur und -Auslastung im Container überwachen

GPU Hot ist ein schlankes Monitoring-Tool, das GPU-Temperatur, Auslastung, VRAM-Verbrauch und Taktfrequenz als Web-Dashboard bereitstellt — nützlich für alle, die GPU-Workloads wie KI-Inferenz oder Transkodierung im Homelab betreiben.

Was ist GPU Hot?

In GPU-lastigen Homelab-Setups fehlt oft eine einfache Möglichkeit, die Grafikkarte im Blick zu behalten. GPU Hot liest Metriken direkt über nvidia-smi (Nvidia) oder ROCm (AMD) aus und stellt sie als übersichtliches Web-Dashboard bereit. Temperatur, GPU-Auslastung in Prozent, VRAM-Belegung und Energie-Verbrauch werden in Echtzeit angezeigt. Das Tool eignet sich besonders für Setups mit Stable-Diffusion-Instanzen, Whisper-Transkription oder Plex/Jellyfin mit Hardware-Transkodierung.

Voraussetzungen

• Docker 20.10+ / Docker Compose
• Nvidia-GPU mit installiertem Nvidia Container Toolkit (nvidia-docker2)
• nvidia-smi muss auf dem Host funktionieren

Compose-Beispiel

services:
  gpu-hot:
    image: nwithan8/gpu-hot:latest
    container_name: gpu-hot
    restart: unless-stopped
    ports:
      - "5000:5000"
    environment:
      - REFRESH_INTERVAL=2
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

Hinweise

• Nvidia Container Toolkit: Vor dem ersten Start das Toolkit auf dem Host installieren: apt install nvidia-container-toolkit und danach Docker neu starten.
• deploy.resources-Syntax: In neueren Docker-Compose-Versionen ersetzt der deploy-Block das ältere runtime: nvidia. Beide Syntaxvarianten funktionieren, deploy ist der aktuelle Standard.
• Refresh-Intervall: REFRESH_INTERVAL definiert in Sekunden, wie häufig Metriken aktualisiert werden. Werte unter 1 erhöhen die Last spürbar.
• Mehrere GPUs: Bei Multi-GPU-Systemen zeigt das Dashboard alle erkannten Karten separat an — kein zusätzlicher Konfigurationsaufwand nötig.

Links

• GitHub
• Nvidia Container Toolkit Dokumentation