llama.cpp
-
26 lokale KI-Modelle im Vergleich: Testkatalog, Vorrunde und 56 GB RAM
Welches lokale Sprach- und Bildmodell räumt Dokumente, Downloads und Fotos zuverlässig auf? 26 Modelle mussten sich auf einer AMD-GPU mit 16 GB VRAM und 32 bis 56 GB Arbeitsspeicher einem eigenen Testkatalog stellen.
-
Lokale KI auf einer AMD-GPU unter Proxmox
Ein Sprachmodell in einer Proxmox-VM mit durchgereichter AMD-Grafikkarte: Aufbau, die Falle mit der Startreihenfolge, Messwerte CPU gegen GPU und zwei Host-Abstürze, die noch nicht geklärt sind.