KI mit GPU-Beschleunigung

Der einfachste Weg eine lokale KI unter Arch Linux zu betreiben ist LMStudio.

Methode 1: Der manuelle Weg (AppImage herunterladen)

Das ist der offizielle und universelle Weg für jede Linux-Distribution.

1. LM Studio herunterladen

Gehe auf die offizielle Webseite von LM Studio und lade die neueste Linux-Version (AppImage) herunter:
https://lmstudio.ai/

Du erhältst eine Datei, die etwa so heißt: LM-Studio-x.x.x.AppImage. Speichere sie am besten in einem Ordner, wo du sie leicht wiederfindest, z.B. in ~/Anwendungen/.

2. Datei ausführbar machen

Öffne ein Terminal und navigiere in den Ordner, in dem du die Datei gespeichert hast. Mache die AppImage-Datei mit folgendem Befehl ausführbar:

Bash
# Ersetze den Dateinamen durch deine heruntergeladene Version  
chmod +x LM-Studio-*.AppImage

3. LM Studio starten

Du kannst das Programm jetzt direkt aus dem Terminal starten:

Bash
./LM-Studio-*.AppImage

Das war’s schon! LM Studio sollte jetzt starten.

Methode 2: Der bequeme Arch-Weg (AUR-Helper)

Wenn du einen AUR-Helper wie yay nutzt, kannst du LM Studio wie ein normales Paket installieren. Das hat den Vorteil, dass du Updates einfach über den Helper bekommst und ein Desktop-Icon automatisch erstellt wird.

1. LM Studio über den AUR installieren

Öffne ein Terminal und gib folgenden Befehl ein (hier am Beispiel von yay):

Bash
yay -S lmstudio

2. LM Studio starten

Nach der Installation kannst du LM Studio einfach über dein Anwendungsmenü (wie bei jedem anderen Programm auch) starten oder im Terminal den Befehl lmstudio eingeben.

Die ersten Schritte in LM Studio

Egal wie du es gestartet hast, die Nutzung ist immer gleich:

  1. Modell suchen: Klicke auf das Lupen-Icon 🔍 in der linken Leiste. Gib den Namen eines Modells ein, z.B. Mistral 7B Instruct oder Llama 3 8B Instruct.
  2. Modell herunterladen: In den Suchergebnissen siehst du verschiedene Versionen (sogenannte „Quants“). Achte auf die GGUF-Dateien. Eine gute Allround-Wahl ist oft Q4_K_M. Klicke auf „Download“. Die Dateien sind mehrere Gigabyte groß, das dauert also einen Moment.
  3. Chatten: Klicke auf das Sprechblasen-Icon 💬 in der linken Leiste.
  4. Modell laden: Wähle oben das Modell aus, das du gerade heruntergeladen hast. Es wird dann in den Speicher geladen.
  5. GPU-Beschleunigung (Wichtig!): Schau auf der rechten Seite nach den „Hardware Settings“. Dort gibt es einen Schieberegler für „GPU Offload“. Schiebe diesen ganz nach rechts, um die maximale Anzahl an Layern auf deine Strix Halo GPU auszulagern. Das macht die Antwortzeiten dramatisch schneller.
  6. Loslegen: Schreibe deine Nachricht in das Chatfenster und drücke Enter.

Viel Spaß beim Experimentieren mit lokalen Sprachmodellen