095 | LLMs lokal ausführen: Erste Erfahrungen & praktische Tipps

Index out of bounds | Entwickler/Developer Podcast

Große Sprachmodelle (LLMs) lokal ausführen – das klingt erstmal nach einer Menge technischer Hürden. Aber wie schwer ist es wirklich? In dieser Folge teilt Thomas seine ersten Erfahrungen mit lokalen LLMs, was gut lief, wo es gehakt hat und welche Learnings er dabei mitgenommen hat.

Wir sind keine LLM-Profis, aber mit ein bisschen Experimentierfreude kann man schnell ein besseres Verständnis für die Möglichkeiten und Grenzen dieser Modelle entwickeln. Warum sollte man LLMs überhaupt lokal laufen lassen? Welche Vorteile bringt das – und wo liegen die Hürden? Thomas gibt außerdem ein paar praktische Tipps, um den Einstieg so einfach wie möglich zu gestalten.

Perfekt für alle, die sich in das Thema einarbeiten wollen, ohne gleich ein Rechenzentrum im Keller zu brauchen!

Community:

💜 Werde Teil der IOOB Discord Community:

https://discord.gg/bbC5c4vvQY

Links:

MIT Playlist (LLMs & AI):

https://www.youtube.com/watch?v=ErnWZxJovaM&list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI&index=2

Langchain – Framework für LLMs:

https://www.langchain.com/

Ollama – Lokale LLMs leicht gemacht:

https://ollama.com/

Llama – Open-Source LLMs von Meta:

https://www.llama.com/

Deepseek R1 auf dem Raspberry Pi:

https://www.youtube.com/watch?v=o1sN1lB76EA

Kontakt:

👉 https://ioob.de

📬 [email protected]

𝕏 https://x.com/IoobPodcast

📺 https://youtube.com/@ioobpodcast