Ollama modellek, telepités módja

Lokális LLM modellek összehasonlítása (Ollama)

Ha saját, privát AI-t futtatsz otthoni szerveren, a modellválasztás a legfontosabb döntés. Íme az ajánlott választék magyar nyelvű használatra, GPU nélküli (CPU alapú) környezetre optimalizálva.

Ajánlott modellek

Modell	Előnyök	Hátrányok
Qwen 2.5 (7B)	Kiváló magyar nyelvtudás, természetes ragozás, utasításkövető.	Nagyobb erőforrást igényel (min. 8-16GB RAM ajánlott).
Llama 3.1 (8B)	Iparági standard, logikus gondolkodás, nagyon pontos.	Kicsit „szárazabb”, olykor túlságosan formális.
Mistral (7B)	Kreatív, stílusos, „emberi” hangvétel.	Néha hajlamos a bőbeszédűségre.

Telepítés és menedzsment (Docker környezetben)

Mivel a szerverünk Dockerben fut, az Ollama vezérléséhez az ollama konténernevet használjuk.

1. Modell letöltése és azonnali indítása

Ez a parancs letölti (ha még nincs meg) és elindítja a modellt: docker exec -it ollama ollama run qwen2.5

2. Modell törlése (helyfelszabadítás)

Ha egy modell nem vált be, töröld le, hogy ne foglalja a lemezt: docker exec -it ollama ollama rm modell_neve

3. Elérhető modellek listázása

Így láthatod, mi van éppen a gépen: docker exec -it ollama ollama list

Válasz a kérdésedre: Hogyan lesz „alapértelmezett” egy modell?

Röviden: Az Ollama-ban nincs olyan, hogy „az alapértelmezett modell”.

Amikor kiadod a docker exec -it ollama ollama run qwen2.5 parancsot, az Ollama betölti a modellt a memóriába (RAM), és készenlétbe helyezi.

• Ha már le van töltve: A parancs kiadása után a modell azonnal aktívvá válik, és a következő kérésedet már ezzel fogja kiszolgálni.
• A „felejtés”: Ha újraindítod a konténert, vagy hosszabb ideig nem használod, az Ollama automatikusan kiüríti a memóriából a modellt.
• Home Assistant integráció: A Home Assistantban az Ollama integráció beállításaiban adhatod meg a használni kívánt modell nevét (pl. qwen2.5). A HA onnantól kezdve mindig erre a modellre fog hivatkozni.

Tipp: Ha váltani akarsz a modellek között, egyszerűen csak futtasd a docker exec -it ollama ollama run [másik_modell] parancsot. Az Ollama automatikusan lecseréli a memóriában lévőt az újra.

Melyiket válaszd?

Ha a legtermészetesebb magyar fogalmazást keresed, a Qwen 2.5 a nyertes. Ha a szervered RAM-ja korlátozott (pl. 8GB alatt van), próbáld meg a qwen2.5:3b verziót, amely lényegesen gyorsabb és tömörebb.

A parancsok mindegyike letölti és azonnal el is indítja a modellt (ha még nincs meg, letölti, ha megvan, csak elindítja).

1. A legjobb általános választások (Kiegyensúlyozott sebesség/minőség)

Ezek a modellek a leggyorsabbak és a legkellemesebb stílusúak.

• Qwen 2.5 (7B): A jelenlegi magyar nyelvű etalon. docker exec -it ollama ollama run qwen2.5
• Llama 3.1 (8B): A világ legnépszerűbb modellje, nagyon pontos. docker exec -it ollama ollama run llama3.1
• Mistral (v0.3 7B): Nagyon emberi, stílusos fogalmazás. docker exec -it ollama ollama run mistral

2. A „nagyobb” modellek (32 GB RAM-hoz optimalizálva)

Ezek lassabbak lesznek (a szöveg lassabban „folyik” majd a képernyőn), de mélyebb összefüggéseket értenek meg és választékosabbak.

• Qwen 2.5 (14B): A 7B-s verzió „okosabb” testvére. docker exec -it ollama ollama run qwen2.5:14b
• Mistral-Nemo (12B): A Mistral legújabb, kifejezetten otthoni hardverre fejlesztett nagy modellje. docker exec -it ollama ollama run mistral-nemo
• Gemma 2 (9B): A Google modellje, nagyon jó logikai készséggel. docker exec -it ollama ollama run gemma2

3. A „tömör” modellek (Ha villámgyors otthoni asszisztens kell)

Ha azt szeretnéd, hogy a Home Assistant azonnal, késleltetés nélkül válaszoljon (pl. egy egyszerű lámpa kapcsolásánál):

• Qwen 2.5 (3B): Rendkívül gyors, meglepően jó magyarral. docker exec -it ollama ollama run qwen2.5:3b
• Llama 3.2 (1B vagy 3B): A legfrissebb, kifejezetten kis méretre optimalizált modell. docker exec -it ollama ollama run llama3.2

Tippek a teszteléshez:

1. Váltás: Amikor kiadsz egy új run parancsot, a régi modell marad a RAM-ban, amíg az Ollama újra nem indul. Ha látni akarod, melyik modell van éppen „betöltve” a memóriába, használd ezt: docker exec -it ollama ollama ps
2. Takarítás: Ha teszteltél és valamelyik modelltől megszabadulnál, ne feledd: docker exec -it ollama ollama rm [modell_neve]
3. HA integráció: Ha a Home Assistantban az Ollama integráció beállításaiban beírod a modell nevét (pl. qwen2.5:14b), a HA mindig ezt fogja használni.