A LocalAI – vagyis a helyben futó mesterséges intelligencia – egyre népszerűbb megoldás a vállalatoknál és fejlesztőknél, akik adatbiztonságot, gyors válaszidőt és internetkapcsolattól független működést szeretnének. Egy jól megtervezett LocalAI munkaállomás azonban nem csak szoftverkérdés: a megfelelő hardver kiválasztása kulcsfontosságú a teljesítmény és a hatékonyság szempontjából. Itt az útmutató!
CPU – a stabil alap
A processzor felel a rendszer általános irányításáért és a GPU-val nem gyorsított számításokért. LLM modellek futtatásakor a CPU fő szerepe a modell betöltése, az adatok előkészítése és a kisebb számítási feladatok kezelése.
- Mag- és szál szám: Legalább 8 mag / 16 szál ajánlott, de ha párhuzamosan több AI-folyamatot futtatsz, érdemes 12-16 magos CPU-t választani.
- Órajel: A magas órajel gyorsabb adatelőkészítést és jobb interaktív teljesítményt eredményez.
- Platform: A modern LLM-ekhez érdemes friss platformot (pl. AMD Ryzen 7000 vagy Intel 13-14. generáció) választani a gyorsabb memória- és I/O-kezelés miatt.
Memória (RAM) – az adatfolyam érrendszere
Az LLM-ek nagy memóriát igényelnek, különösen ha több modell van betöltve egyszerre, vagy ha Retrieval-Augmented Generation (RAG) funkciót is használsz. A RAM mérete közvetlenül befolyásolja a rendszer reakcióidejét és a párhuzamos feladatok kezelését.
- Minimális ajánlás: 32GB RAM kisebb (7B-13B paraméteres) modellekhez.
- Optimális: 64-128GB vagy több, főleg ha 30B–70B modelleket futtatsz.
- Memóriasebesség: Gyors (DDR5 vagy nagy órajelű DDR4) RAM segíthet a betöltési idő csökkentésében.
GPU – a LocalAI szíve
A grafikus processzor a legfontosabb elem a LocalAI rendszerekben. A GPU típusát és kapacitását elsősorban a futtatni kívánt LLM modell mérete határozza meg.
VRAM méret és modellméret
- 7B modellek: Minimum 8–12 GB VRAM (pl. RTX 3060, RTX 4060).
- 13B modellek: 16–24 GB VRAM ajánlott (pl. RTX 3090, RTX 4090, RTX 4000 Ada).
- 30B modellek: 32–48 GB VRAM szükséges (pl. RTX 6000 Ada, A6000, H100 kisebb konfigurációk).
- 70B modellek: 48–96 GB VRAM vagy több, gyakran szerver- vagy több-GPU konfigurációban.
GPU architektúra és sebesség
- Újabb architektúrák (Ada Lovelace, Hopper, Blackwell) hatékonyabban kezelik az AI számításokat, jobb memóriakezeléssel és optimalizált Tensor magokkal.
- Az FP8, FP4 vagy quantizált (int4, int8) modellek használata csökkenti a VRAM igényt, de a GPU kompatibilitására figyelni kell.
A jelenlegi legjobb ár/érték viszonnyal rendelkező GPU-k:
- NVIDIA RTX PRO 6000 Blackwell Workstation Edition
- NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
- NVIDIA RTX PRO 5000 Blackwell
- NVIDIA RTX PRO 4500 Blackwell
- NVIDIA RTX PRO 4000 Blackwell
Tárhely – a csendes munkás
Bár nem annyira kritikus, mint a GPU, a gyors NVMe PCIe SSD jelentősen csökkentheti a modellbetöltési időt. Minimum 2TB NVMe SSD javasolt, hogy kényelmesen tárolhasd a modelleket és a kísérő adataikat.
Hűtés és tápellátás
- Hűtés: A nagy teljesítményű GPU-k és CPU-k komoly hőtermeléssel járnak. Legalább középkategóriás léghűtés vagy folyadékhűtés ajánlott.
- Táp: Egy 850–1200 W, 80+ Gold vagy Platinum minősítésű tápegység biztosítja a stabil működést.
Összefoglaló
A LocalAI munkaállomás építésekor a legnagyobb hangsúlyt a GPU-ra kell fektetni, mivel ez határozza meg, hogy milyen modelleket tudsz futtatni és milyen sebességgel. A CPU és a RAM a rendszer stabilitását és párhuzamos teljesítményét biztosítja, a gyors SSD pedig gördülékeny adatkezelést tesz lehetővé.
Ha előre tervezel, érdemes úgy választani, hogy a géped később is bővíthető legyen – így könnyebben lépést tarthatsz az egyre nagyobb és okosabb LLM modellek fejlődésével. Ha kérdésed van, fordulj profikhoz, a LocalAI csapathoz!