Deepseeek & qwen 2.5

[Varga Jano]

Stačí čínske Raspberry Pi na spustenie DeepSeek alebo Qwen 2.5 AI? Raspberry Pi nie je dostatočne výkonný na efektívne spustenie DeepSeek alebo Qwen 2.5, pretože vyžadujú značný výpočtový výkon a pamäť.

Prečo nie je Raspberry Pi vhodné?

Hardvérové obmedzenia

Raspberry Pi 4 alebo 5 má maximálne 8 GB RAM, čo je ďaleko za minimálnymi 16-32 GB RAM vyžadovanými týmito modelmi.

CPU založený na ARM nie je dostatočne výkonný na spustenie veľkých jazykových modelov.

Nedostatok GPU

Na efektívny chod LLM (Large Language Models) je potrebný výkonný GPU (napr. NVIDIA RTX 3090, 4090) alebo TPU.

Raspberry Pi nemá také akceleračné schopnosti.

Alternatívy:

PC alebo notebook s dedikovaným GPU (napr. NVIDIA RTX 3060, 3080, 4090)

Cloudové servery (napr. Hugging Face, Google Colab, AWS, RunPod), kde si môžete prenajať GPU

Ak chcete spustiť malý LLM na Raspberry Pi, môžete vyskúšať modely TinyLlama alebo Mistral 7B vo formáte GGUF, tie však pobežia aj s obmedzeným výkonom.

 

[Elektro Lab]

DeepSeek beží na API chatGPT, čo preukázalo kopa ľudí, nakoľko Čínska AI beží ako Open source. Osobne ho nepoužívam a ani nebudem používať. Nemienim tolerovať fakt, že moje údaje budú končiť nevedno kde. Takže žiadna "revolúcia" sa nekoná.

 

[Mek]

Varga Jano - tvoj prispevok znie, akoby ho pisala AI, no nerozumiem, aka je vlastne pointa tejto temy? Ved vieme, ze na raspberry pi ziadnu AI nespustime, nie tak aby to bolo pouzitelne.

 

[Varga Jano]

Varga Jano - tvoj prispevok znie, akoby ho pisala AI, no nerozumiem, aka je vlastne pointa tejto temy? Ved vieme, ze na raspberry pi ziadnu AI nespustime, nie tak aby to bolo pouzitelne.

Ak chcete vidieť médiá, musíte sa zaregistrovať