Egy amerikai deep tech startup, a Tiiny AI bemutatta a Tiiny AI Pocket Labot, amelyet a Guinness Világrekordok hivatalosan is a világ legkisebb személyes AI szuperkomputerének minősített.

A zseb méretű – power bankra emlékeztető – szuperkomputer 120 milliárd paraméteres LLM-eket képes futtatni helyileg, anélkül, hogy felhőkapcsolatra, szerverekre vagy csúcskategóriás GPU-kra lenne szüksége.

Az eszköz célja, hogy csökkentse a szuperszámítógépek felhőtől és GPU-któl való függőségét, miközben a közönséges felhasználók számára is elérhetővé teszi az adatközponti szintű teljesítményt. 

A december 10-én piacra dobott AI Pocket Lab egyben életképes alternatív megoldás is a fenntarthatósági aggályok, az emelkedő energiaköltségek és a felhőalapú AI-infrastruktúra miatt felmerülő adatvédelmi kockázatok leküzdésére. 

„ A felhőalapú AI jelentős fejlődést hozott, de függőséget, sebezhetőséget és fenntarthatósági kihívásokat is okozott” – mondta Samar Bhoj, a Tiiny AI GTM igazgatója a hivatalos sajtóközlemény szerint.

„A Tiiny AI Pocket Lab segítségével úgy véljük, hogy az intelligencia nem az adatközpontoké, hanem az embereké. Ez az első lépés afelé, hogy a fejlett AI valóban hozzáférhető, magánjellegű és személyes legyen, azáltal, hogy a felhőből származó nagy modellek teljesítményét minden egyes eszközre kiterjesztjük” – folytatta.

Számtalan felhasználási lehetőség

Az AI Pocket Labot úgy tervezték, hogy minden lehetséges személyes AI-felhasználási esetet kiszolgáljon, így számos szakember, köztük alkotók, fejlesztők, kutatók és diákok számára is hasznos.

Lehetővé teszi a felhasználók számára a több lépésből álló érvelést, a mély kontextusmegértést, az ügynöki munkafolyamatokat, a tartalomgenerálást és az érzékeny információk biztonságos feldolgozását anélkül, hogy az internetre kellene támaszkodniuk.

A készülék a felhasználói adatokat, beállításokat és dokumentumokat banki szintű titkosítással tárolja helyileg, így hosszú távú memóriával és erősebb adatvédelemmel rendelkezik, mint a felhőalapú AI-rendszerek.

A Tiiny AI Pocket Lab a személyes AI leghasznosabb tartományára lett tervezve, 10 milliárd és 100 milliárd paraméter közötti modelleket futtatva, amelyek a valós feladatok több mint 80 százalékát lefedik.

Akár 120 milliárd paraméterű modellekig is skálázható, GPT-4 szintű intelligenciát kínálva komplex érveléshez és többlépcsős elemzéshez – mindezt úgy, hogy az adatok teljes mértékben offline és biztonságban maradnak az eszközön.

Hatékony műszaki specifikációk

Az ARMv9.2 12 magos CPU-val felszerelt szuperszámítógép 65 W teljesítményt nyújt. Jellemzően nagy modell teljesítményt nyújt a GPU-kra támaszkodó hagyományos rendszerek energia- és szén-dioxid-kibocsátásának töredékével.

A Tiiny AI Pocket Lab két kulcsfontosságú technológiára támaszkodik, amelyek lehetővé teszik a nagy AI-modellek futtatását kis eszközökön. Az első a TurboSparse, amely a modell intelligenciájának csökkentése nélkül, csak a szükséges neuronok aktiválásával növeli a hatékonyságot.

A második a Powerinfer, egy nyílt forráskódú motor, amely több mint 8000 GitHub csillaggal rendelkezik, és amely az AI terhelést a CPU és az NPU között osztja el, hogy javítsa a teljesítményt, miközben sokkal kevesebb energiát fogyaszt.

Ezek a fejlesztések együttesen lehetővé teszik a Pocket Lab számára, hogy GPU-szintű AI teljesítményt nyújtson kompakt, alacsony energiafogyasztású formában.

Nyílt forráskódú ökoszisztéma

A Tiiny AI egy használatra kész nyílt forráskódú ökoszisztémát is biztosít. A Pocket Lab támogatja a népszerű nyílt forráskódú modellek, mint például a Llama, Qwen, DeepSeek, Mistral, Phi és GPT-OSS egy kattintással történő telepítését, valamint az AI-ügynökök, mint például az OpenManus, ComfyUI, Flowise és SillyTavern egyszerű beállítását.

A felhasználók rendszeres frissítéseket is kapnak, beleértve a hivatalos vezeték nélküli hardverfrissítéseket. Ezek a funkciók 2026 januárjában, a CES-en kerülnek bevezetésre.

Forrás: Interesting Engineering