AI Pocket Lab: Superkomputer Mini Seukuran Powerbank, Bisa Jalankan AI 120 Miliar Parameter

Epiclopedia.ID – AI Pocket Lab menjadi inovasi terbaru di dunia kecerdasan buatan. Perangkat yang dikembangkan oleh Tiiny AI ini hadir dengan ukuran mini seukuran powerbank, namun memiliki kemampuan komputasi setara level doktor atau PhD.

Dengan dimensi hanya 14,2 × 8 × 2,53 cm, AI Pocket Lab diklaim sebagai salah satu superkomputer AI paling kecil di dunia.

Mampu Jalankan Model AI 120 Miliar Parameter Secara Offline

Meski berukuran ringkas, AI Pocket Lab mampu menjalankan model bahasa besar (LLM) hingga 120 miliar parameter secara lokal tanpa koneksi internet.

Salah satu model yang dapat dijalankan adalah GPT-OSS 120B. Kemampuan ini membuat perangkat dapat melakukan:

• Penalaran kompleks
• Analisis data tingkat tinggi
• Perencanaan strategis secara mandiri

Karena kapasitas komputasinya melebihi 100 miliar parameter, perangkat ini bahkan dikategorikan sebagai superkomputer, bukan sekadar mini-PC.

Spesifikasi Tinggi dengan RAM 80GB dan NPU Khusus AI

AI Pocket Lab dibangun menggunakan prosesor ARM 12 inti, yang umum digunakan pada perangkat seperti smartphone dan laptop.

Perangkat ini dilengkapi:

• RAM LPDDR5X sebesar 80GB
• 48GB RAM khusus untuk Neural Processing Unit (NPU)
• Performa hingga 190 triliun operasi per detik (TOPS)

Kombinasi CPU dan NPU ini memungkinkan pemrosesan AI berjalan cepat dan efisien di perangkat kecil.

Teknologi Optimasi untuk Jalankan AI Besar di Perangkat Mini

Untuk mendukung performa tinggi di perangkat ringkas, Tiiny AI menyematkan beberapa teknologi canggih, seperti:

• TurboSparse: Mengoptimalkan penggunaan parameter model agar hanya bagian yang dibutuhkan saja yang diproses
• PowerInfer: Mengatur distribusi beban kerja antara CPU, GPU, dan NPU secara efisien

Teknologi ini juga membantu menghemat daya dengan menyesuaikan performa sesuai kebutuhan.

Dorong Tren Edge Computing dan Privasi Data

AI Pocket Lab menjadi bagian dari tren Edge Computing, yaitu pemrosesan AI langsung di perangkat tanpa bergantung pada server cloud.

Pendekatan ini memiliki beberapa keunggulan:

• Mengurangi ketergantungan pada data center
• Lebih hemat energi
• Meningkatkan privasi karena data tidak keluar dari perangkat

Perangkat ini juga sangat cocok digunakan di lokasi dengan konektivitas terbatas, seperti area penelitian terpencil, kapal, atau pesawat.

AI Pocket Lab membuktikan bahwa perangkat kecil kini mampu menghadirkan kekuatan komputasi luar biasa. Dengan kemampuan menjalankan AI kompleks secara offline, perangkat ini berpotensi mengubah cara kita menggunakan teknologi AI di masa depan—lebih cepat, lebih privat, dan lebih fleksibel.