当前位置: 首页 » 资讯 » 新科技 » 正文

“全球最小AI超算”问世:300克、190 TOPS算力

IP属地 中国·北京 IT之家 时间:2025-12-11 14:16:15

IT之家12月11日消息,科技媒体 Wccftech 昨日(12月10日)发布博文,报道称初创公司 Tiiny AI 发布号称全球最小的 AI 超级计算机 Tiiny AI Pocket Lab,仅重300克,尺寸如手掌大小,却搭载了 ARMv9.2 12核 CPU 和80GB LPDDR5X 内存,算力达190 TOPS。

IT之家援引博文介绍,该计算机尺寸仅为14.2×8×2.53厘米,重量约为300克,用户可轻松将其置于掌中。尽管体积小巧,Tiiny AI 声称该设备能成功部署1200亿(120B)参数的模型,这在同类设备中尚属首创。


Tiiny AI Pocket Lab发布

该设备支持的大语言模型(LLM)据称能完美处理“博士级推理、多步骤分析和深度上下文理解”任务,搭载了最新的 ARMv9.2 12核 CPU,并通过定制的异构模块(SoC + 独立 NPU)提供约190 TOPS 的 AI 算力。

为了支撑庞大的模型运行,该设备配备了高达80GB 的 LPDDR5X 内存和1TB SSD 存储空间。这种大容量内存配置让用户可以启用激进的量化技术,从而在本地环境中流畅运行120B 模型。此外,该设备功耗控制出色,TDP 为30W,典型系统功耗约为65W。


AI Pocket Lab重量为300克

Tiiny 为了在如此紧凑的设备上实用化120B 模型,采用了两项核心技术。首先是 TurboSparse,这是一种神经元级别的稀疏激活技术,能在保持模型完整智能的同时显著提高推理效率。

其次是 PowerInfer,这是一个拥有超过8000颗 GitHub 星标的开源异构推理引擎,它能通过动态分配 CPU 和 NPU 之间的计算任务来加速繁重的 LLM 工作负载。


设备配备了高达80GB 的 LPDDR5X 内存和1TB SSD 存储空间

在软件生态方面,AI Pocket Lab 支持一键部署 GPT-OSS、Llama、Qwen、DeepSeek、Mistral 和 Phi 等数十种主流开源模型及代理框架,无需依赖互联网或云端,支持完全离线操作。Tiiny AI 确认将在 CES 2026上正式展示该设备。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。