Tiiny AI Pocket Lab：世界最小AI超级计算机支持1200亿参数LLM本地运行

获得吉尼斯世界纪录认证的本地100B级模型性能

Tiiny AI Pocket Lab 在本地运行大型模型，避免对云端的依赖

（图片来源：Tiiny）

专为无云端运行大型模型而打造

"云端AI带来了显著进步，但也创造了依赖性、脆弱性和可持续性挑战，"Tiiny AI的GTM总监Samar Bhoj表示。
"借助Tiiny AI Pocket Lab，我们相信智能不应该属于数据中心，而应该属于个人。这是让先进AI真正变得可访问、私密和个人化的第一步，通过将大模型的力量从云端带到每个个人设备来实现。"
Pocket Lab专注于为复杂推理和长上下文任务设计的大型个人模型，同时保持在65W的受限功耗范围内运行。
Tiiny声称在100亿-1000亿参数范围内的模型具有一致的性能，支持范围可扩展至1200亿参数。
这个上限接近领先云端系统的能力，使先进的推理和扩展上下文能够本地运行。

据报道，吉尼斯世界纪录已认证该硬件在本地执行1000亿级模型的能力。
该系统采用12核ARMv9.2 CPU，搭配定制异构AI模块，提供约190 TOPS的算力。
系统配备80GB LPDDR5X内存和1TB SSD，总功耗据报道保持在65W系统范围内。
其物理尺寸更接近大号外部驱动器而非工作站，强化了其面向口袋的产品定位。
虽然规格类似于Houmo Manjie M50风格的芯片，但独立的实际性能数据尚未公布。
Tiiny还强调了一个开源生态系统，支持一键安装主要模型和代理框架。
公司表示将提供持续更新，包括它所描述的OTA硬件升级。
这个表述存在问题，因为空中下载机制传统上适用于软件。
该声明暗示这是措辞不当或营销错误，而非字面上的硬件修改。
技术方法依赖于两种软件驱动的优化，而不是扩展原始硅性能。
TurboSparse专注于选择性神经元激活，在不改变模型结构的情况下降低推理成本。
PowerInfer跨异构组件分配工作负载，协调CPU与专用NPU，以更低功耗接近服务器级吞吐量。
系统不包含独立GPU，公司认为精心调度消除了对昂贵加速器的需求。
这些声明表明，效率提升而非蛮力硬件是主要的差异化因素。
Tiiny AI将Pocket Lab定位为对影响集中式AI服务的可持续性、隐私和成本压力的回应。
在本地运行大型语言模型可以减少持续的云端费用并限制敏感数据暴露。
然而，关于能力、服务器级性能以及在如此受限的硬件上无缝扩展的声明仍难以独立验证。

来源：TechPowerUp

2T超大容量网盘！点击领取 >> 原画质高清备份，上传下载不限速

如果真的对你有用的话，感谢支持服务器及作者运营