Skymizer公布AI推理解码加速器:单卡至高集成384GB内存

网站小编 2

IT之家 5 月 7 日消息,中国台湾地区 AI IP 企业 Skymizer 近日发布了其推理解码阶段加速器芯片 HTX301,这款芯片可与负责预填充阶段的 GPU 结合加速推理结果输出,提升算力系统的利用率和整体能效。

Skymizer公布AI推理解码加速器:单卡至高集成384GB内存

IT之家了解到,HTX301 基于该企业的 HyperThought 软硬件协同设计平台采用 LISA 语言指令集架构,专注带宽密集型负载

其采用了一种可扩展的设计方案,支持 SoC 与 PCIe AIC 部署形态。后者可在单卡上集成 6 颗 HTX301 芯片与合计 384GB 内存,满足 700B 高参数大模型本地运行的需求同时功耗仅有 240W

标签: 加速器 至高 内存

抱歉,评论功能暂时关闭!