AI芯片

微纳核芯AI芯片系列包括端侧大模型推理芯片等。

存储:2~8GB DRAM

算力:≥40T@INT8,支持多颗级联

性能:150 tokens/s @llama-7b-int4,最高300 tokens/s

功耗:平均功耗<4W

接口:PCIe

优势:高TPS性能,低功耗,低成本

应用:AI 手机、AI PC、IOT、服务器