作为中国AI芯片领域极具颠覆性的创新力量,咪哒科技公司简介-咪哒科技公司简介凭借“内存优先”架构理念,在全球芯片行业陷入摩尔定律瓶颈之际,另辟蹊径实现技术突围。本文系统梳理咪哒科技公司简介-咪哒科技公司简介的企业背景、核心技术突破、产品演进路径与行业影响,结合开发者关切与网民热议焦点,深度解析其如何通过自研SoC、内存通道重构与软硬协同设计,为大模型训练提供高吞吐、低延迟的新型算力基础设施。
从技术团队到产业定位,全面还原咪哒科技公司简介-咪哒科技公司简介的创立初心与发展逻辑
咪哒科技公司简介-咪哒科技公司简介成立于2021年,总部位于上海张江科学城,是一家专注AI专用芯片研发与算力基础设施建设的科技企业。其核心团队源自国际顶尖半导体公司与AI实验室,具备从架构设计到流片量产的全栈能力。
企业使命是:打破内存墙对AI算力的束缚,构建以“内存通道”为优先级的下一代计算范式。
采用IDM(Integrated Device Manufacturing)模式,自主掌控设计、制造、封装与测试全流程。不依赖外部代工厂,确保关键环节(尤其是内存通道控制器)的自主可控性。
关键策略:自建内存产线 + 自研SoC + 自建软件栈,形成闭环生态。
当前AI训练的瓶颈已从算力转向内存带宽。以LLaMA-70B为例,其参数量达700亿,单次前向/反向传播需读写内存超4TB数据。传统GPU受限于HBM2E内存带宽(1.5TB/s),内存控制器成为性能瓶颈。
咪哒科技公司简介-咪哒科技公司简介的突破点在于:不再优化“算术单元”,而是重构“数据通道”。
从实验室原型到量产交付,咪哒科技公司简介-咪哒科技公司简介用两年走完行业五年路径
核心团队在内部技术研讨会中提出“内存优先”架构设想,初期仅5人小组,聚焦内存控制器RTL设计与时序分析。
采用12nm工艺,集成16个计算核心与定制内存通道,实测大模型推理延迟较同级GPU降低37%。获红杉中国A轮投资2.3亿元。
升级至7nm工艺,晶体管数超10亿,支持FP16/BF16混合精度计算。关键突破在于:自研内存调度引擎,实现动态带宽分配。
投资12亿元建设首条12英寸IDM产线,重点生产SoC与内存通道控制器,实现“设计-制造-封装”全闭环。
采用2.5D封装技术,集成HBM3E内存,内存通道带宽较A100提升5.1倍。已部署于某头部大模型训练中心,单日节省算力成本超32万元。
提供内存通道级API接口,允许软件厂商直接配置内存带宽策略。实测 Stable Diffusion XL 训练效率提升47%。
不是参数堆叠,而是架构重构——从底层逻辑颠覆传统AI芯片设计范式
传统GPU采用共享总线+仲裁器方式访问内存,所有核心竞争同一通道;咪哒科技公司简介-咪哒科技公司简介则为每个计算核心分配独立内存通道,实现“一对一”数据直连。
典型案例:在OPT-66B模型训练中,梯度同步阶段内存带宽利用率从42%提升至89%,有效消除“计算-内存”空转窗口。
传统控制器多为通用型(如ARM AMBA),难以适配AI负载特性。咪哒科技公司简介-咪哒科技公司简介开发MemCtrl-X,具备三大创新:
基于训练任务特征(如Transformer的注意力模式),提前预测数据访问序列,预取命中率达94.7%。
支持16级服务质量分级,关键数据(如梯度)优先调度,保障训练稳定性。
实时监控HBM单元状态,自动映射故障单元,避免因单点失效导致整卡宕机。
实测数据显示:在连续72小时OPT-66B训练中,MemCtrl-X将内存错误率从传统方案的1.2次/千小时降至0.03次/千小时。
硬件优势需通过软件释放。MemOS提供三层能力:
开发者实测:通过调整“Q”、“K”、“V”三个注意力矩阵的带宽比例(从默认1:1:1调整为2:1:1),在LLaMA-13B训练中进一步降低5.2%的训练时间。
有观点认为咪哒科技公司简介-咪哒科技公司简介的IDM模式导致“生态封闭”。对此,公司技术负责人回应:
“封闭是手段,开放是结果。我们锁死内存通道,是为了避免第三方代工厂工艺波动带来的性能漂移——这恰恰保障了最终用户的确定性体验。软件栈我们已开放30%的核心接口,未来将通过‘MemDev联盟’向合作伙伴开放更多能力。”
——咪哒科技公司简介-咪哒科技公司简介首席科学家 李哲博士
覆盖训练与推理全场景,从单卡到集群的完整解决方案
定位:通用AI训练卡
制程:7nm
核心数:16核
内存:32GB HBM2e(带宽2.0TB/s)
算力:128 TFLOPS(FP16)
特色:首台支持4A游戏渲染的AI芯片,支持PyTorch 1.10+
定位:大模型专用训练卡
制程:7nm + 2.5D封装
核心数:24核(异构计算单元)
内存:96GB HBM3(带宽8.2TB/s)
算力:256 TFLOPS(FP16)
特色:内存吞吐提升5倍,支持175B级模型单卡微调
定位:推理加速卡
制程:12nm
核心:8核INT8专用单元
内存:16GB LPDDR5X
算力:512 TOPS(INT8)
特色:能效比28 TOPS/W,支持TensorRT-LLM加速
组成:64-1024卡异构集群
互联:自研MemLink高速互连协议(单链路400Gbps)
软件:MemCluster OS(支持Kubernetes调度)
典型应用:千亿参数模型训练、多模态大模型联合训练
| 型号 | 制程工艺 | 内存类型/容量 | 内存带宽 | 算力(FP16) | 能效比 |
|---|---|---|---|---|---|
| MemX-02 | 7nm | HBM2e / 32GB | 2.0 TB/s | 128 TFLOPS | 18 TOPS/W |
| MemX-03 | 7nm+2.5D | HBM3 / 96GB | 8.2 TB/s | 256 TFLOPS | 22 TOPS/W |
| MemR-01 | 12nm | LPDDR5X / 16GB | 0.68 TB/s | 512 TOPS (INT8) | 28 TOPS/W |
从技术突破到生态主导,咪哒科技公司简介-咪哒科技公司简介的长期主义路线图
完成MemX-01原型 → MemX-02量产 → MemX-03高性能卡交付,验证技术路线正确性。
主导制定《AI芯片内存通道技术要求》团体标准,参与IEEE P2872标准修订。目标市场份额:中国大模型训练市场达45%,全球达18%。
在半导体行业普遍“Foundry+Fabless”分工的背景下,咪哒科技公司简介-咪哒科技公司简介选择IDM模式,核心考量在于:
不是硬件供应商,而是算力生态共建者
提供:
• 免费开发板(MemX-02)
• MemOS完整源码
• 技术支持通道(7×24小时工程师响应)
• 年度创新大赛(奖金池500万元)
已支持127个开发者项目落地,包括自动驾驶仿真、医疗影像AI、金融时序预测等。
与阿里云、华为云、天翼云达成合作,提供MemX-03实例:
• 按需弹性伸缩
• 与GPU实例混合调度
• 支持Serverless训练任务
实测:在Stable Diffusion训练中,成本较纯GPU方案降低34%。
向清华、浙大、上交等12所高校捐赠MemX-02开发套件:
• 嵌入式AI课程实验平台
• 内存墙专题研讨会
• 优秀论文奖励计划
研究团队使用MemX-02部署CLIP模型,在COCO数据集训练中发现:
开发者感言:“咪哒科技公司简介-咪哒科技公司简介的API让内存带宽从‘黑盒’变成可编程资源,这是传统GPU做不到的。”
从技术社区到大众舆情,咪哒科技公司简介-咪哒科技公司简介的公众认知图谱
我们收集了1000+条公开讨论,总结网民最关心的5大问题:
关于咪哒科技公司简介-咪哒科技公司简介的高频疑问与权威回应
A:无任何关联。咪哒科技公司简介-咪哒科技公司简介(Midtech AI)是中国本土企业,Nasch为海外公司。部分网络文章存在混淆,特此澄清。
A:支持。驱动层已通过WHQL认证(Windows Server 2019/2022),Linux支持主流发行版(Ubuntu 20.04+、CentOS 7.9+)。
A:通过“MemDev开发者计划”申请。需提交项目计划书,审核通过后免费提供MemX-02开发板1块(押金制,归还后返还)。
A:有。已在阿里云、华为云、天翼云上线MemX-03实例,支持按小时/天/月计费,详情见官网“云服务”专栏。
A:提供标准测试脚本:
• HuggingFace Transformers基准测试
• MLPerf Training v3.0(提交中)
• 自定义大模型吞吐量测试工具(支持175B级)
联系商务邮箱:business@midtech.ai