脱颖而出
摩尔线程发布技术白皮书:破解长上下文推理成本瓶颈_我的网站

A |
凤凰网科技讯 8月24日,摩尔线程正式发布《MTT S5000 Prefill-as-a-Service技术白皮书》,基于旗舰级AI训推一体智算卡MTT S5000,提出Prefill-Decode异构解耦方案,面向AI Agent、代码生成、超长文档分析等长上下文推理场景,旨在破解推理成本瓶颈。 수산과학2관 전경. 국립부경대 제공국립부경대학교(총장 배상훈)가 대학의 전통적인 기초학문 분야인 수산과학의 첨단 교육·연구 경쟁력을 한 단계 높일 수산과학2관을 준공했다. 국립부경대는 25일 오후 수산과학2관 1층 로비에서 이 건물 준공식을 개최했다. 수산과학2관은 기존 수산과학관을 비롯해 캠퍼스 내 건물에 분산돼 있던 수산 계열 학과를 한곳에 집적해 수업과 실험·실습에 필요한 학생들의 이동 동선을 줄이고 학습 효율을 높이는 동시에 교육·연구 공간의 활용성과 효율성을 높이기 위해 건립됐다. 수산과학2관은 약 380억 원의 총사업비가 투입돼 지하 1층, 지상 14층, 연면적 1만 7410㎡(약 5267평) 규모로 완공됐다. 2024년 11월 착공해 약 600일간의 공사를 거쳐 지난 7월 완공 후 이날 준공식을 했다. 이 건물은 국립부경대의 전통적인 기초학문 분야인 수산과학을 위한 교육·연구 인프라를 고도화하기 위한 시설이다. 수산과학2관에는 강의와 실험·실습을 위한 교육 공간은 물론 연구실과 행정 공간, 학생들을 위한 휴게·학습공간 등을 함께 조성해 교육과 연구, 학생복지가 유기적으로 연결되는 수산과학 분야의 복합 시설로 구축됐다. 건물에는 수산과학대학 연구실과 강의실, 실험실, 행정실을 비롯해, 2층 커뮤니티 라운지와 3층부터 13층까지 각 층 엘리베이터 전면에 학생 휴게 및 스터디 공간을 마련하는 등 학생 친화적인 교육 환경을 조성했다. 최상층인 14층에는 각종 학회와 세미나, 단과대학 행사 등을 개최할 수 있는 스카이라운지를 조성했고, 330kW 규모의 태양광 발전설비 등 친환경·에너지 효율을 고려한 시설도 갖췄다. 국립부경대는 수산과학2관 준공을 기념해 이날 오전 학술연구세미나를 여는 등 안전하고 쾌적한 캠퍼스 시설을 조성·관리를 통해 대학의 교육과 연구 경쟁력을 지속적으로 높여나갈 계획이다.。
白皮书指出,大模型输入上下文规模进入百K至1M级别后,Prefill(预填充,计算密集型)与Decode(解码,访存密集型)在同一资源池混跑造成结构性算力错配。解决方案是将二者彻底解耦,分别运行在各自最契合的硬件资源池上,实现单位Token基础设施成本大幅下降。
。
白皮书指出,大模型输入上下文规模进入百K至1M级别后,Prefill(预填充,计算密集型)与Decode(解码,访存密集型)在同一资源池混跑造成结构性算力错配。解决方案是将二者彻底解耦,分别运行在各自最契合的硬件资源池上,实现单位Token基础设施成本大幅下降。
B | MTT S5000硬件特性与Prefill任务高度契合:提供高稠密算力压缩首字时延,原生支持FP8全精度计算,并全面兼容CUDA及PyTorch、vLLM等主流推理框架。实测数据显示,在64K上下文场景下,单机Prefill吞吐达95,920 tok/s,按智谱API定价测算,满负载下单机月收入可达64.6万元;400K极限长序列场景TPM达2.6MTokens,吞吐平稳可控。摩尔线程表示,大模型产业竞争下半场本质上是推理效率与商业回报的较量,该方案旨在帮助企业在万亿参数与Agent时代降低总拥有成本。完整白皮书已在官网发布。
Current article:http://www.caonaishengpengchuali.shop/news/20260826_287.htm
Published on:03:46:11




