星空体育(官方)APP下载IOS/Android通用版/手机app

咨询热线:400-123-4567
您当前的位置: 星空体育(官方)APP下载IOS/Android通用版/手机app > 新闻中心 > 公司新闻
  NEWS

新闻中心

公司新闻

星空体育下载清华系一公司加入AI战局要帮大模型公司降低算力成本

发布时间: 2024-04-03 次浏览

  3月31日,清华系创业公司无问芯穹在上海发布了大模型开发与服务平台“无穹Infini-AI”,公司发起人汪玉携联创团队首次集体公开亮相。这是一家主要做大模型软硬件一体化计算加速解决方案的公司,成立不到一年,背后已有豪华阵容加持。

  天眼查信息显示,上海无问芯穹智能科技有限公司去年5月才成立,12月时曾发生工商信息变更,新增多名股东,包括百度、腾讯和智谱AI。红杉中国、金沙江资本、徐汇资本和无限基金此前也入股了这家公司。

  界面新闻了解到,无问芯穹的发起人汪玉是清华大学电子工程系长聘教授、星空体育下载系主任,长期从事智能芯片、高能效电路与系统研究,他的另一身份是AI芯片公司深鉴科技联合创始人。无问芯穹联合创始人兼CEO夏立雪曾任阿里云用户增长产品技术负责人,汪玉是其导师。

  选择大模型算力成本优化的创业方向,和他们对于市场缺口的洞察及过往经验有关。

  2022年底,大模型引发社会广泛关注后,夏立雪和汪玉认为,国内整体算力情况距离国际先进水平有明显差距,光靠芯片工艺提升或是多元芯片的迭代已远远不够,需要建立一个大模型生态系统,让不同模型能自动部署到不同硬件上,促使各种算力得到有效利用。

  此外,星空体育下载无问芯穹联合创始人兼CTO颜深根为原商汤科技数据与计算平台部执行研究总监,帮助商汤搭建了两万片GPU的大规模高性能AI计算平台。联合创始人兼首席科学家戴国浩现任上海交通大学长聘教轨副教授,清源研究院人工智能设计自动化创新实验室负责人。

  人工智能对算力资源的需求及高昂成本,是大模型落地的公认难题。这或许是前述入股者在光环之外,向无问芯穹抛出橄榄枝的重要原因之一。

  市场咨询机构IDC和浪潮信息发布的数据显示,预计2022到2027年期间,中国智能算力规模年复合增长率达33.9%。中信证券研报指出,随着业界对超长文本的支持需求不断提升,预计硬件基础设施也将随之升级,以满足海量文本数据的存储和计算要求,因此持续看好AI算力层面的投资机会。

  算力贵、算力少、不会用,这是目前大模型落地的三个关键难点。夏立雪指出,各个公司对于AI技术的掌握能力不一样,获取适合自己业务规模和需求的算力能力也不相通。此外,各家公司面临的共同难题是如何控制大模型的“性价比”。

  例如,行业软件公司具有稳定的业务基础和一定的软件开发实力,星空体育下载但随着业务深入探索,他们需要与业务增长速度匹配的训练和推理资源。当应用场景突然出现爆款时,公司立刻需要弹性算力,这时遇到的难点就是灵活性和性价比——一个具有100万DAU(日活)的应用,每年要承担的成本达到千万级。

  当下的大模型产业包含大模型公司、软件和应用公司及下游解决方案公司,而解决方案公司所做的就是控制算力成本。

  无问芯穹处于模型和芯片之间的“中间层”。汪玉曾指出,我国AI大模型的发展在芯片和算法上存在挑战。在模型层和芯片层之间,如何做高效的部署,通过统一的中间层解决异构芯片的适配问题会是一条重要途径星空体育下载。该公司在努力做这样的中间层,在云端优化不同的算力,以此支撑更多不同的模型。

  为解决大模型落地“最后一公里”的问题,近两年已有不少“中间层”公司的探索浮出水面,但方向不尽相同。

  成立于2021年的潞晨科技,主要通过分布式AI开发和部署平台降低大模型落地成本。今年,潞晨科技旗下的国内开源团队Colossal-AI开源Sora复现架构方案Open-Sora,据称可降低46%复现成本。有头部AI和RPA(机器人流程自动化)背景的澜码科技则基于底层大语言模型制定⾃动化平台,协助企业实现人机交互。

  近一年,无问芯穹主要在“优化”上进行逐步突破。2023年11月,其宣布了在英伟达GPU和AMD等芯片上取得的优化效果,据称取得了当时最好的计算加速效果,实现大模型任务2到4倍的推理速度提升。目前,无穹Infini-AI已支持20多个模型及10余种计算卡。

  具体而言,该公司对大模型成本的优化包含算法创新、模型计算优化、平台优化和硬件推理优化四个方面。已有的落地案例是,同道猎聘在一个月前发布了AI驱动的数字人面试官等AI应用,其中部分应用使用了无问芯穹提供的弹性算力方案,在推理加速和成本上实现了进步。

  发布平台的同时,无问芯穹宣布“无穹Infini-AI”自3月31日起正式开放全量注册,给所有实名注册的个人和企业用户提供百亿tokens(文本处理过程中的最小单位)免费配额。如何加速拓展商业化,将是这家新AI初创公司面临的重要节点。

  不过这仅仅是开始。如今大模型行业已经“明星”云集,有了资本支持之后,在不同缺口着力的创业公司如何建立长久的商业模式,决定了谁能在淘汰赛中留到最后。

 
友情链接
星空体育下载

扫一扫关注我们

热线电话:400-123-4567  公司地址:广东省广州市天河区88号
Copyright © 2012-2024 星空体育(官方)APP下载 版权所有 非商用版本 HTML地图 XML地图txt地图 | 浙ICP备2021023164号