算力不足限制AI创新 学者呼吁加强学术界算力支持
相关研究论文已于近日发布在预印本服务器arXiv上,指出学者难以接触到最先进的计算系统,这可能阻碍他们开发大型语言模型(LLM)和其他AI研究的进展。
(图片来源:nature)
具体而言,学术研究者往往没有资源获取足够强大的图形处理器(GPU)——这些电脑芯片常用于训练AI模型,且价格昂贵,可达数千美元。相比之下,大型科技公司的研究者预算更高,可以在GPU上投入更多资金。“每增加一块GPU,就能提升更多算力。”美国布朗大学计算机科学家、该研究的合著者Apoorv Khandelwal表示,“虽然行业巨头可能拥有数千块GPU,但学者可能只有几块。”
“学术界与行业界的模型差距巨大,但本可以小得多。”美国华盛顿特区非营利AI研究机构EleutherAI的执行董事Stella Biderman说。她表示,对这一差距的研究“至关重要”。
为了评估学者可用的计算资源,研究团队对35家机构的50名科学家进行了调查。受访者中,66%对自己的算力满意度打了3分及以下(满分5分)。“他们根本不满意。”Khandelwal说。
各大学在GPU访问设置上有所不同。有些学校设有供各部门和学生共享的中央计算集群,研究人员可申请GPU使用时间。另一些机构可能为实验室成员直接购买机器。
柱状图揭示了调查的结果:学者通常只能有限地访问图形处理器,这进而限制了他们训练机器学习模型的能力。
一些科学家表示,他们不得不等待数天才能使用GPU,并指出在项目截止日期前后等待时间特别长。调查结果还凸显了全球算力访问的差异。例如,有受访者提到在中东地区难以找到GPU。仅有10%的受访者表示,他们可以使用英伟达的H100GPU,这是专为AI研究设计的高端芯片。
这一障碍极大地加剧了预训练过程的难度,即向大型语言模型(LLM)输入海量数据集的过程变得尤为困难。“由于成本高昂,大多数学者甚至不敢涉足预训练领域的研究。”Khandelwal指出。他和同事坚信,学者在人工智能研究中带来了独一无二的视角,而算力的匮乏可能会严重制约这一领域的未来发展。
“为了长期的增长和技术发展,拥有一个健康、有竞争力的学术研究环境至关重要。”美国布朗大学计算机科学和语言学学者、该研究的合著者Ellie Pavlick说,“相比之下,在行业研究中往往存在显著的商业压力,这有时会促使研究人员急于求成,减少了对未知领域的探索。”
研究人员还深入探究了学者如何在算力资源有限的情况下更高效地进行利用。他们测算了在使用1至8块GPU的低资源硬件环境下,预训练多个大型语言模型(LLM)所需的时间。尽管面临资源限制,学者仍成功训练出多个模型,但这一过程耗时更长,并要求他们必须采用更为高效的方法。
“我们实际上可以延长现有GPU的使用时间,从而在一定程度上弥补与行业界的差距。”Khandelwal说。
“在有限的计算资源上竟然也能训练出比许多人预期中更大的模型,这确实令人惊叹。”德国萨尔布吕肯萨尔兰大学神经显式模型研究者Ji-Ung Lee表示。他进一步指出,未来的研究可以聚焦小公司行业研究者的经历,因为他们同样在计算资源获取上面临困境。“并非所有有能力获取无限算力的人都能够如愿以偿。”他补充道。
标签:
相关阅读
-
11-28
-
11-28
-
11-28
-
11-28
-
11-28
-
11-28
-
11-07
推荐阅读
-
算力不足限制AI创新 学者呼吁加强学术界算力支持
一项针对全球数十家学术机构的学者开展的调查显示,许多大学的科学家对人工智能(AI)研究可用的算力资源感到沮丧。相关研究论文已于近日发更多
2024-11-28 17:06:38
-
2024世界公众科学素质促进大会将聚焦全球公众科学
记者从中国科协11月27日举行的新闻发布会上获悉,2024世界公众科学素质促进大会将于12月5日至6日在北京举行。大会关注公众科学素质领域全球更多
2024-11-28 16:58:46
-
我国科研人员首次实现像素“分割”成像
11月27日,在中国科学院空天信息创新研究院实验室,张泽研究员(右)和团队成员在调试实验设备。中国科学院空天信息创新研究院(以下简称空更多
2024-11-28 16:56:35
-
朱雀二号改进型遥一运载火箭发射成功
11月27日10时00分,朱雀二号改进型遥一运载火箭在东风商业航天创新试验区发射升空,将搭载的光传01、02试验星顺利送入预定轨道,飞行试验任更多
2024-11-28 16:54:28
-
部署重点任务 我国加快谋篇布局低空产业
  图为11月5日,小游客乘坐米旗通航直升机飞行基地的直升机在空中饱览太湖南岸美景。新华社记者 徐昱 摄  记者11月5更多
2024-11-07 19:33:31
-
超爱丁顿吸积黑洞发现
天文学家发现了一个在宇宙大爆炸后仅15亿年就能以极端速度吞噬物质的超大质量黑洞。这是一个超爱丁顿吸积黑洞,其吞噬物质速度超过爱丁顿极更多
2024-11-07 19:20:41
-
小型模块化核反应堆是AI的“能源救星”吗
人工智能(AI)的蓬勃发展离不开能源的支持。对此,一些科技公司试图让传统的大型核电站重焕生机,以满足AI产业对能源的需求。还有一些公司更多
2024-11-07 19:16:51
-
研究发现:免疫球蛋白积累是驱动衰老的关键因素
记者11月5日从中国科学院动物研究所获悉,该所科研团队与合作者研究发现,免疫球蛋白积累是衰老的一个关键驱动因素,为更好研究衰老现象进更多
2024-11-07 19:12:59
时尚热图
热门标签
精彩放送
-
11-28
-
11-28
-
11-28
-
11-28
-
11-28
-
11-28
-
11-27
-
11-27
-
11-27
-
11-27
-
11-27
-
11-27
-
11-27
-
11-27
-
11-27
-
11-25
-
11-25
-
11-25
-
11-24
-
11-24
-
11-24
-
11-24
-
11-24
-
11-24
-
11-24
-
11-24
-
11-24
-
11-24
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-19
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-17
-
11-14
-
11-07
-
11-07
-
11-07
-
11-07
-
11-07
-
11-07
-
今日必看
-
精彩话题
-
今日推送
- 超爱丁顿吸积黑洞发现
- 小型模块化核反应堆是AI的“能源救星”吗
- 研究发现:免疫球蛋白积累是驱动衰老的关键因素
- 我国将建立健全知识产权领域信用承诺制
- 可真实复现人类记录所有地震活动的“国之重器”投入运行
- “数”“智”发力促物流降本增效
- 智能制造车间AI质检员“在线CT”
- 稳步推进线上医保购药
- 互联网广告不能隐形
- 以旧换新为“双11”添动力
- 第28届全国发明展览会将于12月举办
- 这些“太空特产”将揭示生命科学奥秘
- 液流电池会是电动汽车未来选择吗
- 第七届进博会丨第七届中国国际进口博览会开幕
- 用原创性技术路线探寻“下一个地球”
- 改革创新育新质 大国重器显实力——国资国企高质量发展观察
- 新华财经|进博会“黑科技”一探究竟 400余项新技术新产品吸睛
- 第41次南极考察|“雪龙兄弟”穿越赤道进入南半球
- swop 2024即将揭幕:11月上海包装展一览行业数智化与可持续化趋势
- 中国航天员完成第五次“太空会师”
- 托举“神十九”的科技新力量
- 胡平赴欧洲卢布尔雅那证券交易所上市敲锣盛典直播在辽阳举行
- 三部门部署建设新材料大数据中心
- 中德两国科学院发布《柏林宣言:通往碳中和之路》
- 拥抱AI,软件业高质量发展的硬道理
- 新华全媒+丨河南:“以旧换新”提振家电和汽车消费市场
- 人工智能技术应用亟待规范
- 智能网联汽车加快商业化进程
- 多形态双足机器人:可行走的不倒翁
- 护航低空经济“高飞” 低空智联网迎多方布局
- AI助力煤质快检求解煤炭业“痛点”
- 卫星与算力赋能 “网约巴士”完善层级公交
- 国内外专家共议智能航运时代到来
- 助低空经济“高飞” 低空智联网迎多方布局
- 新华全媒头条丨逐梦九天再出征——写在神舟十九号载人飞船发射成功之际
- 从“首秀”“首展”看医疗领域前沿“黑科技”——进博会医疗器械及医药保健展区前瞻
- 助低空经济“高飞” 低空智联网迎多方布局
- 新华全媒头条丨逐梦九天再出征——写在神舟十九号载人飞船发射成功之际
- 从“首秀”“首展”看医疗领域前沿“黑科技”——进博会医疗器械及医药保健展区前瞻
- 新华视点·AI走进生活丨AI面试来了!求职者如何应对?
- 我国拟2035年全面建成新材料大数据中心体系
- 数字人民币将“拿到手机就能用”
- 美国科技巨头持续增加AI基础设施投资
- 技术创新带动智能网联汽车加速“进化”
- 国产智能网联汽车需要实现独立自主安全
- 我国研制出超大直径盾构机
- 爱因斯坦探针卫星或发现新型暂现天体
- 工信部、财政部、国家数据局联合部署建设新材料大数据中心
- 世界中文报业协会第57届年会聚焦人工智能
- AI技术在汽车上的应用趋势越发显著