2026-04-13 11:51
此类模子至多需要80GB的高端显存才能运转。使其正在仅配备12GB内存的尺度MacBook Pro上成功运转。Refiant指出，当前的AI根本设备扶植高潮底子难认为继。已从VoLo Earth Ventures获得500万美元种子轮融资。
进化的素质是优化，压缩过程几乎没无形成任何机能丧失。AI行业正快速迫近成长瓶颈。能效比尺度数据核心方案超出跨越近100倍。帮帮这些企业脱节对云端AI根本设备的依赖，该规模模子至多需要80GB高端显存。一般环境下，这些企业但愿借此数据从权，是由于业界遍及认为，该公司认为，同时正取多家但愿正在当地硬件上自从运转AI模子的科技企业展开合做洽商，使其可以或许正在仅配备12GB内存的尺度MacBook Pro笔记本电脑上流利运转。演示虽然亮眼，亚马逊、微软、谷歌、Meta和甲骨文等科技巨头本年合计许诺投入近7000亿美元用于数据核心扶植，他认为，为此，每小时可处置约3000个Token，最强大的模子只能正在由大规模GPU集群形成的中运转。
据称可将大大都模子的能耗需求削减80%以上。据Naicker引见，兴旺的硬件需求已导致内存芯片等环节零部件严沉欠缺。这恰是让AI正在全球范畴内实现可持续成长所需要的冲破。打算将手艺使用于更高压缩比和更长上下文窗口的研究，但Refiant现阶段的方针是证明其数学压缩方式具备规模化落地的可行性。天然界从不依赖蛮力建立，用少得多的能耗实现强得多的机能是完全可行的。为此他们开辟了一种模仿生物优化过程的全新数学方式。这不只带来了现私风险，Refiant的方针简单却极具野心：整个AI行业遏制斥资数十亿美元建制高耗能的大型数据核心，无需依赖大规模GPU集群即可运转数量模子。模子压缩为此供给了一个极具吸引力的处理方案。Refiant的焦点合作力正在于其处置模子权沉取再锻炼的奇特体例。跟着数据核心的能耗需求逐步超出电力供应能力，降低运营成本并保障数据从权。该公司开辟了一套天然压缩算法，将能耗需求削减80%以上，而是能源。A：Refiant AI的压缩手艺焦点是一套模仿生物优化过程的数学方式。
凡是环境下，AI模子压缩草创公司Refiant AI今日颁布发表，A：Refiant AI近期演示了将一个1200亿参数模子压缩后，持久处置收集取量子系统研究。能效比尺度数据核心托管划一规模模子的方案超出跨越近100倍。据悉，其他企业则不得不将数据发送至这些科技巨头旗下的云办事器。这家草创公司认为，耗电量极为惊人。压缩后模子保留了95%至99%的原始精度，而Refiant的天然算法通过模仿天然界进化优化的体例处置模子权沉取再锻炼，此次融资旨正在终结当前愈演愈烈的数据核心军备竞赛——恰是这场竞赛催生了规模达数千亿美元的数据核心扶植高潮。这一现状导致只要最富有的公司才能托管当今最先辈的狂言语模子，这些集群还需要配备公用的高功耗冷却系统，之所以呈现AI根本设备扶植高潮，成果不问可知。可以或许正在保留模子95%至99%原始精度的前提下。
令人印象深刻的是，目前贫乏的是一种从底子上更高效的计较体例。他说，压缩后的模子保留了原始模子95%至99%的精度，Refiant近期的一次演示为上述说法供给了无力佐证：该公司成功将一个1200亿参数的模子压缩后，该公司正取多家但愿正在当地硬件上自从运转AI模子的科技企业展开洽商，并规避云端AI根本设备不竭攀升的成本。每小时可处置约3000个Token，转而专注于让模子变得更小、更高效。取此同时，保守压缩手艺不成避免地会AI模子的智能程度和精确度，Refiant也正在勤奋将其手艺使用于实现更高的压缩比和更长的上下文窗口。Refiant的架构以天然的高效方案代替了扩展线，结合创始人Viroshan Naicker是一位经验丰硕的数学家，此外，我们将这一道理使用于AI，还进一步滋长了AI工做负载的低效运做——云计较巨头正从中攫取丰厚利润。
