他们将通过这种依靠暴力数据扩展追求模型性能提升的可能最终演化路径，称为“退化式 AI”（DegenerativeAI），即灾难性地积累错误与不准确性。 LLM 扩展，存在“壁垒”尽管大模型 hype 热度…
有一种可能性是，或许他们本打算早点发布 Llama 4，但就在 9 月，OpenAI 推出了 o 系列模型，今年 1 月，DeepSeekR1 又来了，所以 Meta 的所有计划都被打乱了。 但仔细看脚注…
然而，OpenAI论文的合著者、前OpenAI研究副总裁 、Anthropic创始人Dario Amodei ，在11月的一期播客中透露，他在2014年与吴恩达在百度研究AI时，就已经发现了模型发展的规律S…
在发布24个月后的今天，张宏江认为大模型领域有六个比较重要的技术趋势：Scaling Law没有全面放缓，AI将创造新的操作系统、新平台、新生态，大模型推动存量和新增应用，多模态大模型是AGI的终极模型，多模…
最近两天大家也在讨论一些新的东西，包括Scaling Law是不是已经碰到天花板，大模型这个事情是不是还会走下去，有很多的看法，我也不断被大家来问这样的问题。可以看这条曲线，在语言能力上，单单从语言能力上来…
其中，AutoGLM，基于智谱自研的“基础智能体解耦合中间界面”和“自进化在线课程强化学习框架”，是智谱第一个产品化的智能体 Agent，通过文字/语音指令模拟人类操作手机，实现大模型从“言”到“行”的范式…
无独有偶，Anthropic创始人Dario Amodei在本月中旬与LexFridman的播客节目中也明确提到，2014年与吴恩达在百度研究AI的时候，他就已经发现了Scaling现象。 对于Dario…
他表示，OpenAI已经有o系列和GPT系列两个模型，来让模型继续保持Scaling。在OpenAI研究者看来，在这种情况下，就可以真正利用合成数据，训练一个能为图片生成高保真标题的模型。 现在，我们已经可…
下一代要发布的旗舰模型Orion，在预训练阶段只用了20%的训练量，就达到了GPT4的水平，能力上升的很快，但OpenAI的研究者发现，后边增加训练量，Orion的水平提升却很慢很微小，没有实现从GPT3到…
起因是，The information在一篇文章指出，OpenAI下一代旗舰模型Orion（或称GPT-5）相较于现有模型，能力提升“有限”（代码能力甚至不如现有模型），远不如GPT-3到GPT-4的跃升，…
LLaVA-o1 采用了阶段级束搜索（stage-level beam search）的推理时间 Scaling技术，能够在每个推理阶段生成多个候选答案，并选取最佳答案。 该模型在处理复杂任务时具备较强的…
这次的创业，也给月之暗面留下隐患，杨植麟、张宇韬近期遭遇到了当年部分循环智能投资人的起诉，核心原因也是，月之暗面估值上涨过快，Kimi智能助手用户增长迅猛，颠覆了部分投了循环智能但没有跟着投资月之暗面的投资…
该团队还得到了一个有趣的观察结果：规划搜索并不利于某些模型的 pass@1 指标，其中最明显的是 Sonnet 3.5 在LiveCodeBench 上的表现 —— 这是实验中表现最好的组合。 最后，该团…
语言理解和表达是 LLM 最强的能力，初版 ChatGPT 就可以完全胜任各种纯语言交流的任务，基本达到人类水准，目前即使是小模型，在这方面比大模型能力也不弱；世界知识能力虽说随着模型规模越大效果越好，但幻…
1X 工程师 Daniel Ho表示这是机器人世界模型的初步进展，模型可以理解接触到的物理世界并生成高保真视频，使机器人可以在自己的神经空间中执行规划、评估和模拟操作。 该研究训练的世界模型能够根据不同的…
借助自研的训推一体技术，百舸 4.0 让集群同时支持在线推理服务部署和离线训练任务，训推之间的算力自由切换，训推场景在不同时间复用相同的 GPU 资源，并在推理时将高算力高显存的训练卡分配给多个业务应用，最终…
汪华：强化学习其实各种各样的 paper都在外面，中国聪明的人也很多，之前之所以做得不好，不是学术上做不出来，而是工程上和累积上，我们投入太低的问题。 张鹏：听起来中国的大模型的创业公司真的辛苦，过去一段…
但有了「o1」所代表的新范式，Scaling Law 可以从更小的模型做，而可能这个模型算力提升 10倍就能看到原先百倍的效果，而不是要指数级别的提升才能看到很多进步，包括对于各种各样的商业化也更友好了。 …
至于几何精细度和图片还原度等方面的效果嘛，先小放一段用新工具生成3D模型的视频，大家直观感受一下：寻回的答案是，至少在技术方面，VAST会持续追寻3D生成式AI的Scaling Law研究模型规模、…
9月19日消息，在2024云栖大会上，月之暗面创始人杨植麟表示，OpenAI o1发布确实意义很大，GPT4是确定性的提升，但o1并不是完全确定性的，它提升了AI的上限，初步解决了进一步Scaling的问题，…
06/25 00:14
06/25 00:13
06/13 18:29
06/13 18:26
06/13 18:25
06/13 18:23
06/13 18:20
06/13 18:16
京公网安备 11011402013531号