首页
安卓软件
苹果软件
科技资讯
2023年,人工智能成为了热词,谷歌、Meta和微软纷纷展示了他们的产品线和利用AI的宏伟愿景。在围绕AI的喧嚣中,苹果在展示其AI实力方面一直显得沉默或缓慢。或许,这就是为什么许多人询问苹果如何跟上AI军备竞赛的原因。答案很简单,苹果多年来一直在不同领域与AI合作。只是用户尚未能够在iPhone上整合像ChatGPT这样的系统。
然而,事情即将发生变化。苹果在一篇新的研究论文中展示了一种突破性技术,有助于在iPhone上运行AI。这种技术涉及使用闪存优化简化庞大的大型语言模型(LLM)。当苹果将先进的AI整合到iPhone中时,这将是另一个重大转折。这家总部位于库比蒂诺的科技巨头本月公布了两篇重要的AI研究论文。论文揭示了3D头像和高效语言模型推理的新技术。
这项名为“闪存中的LLM:具有有限内存的高效大型语言模型推理”的新研究于12月12日发表,有可能改变iPhone体验,因为它可能提供更沉浸式的视觉体验,并使用户能够在iPhone和iPad上访问复杂的AI系统。研究论文主要关注在具有有限DRAM容量的设备上高效运行大型语言模型。DRAM是动态随机存取内存,用于个人电脑,以其快速、高密度、经济实惠和低功耗而闻名。
以下是该研究的一些要点,将使苹果领先于其竞争对手:
论文解决了运行超出可用DRAM的LLM的挑战,存储模型参数在闪存中,并根据需求将其运行到DRAM中。它讨论了已经开发的推理成本模型,以优化从闪存的数据传输,考虑到闪存和DRAM的特性。
论文中讨论的技术包括窗口化(Windowing),通过重复使用先前激活的神经元来减少数据传输,以及行列捆绑(Row-Column Bundling),用于提高闪存读取的数据块大小。
研究者们使用了诸如OPT 6.7B和Falcon 7B等模型来展示他们的方法。根据论文,结果显示,与传统方法相比,这些模型在CPU和GPU上分别实现了4-5倍和20-25倍的速度提升。
苹果的新研究显示了一种在硬件受限环境下高效运行LLM的创新方法。这为未来在设备上的研究和下一代用户体验开辟了新的方向。
这对iPhone用户意味着什么?
从用户的角度来看,有限内存下高效LLM推理的发现,将极大地惠及苹果和iPhone用户。有了在内存有限的设备如iPhone和iPad上高效运行的强大LLM,用户将能够体验到触手可及的增强AI能力。这些能力包括改进的语言处理、更复杂的语音助手、增强的隐私保护、潜在的减少互联网带宽使用,最重要的是,使所有iPhone用户能够访问和响应先进的AI。
尽管未来的能力展示了苹果如何致力于主导AI研究和应用,但专家似乎持谨慎态度。一些专家似乎已经建议,这家科技巨头在将研究发现纳入现实世界用例时,需要非常谨慎和负责。一些人甚至强调了考虑隐私保护、缓解潜在滥用和总体影响的必要性。
苹果开创性AI研究或使iPhone领先谷歌和微软
2023年,人工智能成为了热词,谷歌、Meta和微软纷纷展示了他们的产品线和利用AI的宏伟愿景。在围绕AI的喧嚣中,苹果在展示其AI实力方面一直显得沉默或缓慢。或许,这就是为什么许多人询问苹果如何跟上AI军备竞赛的原因。答案很简单,苹果多年来一直在不同领域与AI合作。只是用户尚未能够在iPhone上整合像ChatGPT这样的系统。
然而,事情即将发生变化。苹果在一篇新的研究论文中展示了一种突破性技术,有助于在iPhone上运行AI。这种技术涉及使用闪存优化简化庞大的大型语言模型(LLM)。当苹果将先进的AI整合到iPhone中时,这将是另一个重大转折。这家总部位于库比蒂诺的科技巨头本月公布了两篇重要的AI研究论文。论文揭示了3D头像和高效语言模型推理的新技术。
这项名为“闪存中的LLM:具有有限内存的高效大型语言模型推理”的新研究于12月12日发表,有可能改变iPhone体验,因为它可能提供更沉浸式的视觉体验,并使用户能够在iPhone和iPad上访问复杂的AI系统。研究论文主要关注在具有有限DRAM容量的设备上高效运行大型语言模型。DRAM是动态随机存取内存,用于个人电脑,以其快速、高密度、经济实惠和低功耗而闻名。
以下是该研究的一些要点,将使苹果领先于其竞争对手:
论文解决了运行超出可用DRAM的LLM的挑战,存储模型参数在闪存中,并根据需求将其运行到DRAM中。它讨论了已经开发的推理成本模型,以优化从闪存的数据传输,考虑到闪存和DRAM的特性。
论文中讨论的技术包括窗口化(Windowing),通过重复使用先前激活的神经元来减少数据传输,以及行列捆绑(Row-Column Bundling),用于提高闪存读取的数据块大小。
研究者们使用了诸如OPT 6.7B和Falcon 7B等模型来展示他们的方法。根据论文,结果显示,与传统方法相比,这些模型在CPU和GPU上分别实现了4-5倍和20-25倍的速度提升。
苹果的新研究显示了一种在硬件受限环境下高效运行LLM的创新方法。这为未来在设备上的研究和下一代用户体验开辟了新的方向。
这对iPhone用户意味着什么?
从用户的角度来看,有限内存下高效LLM推理的发现,将极大地惠及苹果和iPhone用户。有了在内存有限的设备如iPhone和iPad上高效运行的强大LLM,用户将能够体验到触手可及的增强AI能力。这些能力包括改进的语言处理、更复杂的语音助手、增强的隐私保护、潜在的减少互联网带宽使用,最重要的是,使所有iPhone用户能够访问和响应先进的AI。
尽管未来的能力展示了苹果如何致力于主导AI研究和应用,但专家似乎持谨慎态度。一些专家似乎已经建议,这家科技巨头在将研究发现纳入现实世界用例时,需要非常谨慎和负责。一些人甚至强调了考虑隐私保护、缓解潜在滥用和总体影响的必要性。