mk体育app官网登录入口通过缩小AI模子的筹画支拨-mk体育app官网登录入口 - mk(中国)

【CNMO科技音信】10月29日,据CNMO科技了解,韩国电信运营商LG U+书记,其两篇对于AI Token优化本事的究诘论文已被NeurIPS 2026的端侧智能(On-Device Intelligence)接头会接收。干系本事面向手机等筹画资源受限的建造,通过缩小AI模子的筹画支拨,提高处置速率并减少电量挥霍。其中,针对通话行状袖珍谈话模子的优化决策,比较传统样貌可将处置速率提高约4.5倍,电板挥霍减少约77%。

AI
AI模子处置信息时,会将文本等内容拆分红Token,也即是模子进行筹画的基本单元。跟着端侧AI功能加多,手机需要在有限的内存、处置器算力和电板容量下驱动模子,筹画恶果会径直影响反馈速率与续航弘扬。LG U+这次究诘围绕Token处置恶果伸开,试图缩小模子推理历程中的延长和能耗,让AI功能在手机土产货驱动时愈加高效。

在通话行状场景中,LG U+将模子轻量化与推理加快本事运用于袖珍谈话模子(sLM)。与径直依赖云霄大型模子比较,袖珍谈话模子对筹画资源的需求相对较低,更相宜在手机等建造上驱动。LG U+公布的测试甩手披露,经过优化后,干系模子的处置速率达到原有样貌的约4.5倍,电板挥霍则下落约77%。
LG U+还开导了八成在智高东说念主机里面继续测验AI模子的本事。传统AI测验频繁需要将数据传输到行状器处置,而这项本事通过减少筹画量和内存占用,让模子八成在建造土产货学惯用户数据。LG U+示意,骨子手机测试中,土产货测验模子得到了与行状器测验模子左近的准确率mk体育app官网登录入口,用户数据无需离开建造,也能用于改善模子对个东说念主使用环境的顺应能力。
