字体
关灯
返回目录 阅读足迹 更多章节
第1080章 手机里住个AI神
第(1/3)页

余大嘴满脸疑惑。

顾屿刚才抛出的那个技术名词,触及到了他的知识盲区。

在2025年,随便在数码论坛拉出一个普通网友,对方都能把端侧大模型、参数压缩这些概念说得头头是道。

可如今是2016年初。

知识蒸馏这个概念,去年三月份才由几位海外顶尖学者联合发表在学术论文上。

这门前沿技术目前还锁在极少数实验室的加密硬盘里。

整个工业界压根就没有人把这东西拿出来大规模商用。

余大嘴没听过实在太正常了。

“顾总,你给我交个底。”余大嘴搓了搓下巴,

“这个蒸馏技术到底是个什么逻辑?”

顾屿没有抛出学术界那些晦涩难懂的专有名词。

他拿起桌上的两个水杯,一个大保温杯,一个小茶杯。

“余总,你把运行在雅安服务器上的完整版天问三号,看作是这个大保温杯。里面装了几百亿参数,运算能力极强。”

顾屿指了指小茶杯。

“手机端硬件有限,就是这个小茶杯。我们不可能把一大缸水硬倒进小杯子里。”

“常规的做法是把大模型直接砍掉一大半功能,做个残次品。但那样出来的模型就会变成弱智,根本没法理解复杂的语言。”

余大嘴深表赞同地点了点头。

“所以我们要换一种训练思路。”顾屿把两个杯子靠在一起。

“我们不直接压缩大模型,而是让雅安服务器里的那个庞然大物当老师。用它去专门训练一个参数量只有十几亿的轻量级模型。”

“在训练过程中,大模型处理完数据后的输出结果,直接作为小模型的学习标准。”

顾屿看着余大嘴。

“这等于把大模型经过大量计算得出的核心逻辑和解题思路,直接喂给小模型。剔除掉那些冗长的计算过程,只保留结论。”

“经过蒸馏提纯和量化压缩后的轻量级模型,虽然无法做高深的科研推理,但应对手机端日常的意图理解和任务分发,游刃有余。”

余大嘴听明白了,两眼放光。

“这技术你们跑通了?”

顾屿没有废话,直接转头看了一眼陆知远。

陆知远从公文包里拿出一台厚重的工程测试设备。这是一台加装了散热模块的特殊测试机,屏幕很大。

第(1/3)页
上一章 目录 下一页
都在看:税收只在机枪射程内!残魂重生修仙界半岛头号玩咖!鸣龙噬恶演武,诸天除魔百无禁忌大明:从战场捡属性开创诸天大明魔王大人深不可测一夕千悟,从杂役弟子开始修仙:从提升灵根资质开始我以奥术登临神座长生修仙:从福修开始重回1982小渔村影视剧中的王牌特工玄鉴仙族重燃青葱时代混沌天帝诀凌峰半岛小行星影视:开局获得阿尔法狗全球觉醒:开局加入聊天群宅魔女我的诡异人生模拟器混沌天帝诀帝皇的告死天使武装魔女