在手机上运行了几次本地ai大模型，我才知道那东西要的算力多么恐怖
3 用户529997 3小时前 74次点击
前几天
我没事干在手机上跑了个3B参数的qwen来玩了一下
结果没想到
我发了个你好过去
它首先在那边犹豫了几十秒
然后才憋出来个你字
结果它发完一句回复直接两三分钟了
如果这个速度
让它写个1000字的文章
可以给你憋一个上午
所以
承受着成千万上亿次调用的豆包
人家还要保持那么快的回复速度
服务器不得💥
共 2 条评论
0
手机的CPU和电力是有限的，所以尽量还是不要部署本地大模型在手机上
0
人家那边服务器大啊，所以应该就没啥问题，啊，哈哈
添加一条新评论
作者
积分：105