在手机上运行了几次本地ai大模型,我才知道那东西要的算力多么恐怖

3 用户529997 3小时前 74次点击

前几天

我没事干在手机上跑了个3B参数的qwen来玩了一下

结果没想到

我发了个你好过去

它首先在那边犹豫了几十秒

然后才憋出来个你字

结果它发完一句回复直接两三分钟了

如果这个速度

让它写个1000字的文章

可以给你憋一个上午

所以

承受着成千万上亿次调用的豆包

人家还要保持那么快的回复速度

服务器不得💥

共 2 条评论
黄河羽 3小时前
0 
手机的CPU和电力是有限的,所以尽量还是不要部署本地大模型在手机上
夜舞倾城 3小时前
0 
人家那边服务器大啊,所以应该就没啥问题,啊,哈哈
添加一条新评论

登录后可以发表评论 去登录