在手机上运行了几次本地ai大模型，我才知道那东西要的算力多么恐怖
6 用户529997 3周前 251次点击
前几天
我没事干在手机上跑了个3B参数的qwen来玩了一下
结果没想到
我发了个你好过去
它首先在那边犹豫了几十秒
然后才憋出来个你字
结果它发完一句回复直接两三分钟了
如果这个速度
让它写个1000字的文章
可以给你憋一个上午
所以
承受着成千万上亿次调用的豆包
人家还要保持那么快的回复速度
服务器不得💥
共 7 条评论
0
手机的CPU和电力是有限的，所以尽量还是不要部署本地大模型在手机上
0
人家那边服务器大啊，所以应该就没啥问题，啊，哈哈
0
手机这么小的功耗，他能有啥算力呢？像电脑一样那么高的功耗，手机早爆炸了。
0
你想多了。豆包在全球都有自己的基房。最大的有几万平米。人家财大气粗，根本就不怕
0
人家说服务器，你说基站。而且豆包，字节跳动有基站吗？基站不都是运营商的事情吗 ，按理来说是机房吧
0
对对，我就这个意思。描述不同罢了，不要纠结细节。
0
你是怎么这样做到的？可以详细说一说吗？挺好奇的。
添加一条新评论
作者
积分：587
苹果手机用网页版评论，会连续两个，这是bug，请见谅！