无标题无名氏No.64273277 只看PO
2024-11-03(日)02:40:13 ID:bk6nZwG 回应
1B是多大内存，不是Byte
大模型的参数大小，OPT-13B的B
Tips无名氏No.9999999
2099-01-01 00:00:01 ID: Tips
(`ヮ´ )阿卡林的DTS都快没人玩了，帮他免费推一推，摸鱼页游：常磐大逃杀——【我们，一直都在】 https://dts.momobako.com/
无标题无名氏No.64273357
2024-11-03(日)03:02:00 ID: oComTmr
这个取决于模型精度，比如有些用float，一个参数就4Byte，也有用半精度的两个byte表示一个浮点数，更极端的用一个Byte来表示一个参数的模型也是很常见的优化方式。
然后你自己乘一下就知道了比如 7B的FP32精度模型用于推理就需要 7*10⁹*4 也就是28GB的vram。训练则需要更多内存
无标题无名氏No.64278604
2024-11-03(日)18:20:35 ID: PTavUOG
>>No.64273277
billion，就是所称的多少亿参数
家用机跑小模型通过内存判断可行性，显卡性能判断性能
7B一般能用16G内存跑动，13G要用32G内存
无标题无名氏No.64284965
2024-11-04(一)12:19:09 ID: Gs2SdhS
是billion，指参数数量，不是空间大小。实际推理占多少显存还有很多其他因素，不能简单换算。
训练无论模型多小（0.5b) 单卡都不好搞。