戻る
zaimu @zaimu · 1日前
いきなりすみません
AIに詳しそうだったのでモロホスト厨さんに聞きたいことがあるのですが
https://huggingface.co/DavidAU/OpenAi-GPT-oss-20b-abliterated-uncensored-NEO-Imatrix-gguf
このモデルをvast.aiのVRAM24GBくらいのGPUマシンで動かそうとしたのですがlack of memoryとでてしまいn_ctxを1024、n-gpu-layersを8にしてもだめでした
これは24GBではこのモデルはそもそも動かないということなのでしょうか？
DavidAU/OpenAi-GPT-oss-20b-abliterated-uncensored-NEO-Imatrix-gguf · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
1 0 1
返信
Avatar
@zaimu への返信
20Bなのでfp16だと、2byte×20Bでモデル本体だけでVRAM40GBですよ
Q8_0にしても22.1GBで本体の空きVRAMが2GBでほぼないので厳しいと思います…
IQ4_NLとかにしたらどうでしょうか、12GBくらいになるので空きVRAM結構ありますよ
2 0 1
Avatar
@yp3klknl への返信
4bit量子化したら動くと思います…
1 0 0