AIのメモリー、128GBでもメモリ不足、最低144GB、推奨192GBに [422186189]YouTube動画>1本 ->画像>2枚

https://5ch.net
://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/

M2 Ultra 76-Core GPU 192GB　76.28　36.25　12.13　4.71
RTX 3090 24GB 6個　101.07　45.55　16.93　5.82
RTX A6000 48GB 4個　93.73　38.87　14.32　4.74
RTX 4090 24GB 8個　116.13　52.12　18.76　6.45
RTX 6000 Ada 48GB 4個　118.99　50.25　17.96　6.06

GPU　8B Q4_K_M　8B F16　70B Q4_K_M　70B F16
RTX 3090 24GB 2個　108.07　47.15　16.29　メモリ不足
RTX 3090 24GB 4個　104.94　46.40　16.89　メモリ不足
RTX 3090 24GB 6個　101.07　45.55　16.93　5.82
RTX 4090 24GB 2個　122.56　53.27　19.06　メモリ不足
RTX 4090 24GB 4個　117.61　52.69　18.83　メモリ不足
RTX 4090 24GB 8個　116.13　52.12　18.76　6.45

マイニングかよ

ストレージやんけ

なお、GPUを増やすほど同期に時間がかかってるのか性能が落ちてる

RTX 4090 24GB 1個　127.74　54.34　メモリ不足　メモリ不足
RTX 4090 24GB 2個　122.56　53.27　19.06　メモリ不足
RTX 4090 24GB 4個　117.61　52.69　18.83　メモリ不足
RTX 4090 24GB 8個　116.13　52.12　18.76　6.45

ゲフォは繋がらんやろ？

ビデオカード2個装備して2倍のパワーとか昔なかったっけ？

AIとか要らないから安く上がる

GLIDEか

あ　ほ　く　さ

NPUあかんの？メインメモリ使うやろ？