ガジェット
Tesla V100でローカルLLM構築、32GB VRAMを266ドルで実現
愛好家が騒音の大きいNvidia Tesla V100 SXM2を266ドルで入手し、RTX 4080と組み合わせて32GB VRAMのローカルLLM推論環境を構築。27Bパラメータモデルを32トークン/秒で動作させることに成功した。
愛好家が騒音の大きいNvidia Tesla V100 SXM2を266ドルで入手し、RTX 4080と組み合わせて32GB VRAMのローカルLLM推論環境を構築。27Bパラメータモデルを32トークン/秒で動作させることに成功した。
当サイトでは、アクセス分析や広告配信のためにCookieを使用しています。「同意する」をクリックすることで、Cookieの使用に同意いただいたものとみなします。詳細はプライバシーポリシーをご覧ください。