WhisperをNVIDIA GPU搭載機で動作させる
NVIDIA GPU搭載で、さらに 使用可能な環境であればGPUを使用して高速に動作します。CUDA Toolkit および適切なバージョンの PyTorch (torch)設定が必要
1. CUDA Toolkit とは?
CUDA(Compute Unified Device Architecture) は、
NVIDIA が開発した GPU(グラフィックボード)上で高速計算をするための技術。
CUDA Toolkit とは、そのための「開発ツールキット」であり、GPUで計算を動かすためのライブラリとコンパイラのセット。
Whisper を高速で動かしたい場合、NVIDIA の GPU + CUDA Toolkit が必要。
Whisper自体は CUDA Toolkit を直接使いませんが、
PyTorch(=AI用ライブラリ) が内部で使います。
2. PyTorch の CUDA 対応版とは?
PyTorch は、AIや機械学習でよく使われる「計算ライブラリ」です。
普通の pip install torch では CPU用バージョン が入ります。
GPU を使うには、「CUDA対応版の PyTorch」 をインストールする必要があります。
CUDA対応版の PyTorch のインストール方法(例)
CUDA 12.1 を使っている場合:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
cu121 は CUDA 12.1 に対応した PyTorch の意味。
3. 自分のPCに何が入っているか確認するには?
PyTorch が GPU 対応かどうか確認:
Pythonで次を実行:
import torch
print(torch.version.cuda) # CUDAバージョン(NoneならCPU版)
print(torch.cuda.is_available()) # TrueならGPUが使える
まとめ
CUDA Toolkit GPUで計算させるための NVIDIA公式のツール群
PyTorch (torch) AI処理を行うためのライブラリ
CUDA対応PyTorch GPU対応の PyTorch。これを入れると Whisper が速くなる
Whisper は PyTorch を使ってモデルを動かしているために上記が必要となる