WhisperをNVIDIA GPU搭載機で動作させる

NVIDIA GPU搭載で、さらに 使用可能な環境であればGPUを使用して高速に動作します。



CUDA Toolkit および適切なバージョンの PyTorch (torch)設定が必要


1. CUDA Toolkit とは?
CUDA(Compute Unified Device Architecture) は、
NVIDIA が開発した GPU(グラフィックボード)上で高速計算をするための技術。

CUDA Toolkit とは、そのための「開発ツールキット」であり、GPUで計算を動かすためのライブラリとコンパイラのセット。
Whisper を高速で動かしたい場合、NVIDIA の GPU + CUDA Toolkit が必要。

Whisper自体は CUDA Toolkit を直接使いませんが、
PyTorch(=AI用ライブラリ) が内部で使います。

2. PyTorch の CUDA 対応版とは?
PyTorch は、AIや機械学習でよく使われる「計算ライブラリ」です。

普通の pip install torch では CPU用バージョン が入ります。

GPU を使うには、「CUDA対応版の PyTorch」 をインストールする必要があります。

CUDA対応版の PyTorch のインストール方法(例)
CUDA 12.1 を使っている場合:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

cu121 は CUDA 12.1 に対応した PyTorch の意味。

3. 自分のPCに何が入っているか確認するには?
PyTorch が GPU 対応かどうか確認:
Pythonで次を実行:
import torch
print(torch.version.cuda) # CUDAバージョン(NoneならCPU版)
print(torch.cuda.is_available()) # TrueならGPUが使える


まとめ

CUDA Toolkit GPUで計算させるための NVIDIA公式のツール群

PyTorch (torch) AI処理を行うためのライブラリ

CUDA対応PyTorch GPU対応の PyTorch。これを入れると Whisper が速くなる

Whisper は PyTorch を使ってモデルを動かしているために上記が必要となる