数百ギガバイトのクリックストリームを処理したり、検索拡張生成(RAG)のベクトルストアを作ったりする企業は、伝統的に Apache Spark を動かす 64 ノードの CPU クラスタに依存してきました。
しかし NVIDIA RAPIDS cuDF や Polars GPU のような現代の GPU コンピューティングフレームワークは、同じ結合、集計、文字列変換を、GPU 8 枚のノード 1 台で費用の一部として実行します。
NovaPod では、データエンジニアリングチームが GPU 加速の Arrow メモリバッファを備えた事前調整 RAPIDS ノートブックを起動し、ストレージと演算の間のシリアライズボトルネックをなくします。
1,000 万文書の 768 次元埋め込み生成は、数日の CPU バッチジョブから、8x H100 クラスタの 25 分の実行へ縮みます。
NovaPod CLI クイック起動
import cudf, polars as pl
import cupy as cp
# Zero-copy GPU columnar ingestion on NovaPod
df = cudf.read_parquet("/workspace/telemetry_100M.parquet")
grouped = df.groupby(["device_id", "region"]).agg({"latency": "mean", "errors": "sum"})
print("Processed 100M rows in 1.2 seconds on H100")アーキテクチャの要点高 VRAM の GPU ノードでの表データ取り込みとベクトル索引は、肥大化した CPU クラスタを大きく上回ります。NovaPod の事前構成 RAPIDS 環境は、cuDF、cuML、GPU ネイティブの FAISS 索引へ即座にアクセスできるようにします。