Hugging Faceは、CEOのクレム・デランゲ氏の発表により、事前にコンパイルされたGPUオペレーター向けのクラウドベースソリューション「Kernels Hub」を正式にリリースしました。この新サービスは、グラフィックスカードのパフォーマンス最適化に不可欠なGPUカーネルのインストールを簡素化することを目的としています。従来、FlashAttentionのようなカーネルのコンパイルには多大なリソースと時間が必要であり、バージョンの不一致によるエラーが頻発していました。Kernels Hubは、さまざまなGPUおよびシステム環境向けに事前にコンパイルされたカーネルを提供することでこれらの課題に対応し、開発者が一行のコードで実装できるようにしています。 このサービスは、NVIDIA CUDA、AMD ROCm、Apple Metal、Intel XPUなど複数のハードウェアアクセラレーションプラットフォームをサポートしており、Hugging Faceの推論フレームワークTGIおよびTransformersライブラリに統合されています。昨年6月にテストとして初めて公開されて以来、Kernels Hubは現在、Models、Datasets、Spacesと並ぶHugging Face Hubの第一級リポジトリタイプに昇格しました。現在、61の事前コンパイル済みカーネルが利用可能で、注意機構や量子化などの重要なユースケースをカバーしています。