SageMaker HyperPodにモデルキャッシュが追加

Amazon SageMaker HyperPodがモデルキャッシュに対応し、推論時にローカルストレージから読み込むことで初期遅延を低減します。クラスタの効率化と応答性向上が期待されます。

なぜ重要か推論遅延の改善はエッジ推論や大規模サービスのUX向上に直結します。