SageMaker HyperPod añade caché de modelos

Amazon SageMaker HyperPod admite caché de modelos, reduciendo la latencia inicial al cargar desde almacenamiento local. Se espera que mejore la eficiencia del clúster y la capacidad de respuesta.

Por qué importaLa reducción de la latencia de inferencia se vincula directamente a una mejor experiencia de usuario en inferencia en el borde y en servicios a gran escala.