Nueva ruta para reducir la latencia de inferencia de SageMaker

Amazon SageMaker Inference añade una funcionalidad de enrutamiento con conciencia de prefijo, enviando las solicitudes con el mismo prefijo de prompt al mismo nodo para conservar la caché y reducir la latencia de inferencia. Esto mejora directamente los costos operativos y la capacidad de respuesta.

Por qué importaLa eficiencia de costos y la escalabilidad de la operación de LLM se pueden mejorar a corto plazo.