KV cache

Modelo de atención lineal: i14 sirve 1.280 conversaciones a la vez con solo 29,5 MB de memoria por secuencia

Modelo de atención lineal en AWS Trainium2: i14 mantiene 29,5 MB por secuencia y sirve 1.280 conversaciones a la vez. Qué implica para tu estrategia de IA.