Las implementaciones modernas de modelos de lenguaje grande (LLM) están enfrentando desafíos crecientes en términos de costos y rendimiento. Estos retos son impulsados por el incremento en el conteo de tokens, una medida relacionada con la cantidad de palabras, el tamaño de las imágenes y otros factores de entrada. Los contextos más largos implican mayores gastos y requisitos computacionales por