La inteligencia artificial sigue siendo protagonista en la transformación tecnológica contemporánea, y los PCs Copilot+ están emergiendo como líderes en este campo. Estos dispositivos, que integran la más reciente tecnología de inteligencia artificial, han comenzado a ofrecer versiones optimizadas de modelos de IA para unidades de procesamiento neural (NPU), con la llegada del modelo DeepSeek R1 a la plataforma Azure AI Foundry.
Iniciando su despliegue con el Snapdragon X de Qualcomm, seguido de procesadores como el Intel Core Ultra 200V, el modelo DeepSeek-R1-Distill-Qwen-1.5B ya está disponible en el AI Toolkit, y se anticipa que las variantes más robustas de 7B y 14B estarán accesibles próximamente. Estas versiones están diseñadas para permitir a los desarrolladores crear aplicaciones de inteligencia artificial que no solo funcionan de manera eficiente a nivel local, sino que también aprovechan al máximo el potencial de las NPUs incluidas en los PCs Copilot+.
El uso de NPUs proporciona un motor extraordinariamente eficiente para la inferencia de modelos, lo que representa un cambio significativo hacia un paradigma donde la inteligencia artificial genera valor constante, posibilitando servicios que operan de forma semiautomática y continua. Esto ofrece a los desarrolladores posibilidades sin precedentes para crear experiencias de usuario más avanzadas, que son tanto proactivas como sostenibles.
El trabajo realizado en Phi Silica ha sido fundamental para lograr una inferencia altamente eficiente, asegurando tanto tiempos de carga competitivos para el primer token como tasas de rendimiento consistentes, con un impacto mínimo en la batería y en el uso de recursos del PC. Las optimizaciones realizadas en los modelos DeepSeek aprovechan lecciones importantes de este trabajo, incluyendo la separación cuidadosa de los componentes del modelo para balancear rendimiento y eficiencia, además de aplicar técnicas de cuantización avanzada.
Para los desarrolladores interesados, es posible comenzar a experimentar con DeepSeek en sus PCs Copilot+ descargando la extensión del AI Toolkit para Visual Studio Code. Esto permitirá acceder a un catálogo de modelos optimizados en formato ONNX QDQ, así como realizar pruebas con el modelo origen alojado en la nube mediante Azure Foundry.
Al abordar las optimizaciones de hardware, el modelo Qwen 1.5B incorpora un diseño altamente eficiente que incluye avances significativos como un tokenizador mejorado, capas de procesamiento de contexto refinadas y un manejo optimizado de operaciones en memoria. Emplea técnicas innovadoras de cuantización y aprovecha la NPU para gestionar bloques de cálculo intensivo, alcanzando notables mejoras en el tiempo de respuesta a 130 ms y una producción de 16 tokens por segundo en respuestas cortas.
Este extraordinario avance permitirá a los usuarios interactuar con modelos de inteligencia artificial avanzados directamente desde sus dispositivos personales, transformando la manera en que se desarrollan y utilizan las aplicaciones de IA. A través de estas avanzadas capacidades, la interacción con modelos de IA de vanguardia se convierte en una realidad tangible y accesible a nivel local, impulsando un nuevo estándar en la computación personal.
