Canonical e Intel implementan aceleración por hardware en Ceph para reducir el consumo de CPU y mejorar la eficiencia del almacenamiento en centros de datos.
En la administración de sistemas, el almacenamiento eficiente es clave para garantizar rendimiento, escalabilidad y reducción de costos operativos. Con el crecimiento exponencial de los datos, las estrategias tradicionales de redundancia, como la replicación y la codificación de borrado (erasure coding), no siempre son suficientes para optimizar los recursos. En este contexto, Canonical e Intel han implementado la integración de Intel® Quick Assist Technology (QAT) en Ceph, logrando reducir significativamente el consumo de CPU en procesos de compresión sin afectar el rendimiento.
El Desafío de la Compresión en Entornos de Almacenamiento
La compresión de datos ha sido una estrategia útil para reducir el consumo de almacenamiento, pero tradicionalmente conlleva un alto impacto en la CPU, degradando el rendimiento general del sistema. Este es un reto crítico en entornos de almacenamiento definidos por software como Ceph, donde cada nodo necesita mantener un equilibrio entre rendimiento, capacidad y eficiencia energética.
Intel® QAT descarga la tarea de compresión de la CPU principal, permitiendo que los servidores de almacenamiento procesen datos más rápido sin comprometer ciclos de procesamiento esenciales. Con la llegada de los procesadores Intel® Xeon® de 4ª y 5ª generación, esta tecnología ya no requiere hardware adicional, sino que está integrada dentro de la CPU, facilitando su adopción en centros de datos y entornos empresariales.
Benchmark: Comparación de Rendimiento con QAT
Para evaluar el impacto de la compresión acelerada, Canonical realizó pruebas en un clúster Ceph de 4 nodos con discos NVMe, utilizando MinIO Warp para simular cargas de almacenamiento de objetos con una tasa de compresión de 4:3 (25% de ahorro de espacio).
Resultados Clave:
| Métrica | Sin Compresión | Con Compresión (Sin QAT) | Con Compresión + QAT |
|---|---|---|---|
| Ancho de banda de escritura | 4,66 GBps | Reducción del 50% | 5,05 GBps (+8%) |
| Ancho de banda de lectura | 21,86 GBps | 11,28 GBps (-48%) | 20,88 GBps (-4%) |
| Consumo de CPU | Normal | +150% | Sin impacto |
La integración de Intel® QAT no solo mantiene el rendimiento, sino que en algunos casos incluso mejora el ancho de banda de escritura, permitiendo que el almacenamiento comprimido se procese más rápido sin penalizaciones de CPU.
Casos de Uso: ¿Cuándo la Compresión es Realmente Eficiente?
No todos los datos son adecuados para la compresión. Mientras que los formatos sin compresión pueden obtener ahorros significativos, los archivos ya comprimidos como JPEG o H.264 no muestran mejoras.
| Tipo de Datos | Ratio de Compresión | Ahorro de Espacio |
|---|---|---|
| Datos estructurados (CSV, JSON, Texto) | 1.33 | 25% |
| Imágenes comprimidas (JPEG) | 1.01 | 1% |
| Video sin comprimir (RAW YUV) | 3.13 | 68% |
| Video comprimido (H.264) | 1.00 | 0% |
Para los administradores de sistemas, esto significa que la compresión con QAT es más efectiva en entornos con grandes volúmenes de datos estructurados, registros de logs, bases de datos y videos en bruto, mientras que es menos útil en repositorios de imágenes o videos ya optimizados.
Implementación de Intel® QAT en Ceph
Para probar esta integración en entornos de prueba o producción, Canonical recomienda el uso de MicroCeph, que simplifica la implementación de Ceph y facilita la integración con QAT.
Pasos para Habilitar Intel® QAT en Ceph
- Instalar MicroCeph con soporte QAT:
snap install microceph --channel=squid/edge/qat --devmode - Instalar el motor QAT en cada nodo de almacenamiento:
sudo apt-get -y install qatengine - Habilitar la compresión acelerada en Ceph:
ceph config set client.radosgw.gateway qat_compressor_enabled true - Configurar la compresión para el almacenamiento de objetos:
radosgw-admin zone placement modify \ --rgw-zone default \ --placement-id default-placement \ --storage-class STANDARD \ --compression zlib - Verificar la compresión de datos con:
radosgw-admin bucket stats
Estos pasos permiten a los administradores de sistemas reducir el consumo de almacenamiento sin comprometer el rendimiento, al tiempo que liberan ciclos de CPU para otros procesos.
Beneficios para Centros de Datos y Cloud Computing
La integración de QAT en Ceph ofrece una serie de beneficios clave para los centros de datos y proveedores cloud:
- Reducción de costos operativos al disminuir la cantidad de hardware requerido para almacenamiento.
- Mayor densidad de almacenamiento, permitiendo mayor capacidad sin aumentar el número de servidores.
- Optimización del rendimiento, manteniendo velocidades de acceso a datos sin sobrecargar la CPU.
- Eficiencia energética, reduciendo el consumo de electricidad y mejorando la sostenibilidad de los centros de datos.
Con el crecimiento de los volúmenes de datos en sectores como telecomunicaciones, banca, salud y comercio electrónico, estas optimizaciones resultan esenciales para garantizar una infraestructura escalable y sostenible.
Conclusión: Un Nuevo Paradigma en Almacenamiento Empresarial
La combinación de Ceph, Intel® QAT y Ubuntu ofrece a los administradores de sistemas y operadores de centros de datos una solución eficiente, escalable y de alto rendimiento para almacenamiento definido por software. La capacidad de reducir el costo por GB almacenado sin afectar el rendimiento convierte a esta integración en una herramienta clave para infraestructuras cloud y empresariales.
