FastqZip: Un nuevo método para la compresión de datos genéticos

La secuenciación de nueva generación (NGS) ayuda a los investigadores a leer el código genético, pero los datos generados ocupan mucho espacio. Almacenar estos datos puede ser un desafío para las instituciones de investigación. Una solución a este problema son los algoritmos de Compresión, que ayudan a reducir el espacio necesario para estos datos genéticos. Este artículo habla de un nuevo método llamado FastqZip, que comprime datos genéticos de manera eficiente mientras preserva la información esencial.

#¿Qué es FastqZip?

FastqZip es un método diseñado para comprimir datos de secuenciación almacenados en un formato conocido como FASTQ. Un archivo FASTQ incluye cuatro líneas para cada secuencia corta: una cadena de identificación, la secuencia de nucleótidos, un signo más y las Puntuaciones de Calidad. Juntas, estas líneas contienen información crucial sobre las secuencias y cuán confiables son. Los métodos de compresión tradicionales trabajan para reducir el tamaño del archivo, pero a menudo no funcionan bien con las características únicas de los datos de secuenciación. FastqZip busca mejorar esto utilizando una mejor forma de mapear secuencias a un genoma de referencia.

#Por qué la compresión es importante

A medida que la tecnología avanza, la capacidad de las plataformas de secuenciación para generar datos ha aumentado enormemente. Por ejemplo, una plataforma puede producir 22 terabytes de datos de secuenciación en solo un día. Esta avalancha de datos requiere un espacio de almacenamiento significativo, lo que hace que la compresión sea vital. Incluso mejoras modestas en la compresión pueden llevar a considerables ahorros de costes para las instituciones de investigación.

#Cómo funcionan los archivos FASTQ

Un archivo FASTQ contiene una serie de entradas que almacenan información de secuenciación. Cada entrada tiene un identificador que nos indica sobre el proceso de secuenciación, una cadena de nucleótidos que representa la secuencia de ADN (compuesta por las letras A, C, G, T y N), un signo más y puntuaciones de calidad que indican cuán confiable es cada base. Las puntuaciones de calidad pueden ser complicadas de comprimir debido a su variado rango de valores, y los investigadores están enfocados en encontrar formas de reducir su tamaño sin perder información crítica.

#Métodos de compresión existentes

Muchos métodos de compresión tradicionales como gzip y bzip2 tienen efectividad limitada cuando se aplican a datos de secuenciación. Anteriormente, han surgido métodos de compresión especializados adaptados a archivos FASTQ. Los métodos más exitosos utilizan compresión basada en referencia, que aprovecha el hecho de que gran parte del ADN humano es idéntico, lo que permite mejores reducciones en el tamaño.

#Cómo funciona FastqZip

FastqZip combina varias estrategias para mejorar la compresión. Comienza creando un índice de la secuencia de referencia, que utiliza para identificar ubicaciones coincidentes para las lecturas. El algoritmo también puede reordenar lecturas y permitir una compresión con pérdida de puntuaciones de calidad. Esto significa que, aunque las secuencias se pueden reconstruir perfectamente, las puntuaciones de calidad pueden comprimirse de una manera que puede no preservar cada detalle, lo cual es aceptable para muchos análisis.

#El proceso de compresión

FastqZip divide el proceso de compresión en cuatro partes principales:

1. Carga de índice: El algoritmo crea un índice que mapea secuencias clave a sus ubicaciones en el genoma de referencia. Este paso es crucial para acelerar la compresión.

2. Alineación de secuencias: Esta fase empareja cada lectura a una posición dentro de la secuencia de referencia. Debido a que el ADN puede tener errores, inserciones o eliminaciones, FastqZip emplea un método mejorado para identificar coincidencias incluso cuando hay pequeñas diferencias.

3. Segmentación: Una vez que las secuencias están emparejadas, el algoritmo agrupa lecturas similares para minimizar el espacio de almacenamiento. Utiliza un enfoque único para almacenar diferencias en posiciones en lugar de repetir posiciones completas, lo que ayuda a reducir el tamaño.

4. Compresión sin pérdida: El paso final comprime los datos sin perder información, asegurando que las secuencias se puedan reconstruir perfectamente cuando sea necesario.

#Características clave de FastqZip

FastqZip introduce varias ventajas sobre los algoritmos de compresión existentes:

• Mejores ratios de compresión: Al enfocarse en un proceso de emparejamiento refinado y permitir el reordenamiento de lecturas y la compresión de calidad con pérdida, FastqZip logra una relación de compresión que supera otros métodos.

• Mayor velocidad: FastqZip está diseñado para funcionar bien en paralelo, lo que significa que puede manejar conjuntos de datos más amplios más rápidamente utilizando múltiples unidades de procesamiento al mismo tiempo.

• Compresión flexible de puntuaciones de calidad: El algoritmo permite diferentes estrategias de procesamiento para puntuaciones de calidad, para que los usuarios puedan elegir entre maximizar la compresión y retener la calidad.

#Pruebas de FastqZip

Investigadores realizaron pruebas de rendimiento utilizando cinco conjuntos de datos, comparando FastqZip con otros algoritmos de última generación (SOTA) como Genozip. Los resultados demostraron que FastqZip puede superar los métodos existentes en la relación de compresión mientras mantiene una velocidad razonable.

#El futuro de la compresión de datos genómicos

El creciente volumen de datos de secuenciación significa que se necesitan esfuerzos continuos para garantizar que se puedan almacenar de manera efectiva. FastqZip muestra promesa en este ámbito al ofrecer un método de compresión mejorado. El trabajo futuro probablemente se centrará en mejorar los algoritmos de compresión sin pérdida utilizados, explorando el potencial de aceleración GPU y FPGA, y encontrando formas de comprimir puntuaciones de calidad de manera más eficiente.

#Conclusión

FastqZip representa un avance importante en el campo de la compresión de secuencias genómicas. Al mejorar cómo se emparejan las secuencias a una referencia y permitir métodos de compresión matizados, establece un nuevo estándar para la eficiencia de almacenamiento en la investigación genómica. Con la cantidad de datos de secuenciación en constante aumento, soluciones como FastqZip serán esenciales para los investigadores que buscan gestionar y analizar esta información de manera efectiva.