Manejo de Archivos en JavaScript Como un Profesional: Desde ZIP Streams hasta Análisis Eficiente de Memoria

Cuando piensan en Node.js, la mayoría de los desarrolladores pensarán en una API rest o algún tipo de servidor web. Difícilmente piensan en trabajar con archivos. Pero la verdad es que Node.js tiene algunas capacidades serias cuando se trata de trabajar con archivos. Solo necesitas saber cómo hacerlo de la manera correcta.

Así que para aquellos de ustedes que no me conocen, mi nombre es Noam. Soy un desarrollador a tiempo completo con más de cuatro años de experiencia. He sido parte de equipos de producción a gran escala y también como el arquitecto principal de proyectos que se construyen desde cero. Esta es mi familia. Mi esposa acaba de graduarse de la escuela de medicina, lo cual funciona muy bien para mí porque soy hipocondríaco, así que funciona bien. Y en el último año, nos hemos convertido en padres de nuestra encantadora pequeña hija. Así que ahora es mi obligación contar chistes de papá que no son graciosos, así que lo siento de antemano.

¿Por qué importa? Permítanme compartirles un poco de una historia de cómo me introduje en Streams. Así que mi gerente me dio la tarea de construir una aplicación. Era bastante simple. La aplicación básicamente necesitaba obtener datos de un cliente, almacenarlos en algún tipo de base de datos, y luego crear a partir de ellos un archivo y enviarlo a un servidor remoto. Y necesita hacerlo al revés. Así que obtener archivos de un servidor remoto, extraer los datos y luego enviarlos en un JSON al cliente. Así que construí una obra maestra, una hermosa aplicación. Hice pruebas, hice clases, todo estaba realmente genial. Y logré terminar la tarea en la mitad del tiempo que me dieron. Así que esa noche, llegué a mi esposa y le dije que podía elegir el restaurante elegante que siempre no podemos permitirnos porque voy a recibir un aumento. Una cosa llevó a la otra, dos minutos después, mi jefe me llamó y me dijo que mi aplicación se había bloqueado el primer día. Así que después de intentar averiguar qué pasó, me di cuenta de que en mis pruebas, estaba probando archivos de 1 a 10 megabytes. Pero en la producción real, los archivos que estaba recibiendo eran de 500 megabytes o incluso gigabytes. Así que esto es lo que hizo que mi aplicación se bloqueara porque usé solo la forma ingenua llamada de leer y escribir archivos. Entonces, ¿cuál es realmente el problema con el manejo de archivos? El problema principal es que carga todo el archivo en la memoria. Así que este es Mr. Beans todavía esperando. Debes esperar hasta que todo el archivo se cargue en la memoria antes de poder usarlo, y puede causar algunos problemas serios como podemos ver en las siguientes diapositivas. Así que les advertí sobre los chistes de papá.

Ignora tus capacidades. No estoy diciendo que los streams sean siempre mejores que la forma ingenua. Solo estoy diciendo que necesitas expandir tu caja de herramientas para trabajar con el archivo de la manera correcta porque cuando te limitas solo a la forma ingenua o solo a los streams, limitas tu código, te limitas a ti como desarrollador. Y este es el mejor caso. Puedes causar serios problemas de seguridad, bloqueos de la aplicación, etcétera, etcétera.

Solo para que todos estén en la misma página, no quiero perder tiempo valioso sobre streams, pero solo el concepto principal que necesitas conocer para entender el resto de la charla. Así que los streams son básicamente una interfaz que trabaja con datos pieza por pieza en lugar de todo de una vez. Tenemos readable stream, que es la fuente. Tenemos writable stream. Puedes pensar en él como el stream de destino. Tenemos duplex, que es de ambos sentidos, y transform, que es una especie de middleware, puedes pensar en ello.

Lo tomas del destino y lo manipulas de alguna manera, o compresión, encriptación, o transformaciones personalizadas que quieras hacer. Luego das la salida al stream de destino. Así que los streams en OJS son basados en eventos. Así que no necesitas esperar a que el archivo se cargue completamente, y esta es la gran, una de las grandes ventajas de que puedes reaccionar a pequeños eventos a medida que los datos fluyen. OK, así que esto es stream 101. Dos conceptos principales más que necesitamos entender para comprender los streams son pipe y pipeline. Explicaré más tarde la principal diferencia entre ellos y cuándo usar cada uno de ellos.

Así que un pipe es básicamente como un pipe cuando es un pipe conectando entre dos streams. Así que tenemos el source stream y pipe conectado a un destination stream. Y tenemos uno de los conceptos cruciales para entender streams y por qué es tan poderoso e importante, es el backpressure. Y de alguna manera se pasa por alto muchas veces. Así que el backpressure es básicamente cuando nuestro consumidor es más lento que el productor. Puedes pensar en ello como cuando un bebé está bebiendo leche, pero la leche fluye más rápido del biberón de lo que el bebé puede sostener.

Así que en realidad, tengo una visualización de ello. Así que este es mi bebé. Y aunque no lloras por la leche derramada, en realidad sí lloras si la leche se derrama en tu nueva computadora. Así que esto es básicamente backpressure, y lo mostramos, lo examinamos más tarde en detalle. ¿Cuál es la gran diferencia entre streams versus ingenuo? Y esto realmente me sorprendió cuando me lo presentaron por primera vez. En ambos, tenemos el archivo en el disco. Pero en la forma ingenua, cargamos todo el archivo en la memoria, y luego procesamos los datos. Y en streams, lo leemos pieza por pieza y procesamos los datos a medida que llegan, lo que nos da la capacidad de mantener nuestra memoria estable y plana. Y si hablamos de eficiencia y no solo de velocidad, hace que nuestra aplicación sea mucho más eficiente, limpia y a prueba de balas.

Así que puedes pensar en ello como Netflix. Si quieres pensar en cuando veo una película en Netflix, y necesitas descargar toda la película antes de empezar a verla, toma mucha memoria. Esperas para siempre antes de ver la primera vez, y se bloquea completamente hasta que termina. Pero si lo haces con streams, enviamos pequeños trozos de datos uno tras otro mientras ya estás viendo, y comienza inmediatamente, la memoria se mantiene plana y baja. Y si tal vez por alguna razón la red o el disco es lento, solo almacena pequeñas partes en lugar de congelar todo. Así que esta es realmente la gran ventaja de los streams. Así que veamos cómo resuelve todos los problemas que tenemos con la forma ingenua. Así que con read file, está cargando todo el archivo en la memoria, y estamos usando el readable stream. Lee el stream pieza por pieza, un trozo a la vez, y el valor predeterminado es 64 KB, pero por supuesto puedes configurarlo tú mismo, y comienza a emitir los datos inmediatamente. Una de las grandes ventajas del readable stream es que se lleva bien con otros concurrentes. Aunque read file, no como read file sync, no bloquea el event loop, puede causar algunos retrasos serios, y hace nuestra vida realmente difícil cuando intentamos manejar la concurrencia. Una cosa más que tenemos, tiempo de inicio de procesamiento lento. Digamos que tienes un archivo CSV, y lo que estás buscando, está en la segunda línea. Pero tienes un millón de líneas en él. Así que en streams, puedes simplemente detener el trozo de la segunda línea, pero si usas la forma ingenua necesitas cargar las un millón de líneas completas en la memoria antes de poder acceder a ella.

Así que en realidad es realmente, realmente ineficiente. Y lo último, te hablé sobre el back pressure. Streams en realidad implementan automáticamente el back pressure. Más adelante, te mostraré un ejemplo de código, cómo podemos hacerlo, pero no necesitas preocuparte por ello. Así que esto es lo que hace que streams sean mucho más seguros, eficientes y limpios, si estamos hablando de archivos grandes. Previene los bloqueos y mantiene el uso de memoria estable, lo cual es la verdadera magia.

Bien, así que repasaré el código brevemente porque no quiero aburrirte, para no hacerte aburrir. Y quiero repasar todos los conceptos principales, que es un tema amplio. Así que puedes ver el código en detalle si quieres más adelante, en mi Git. Tendré un repositorio para ello y tal vez con algunos más ejemplos. Así que aquí básicamente tengo dos códigos idénticos, tengo una función de registro de uso de memoria, y la única diferencia es que estoy leyendo archivos de la manera ingenua a través de un bucle, y aquí lo hago con readable stream. Y puedes ver, por cierto, esta es la manera de hacer un bucle sobre streams y sincronizar. Así que cada dos segundos, estoy enviando el uso de memoria a algún tipo de código HTML, que te mostraré ahora.

Así que como puedes ver, cuando lo hacemos en un archivo pequeño, bien, así que tengo una ruta de archivo pequeña aquí, hagamos la ruta de archivo pequeña aquí. Así que este es un archivo pequeño de, creo, cinco megabytes o algo así. Así que cuando comenzamos a ejecutar el código, puedes ver que está registrando la memoria que usa, aquí están los trozos, aquí está, sí, cuatro megabytes a la vez, que es toda la memoria. Y déjame mostrarte un gráfico del uso de ello. Bien, y ambos, se mantiene bastante plano con un pequeño movimiento debido al recolector de basura. Pero nuestra memoria es básicamente la misma, lo que puedes ver, en realidad streams toma un poco más de memoria con el archivo pequeño. Pero la parte asombrosa es que si lo hacemos con un archivo más grande, y esta fue la principal diferencia en mi proyecto.

Hagamos el archivo grande aquí, y el archivo grande aquí. Ahora, cuando ejecute el código, verás la magia, que simplemente me dejó boquiabierto. Ahora, si vamos al gráfico y actualizamos, puedes ver cómo la memoria de streams solo un segundo. Sí, para guardar, es algo importante. Ahora, cambié a la ruta del archivo grande. Y como puedes ver, después de que ejecute el código, si vamos al gráfico del uso de memoria, y actualizamos la página, puedes ver cómo los streams se mantienen planos. Y se carga en la memoria. Puedes ver cómo la memoria aquí sube de golpe y llega a 400,000 mientras que en streams. Reacciona para un archivo de un gigabyte como reacciona para un archivo de cinco megabytes. Así que podemos predecir nuestro código con mucho cuidado. Cuando puedes ver aquí, cómo consume demasiada memoria. Y esta es la principal diferencia. Este es el gran poder de streams. Porque la mayoría de la gente, por cierto, no lo sabe. Pero streams inicialmente vinieron para resolver el problema de qué necesitamos hacer si tenemos más, tenemos datos con más memoria de la que realmente tenemos en nuestro proceso. Así que en realidad lo ralentiza, espera hasta que tengamos la memoria, y luego fluye y envía el siguiente trozo de datos. Así que esta es una parte realmente asombrosa, al menos para mi opinión. Y esto es lo que hace que mi aplicación sea realmente mejor y la mejoró y solucionó todos mis problemas de la aplicación. En mi caso, y quiero compartirlo contigo.

Bien, así que después de mostrarte eso, déjame volver a la presentación. Bien, ahora quiero repasar consejos probados en producción. Para estos consejos, lo que me ayudó a crear aplicaciones mucho más eficientes, como dije, porque es un tema amplio. Y quiero mostrarte tantos ejemplos como pueda. Así que repasaré brevemente el código, pero tienes todo el código y los detalles en mi repositorio de GitHub. Así que vamos a nuestros ejemplos. O como le digo a mi hija, cuando necesitamos cambiar el pañal, ensuciémonos las manos. Sé que necesito dejar de hacer eso. Bien, así que quiero comenzar mostrándote la gran cosa que puede hacer el backpressure. Aquí demuestro cuando el productor es mucho más rápido que el consumidor. Así que lo configuraré un poco para que puedas ver lo que puede pasar.

Digamos que tenemos mucho más que un chunk de 64 kilobytes, así que realmente es el dato que fluye va más rápido. Así que tenemos una especie de clase de productor rápido para enviar un readable. Uso el método read y hago que el consumidor sea realmente lento. Así que aquí tenemos el consumidor más lento. Aquí quiero mostrarte nuevamente el uso de memoria de eso. Así que cuando lo ejecuto manualmente, lo siento, lo hemos ejecutado manualmente y cuando lo ejecuto de la manera incorrecta, así que esta es la manera incorrecta cuando no manejamos backpressure. Así que después de ejecutarlo, verás cuánta memoria toma y cómo no es eficiente porque si no manejamos backpressure, estamos como cancelando todo el efecto que strings tenía. Pero si lo ejecutamos en el modo manual, que sí maneja el backpressure, puedes ver cómo la memoria se mantiene plana y baja. Y esto es bastante asombroso porque estamos hablando del mismo archivo, la misma cantidad de memoria y datos. Pero mira lo que backpressure puede hacer a nuestra app si lo manejamos correctamente, en lugar de usar toda esta memoria.

Y si quieres llevar tus apps de bien y tal vez funcionen, tal vez no, e impredecibles, está bien tal vez para apps pequeñas. Pero si quieres llevarlo al siguiente nivel, que es lo que me estaba pasando, mira la principal diferencia. Y si estamos hablando de eficiencia, esto es un cambio de juego, al menos para mí. Así que pasemos por un ejemplo más. Como dije, si tengo un archivo CSV, bien, así que aquí está la manera ingenua cuando intento encontrar, digamos que tengo un archivo CSV con muchos ID y usuarios. Y quiero encontrar, digamos, el ID número 10, porque es Nueva York y queremos respetar el dinero de los giants, o para los Jetfans. Queremos decir, digamos, el ID de usuario de 10. Así que si tenemos millones de usuarios de la manera ingenua, necesitamos cargar todo el archivo mientras con los streams, podemos detenernos después de encontrar lo que necesitábamos.

Así que digamos que tenemos un pequeño archivo CSV de, no sé, como cinco megabytes, creo. Y ejecutamos este ejemplo. Puedes ver cómo el proceso de streams se detuvo después de 12 líneas con nueve milisegundos de ejecución. De la manera ingenua, es un total de 2,000 líneas en memoria, pero 15 milisegundos, no está tan mal. Pero cuando la ruta del archivo es un archivo mucho más grande, creo que aquí tenemos un archivo de 15 megabytes, creo. Y guardamos y lo ejecutamos. Puedes ver ahora, esto estaba tomando 13 milisegundos. Y aquí, 77. Y puedes ver cómo la memoria va y crece de la manera ingenua, y cómo se mantiene estable, porque después de encontrar lo que necesitábamos, podemos acceder a ello desde el código. Y si hacemos un archivo de un gigabyte, y la parte asombrosa, que nuestra app se bloqueó porque usamos más memoria de la que realmente teníamos. Así que esta es también una manera muy útil de cómo hacerlo. Y lo último que quiero mostrarte es la diferencia entre pipe y pipeline.

El 90% de las veces, querrás usar pipeline porque el problema con pipe, que es conectar los streams, es que no reenvía errores. Así que puedes pensar en ello, si tienes muchos streams conectados con pipes, y tienes una fuga en uno de ellos, pero no sabes que hay una fuga, piensas que todo funciona bien hasta que encuentras un problema muy grande. Pero con pipeline, puedes pensar en ello como un sistema que te dice que hay una fuga, cierra lo que necesitas, y todo lo demás continúa funcionando incorrectamente.

Así que solo para mostrarte la diferencia, aquí tenemos una función cuando estoy usando pipe, y tenemos un writable stream, algún tipo de transform stream, que por cierto, Zlib es un transform stream, y tenemos writable streams. Así que digamos que aquí tenemos un archivo de entrada que sé que existe, y aquí estoy creando un error cuando estoy usando un archivo faltante que tenemos. Y cuando ejecuto el código, como puedes ver, nuestra app se bloqueó porque no sabe cómo manejar el error, no reenvía el error, y no tenemos manejo de errores, y nuestra app se bloqueará.

Pero si lo hacemos al revés, y aquí tenemos nuestro archivo existente, y en el pipeline, tendremos el mismo error. Puedes ver que este es el mismo archivo, uso uno para el demo pipe y otro para el demo pipeline, y lo hacemos con pipelines. Así que todavía, tenemos un error, pero maneja nuestro error de manera elegante y puede ayudarnos a mantener proyectos escalables y grandes. Así que este es otro ejemplo que podrás ver de cómo descomprimir un stream cuando estamos usando el paquete unzip como el transform stream, lo cual es bastante genial.