Aceleración de GPU para servicios web y visualización en Node.js con RAPIDS

Hola, y bienvenido a la Aceleración GPU de los servicios web de Node.js y la visualización con Rapids. Soy Allan Ane-Mark, y soy el líder del equipo de Rapids Viz aquí en NVIDIA.

Entonces, Rapids es una plataforma de ciencia de datos acelerada por GPU de código abierto, y puedes encontrar más detalles en rapids.ai y nvidia.com, y Node Rapids, que es el proyecto del que voy a hablar, es una biblioteca modular de enlaces inclusivos de Rapids en Node.js, así como algunos otros métodos complementarios para admitir visualizaciones similares a las de un navegador de alto rendimiento. Actualmente está en vista previa técnica, pero puedes encontrar más detalles al respecto en github.com slash rapids.ai slash Node.

Y realmente, nuestro objetivo principal en este marco es crear algo que pueda acelerar las tuberías de ciencia de datos y visualización completamente en JavaScript y TypeScript, algo que tradicionalmente se hace principalmente en, digamos, Python. Y nuestro segundo objetivo es llevar la aceleración GPU a una mayor variedad de utilidades de NodeJS y JS, ya que sentimos que la comunidad en general tiene acceso limitado a estas herramientas de alto

Entonces, ¿qué obtienes con Rapids, que tradicionalmente se utiliza con Python y C++? Obtienes estas bibliotecas de ciencia de datos, como las operaciones de DataFrame en CUDF, obtienes CUML, que son muchos algoritmos de aprendizaje automático acelerados por GPU, Cougraph, Forgraph, Spatial, Signal, y más que se están desarrollando continuamente y mejorando constantemente. La advertencia es que principalmente se utilizan en sistemas basados en Linux, por lo que si quieres usarlos en Windows, puedes hacerlo, pero debe ser a través de WSL 2.

Entonces, ¿qué tipo de bibliotecas en el ecosistema Viz tradicionalmente se utilizan en Python? Tenemos nuestro propio filtro Cougraph, que es una herramienta de filtrado cruzado basada en cuadernos donde puedes crear paneles de control muy rápidamente con unas pocas líneas de código Python, y luego interactuar rápidamente con cientos de millones de filas de datos de una manera bastante personalizable. Y hacemos un uso extensivo de una de las otras grandes bibliotecas de visualización llamada DataShader, que es excelente para renderizar en el lado del servidor cientos de millones de puntos. Todo esto está acelerado por GPU. Y realmente forma parte de este gran ecosistema de herramientas de Viz y Analytics, que se encuentra en el espectro entre tu back-end en C, C++, Python que se va transformando en solo JS en el front-end. Y realmente, cuando se trata de Ciencia de Datos y Cómputo, principalmente cosas analíticas, más en el lado del rendimiento, todo comienza en el lado de Python y C++. Y luego se traduce a JavaScript para la interfaz. Algunos están un poco más en un punto intermedio, pero realmente comienza allí y luego termina en JavaScript, o simplemente se queda en JavaScript. Lo que estamos proponiendo es lo contrario. Vamos a comenzar con las bibliotecas de JS y luego llevarlas de vuelta a este back-end de alto rendimiento en Node.js. Así que les daremos acceso a CUDA, CUDF, Cugraph, todas esas cosas. Nuestra experiencia con esto comenzó hace un tiempo cuando estábamos haciendo muchas demostraciones para RAPIDS, y en este caso estábamos haciendo una gran visualización de hipotecas donde teníamos DECGL y React, y todo era una interfaz muy rápida y agradable. Se adapta a todo tipo de pantallas diferentes y todo eso, pero el back-end era un desastre. Teníamos múltiples lenguajes, múltiples servidores. Se volvió insostenible y básicamente cada uno se rindió y dijo: `Bueno, hagámoslo en Python y Notebooks`. Pero en el fondo estábamos realmente tristes porque hay todas estas grandes bibliotecas de visualización de JS y las capacidades personalizadas que obtienes al usarlas que nos faltaban, y es una pena porque ahora tienes esta división continental, ¿verdad? Tienes Python y C++ y tienes JavaScript y TypeScript, y hay un abismo entre ellos donde se separan las capacidades entre ellos. Por un lado, tienes acceso directo al hardware, la mayoría de las bibliotecas de cómputo, ciencia de datos y alto rendimiento están en este espacio. No es la mejor usabilidad porque tiene una curva de aprendizaje alta, pero este es el lugar al que debes ir para cosas de alto rendimiento. Por otro lado, tienes el entorno agradable del navegador que es excelente para compartir y compatibilidad, en mi opinión, una visualización y bibliotecas de interfaz un poco más refinadas, pero nuevamente no obtienes ese rendimiento porque estás limitado por el sandbox del navegador. Es una pena porque tienes científicos de datos e ingenieros y personas frente a ellos y están un poco aislados en su lado, pero pueden beneficiarse mutuamente de las herramientas y la experiencia del otro. Por eso está Node Rapids, donde esperamos dar a los desarrolladores de Node.js una API simplificada a una plataforma de ciencia de datos de alto rendimiento, Rapids, sin la necesidad de aprender un nuevo lenguaje o entorno. Así que luego puedes aprovechar las características de Rapids y Node.js, puedes acelerar el catálogo de grandes bibliotecas de visualización JS que ya existen sin necesidad de una refactorización importante, puedes aprender localmente o a través de instancias en la nube y es adecuado para aplicaciones de visualización aceleradas, aplicaciones de servicios de Node, y nuevamente ayuda a que estas dos comunidades trabajen más estrechamente juntas y viceversa. Eso es un poco la idea principal y cuál es la carne y los huesos reales de esto. Bueno, aquí está, Node Rapids. Es una biblioteca muy modular. Es como un buffet. Puedes elegir lo que necesitas para tu caso de uso. Está organizado en estas categorías principales. La principal es la memoria.

Gestión de memoria que te brinda acceso a CUDA, es decir, a la memoria de la GPU. También tenemos un motor SQL muy bueno al que nos enlazamos, lo que nos permite hacer cosas multi-nodo y multi-GPU cuando sea necesario. Luego tenemos toda una rama de ciencia de datos, todo en Rapids, por lo que tienes tus cosas de CUDF y CUGRAS. Y luego tenemos esta columna de gráficos aquí, donde aprovechamos el hecho de que WebGL es un subconjunto de OpenGL. Entonces, realmente lo que estamos haciendo con estos enlaces es, ya sabes, puedes tomar tu código WebGL y luego ejecutarlo en OpenGL y obtener el beneficio de ese aumento de rendimiento de OpenGL. También estamos haciendo cosas con enlaces GLF y, ya sabes, procesos de nodo. Pero nuevamente, ahora puedes usar tu LumaGL, DeckGL, SigmaJS, esperamos obtener dos y tres Jets y básicamente ejecutarlos en OpenGL sin mucho esfuerzo. Entonces, otro componente de esto es que, dado que ya estás en GPU, obtienes el beneficio de la codificación de video de GPU. Al aprovechar eso y usar WebRTC, puedes hacer renderizado en el lado del servidor, transmitirlo al navegador y hacer que el JS del lado del navegador interactúe con él como una etiqueta de video y es liviano en ese sentido. Permite muchas más capacidades en ese sentido. O simplemente puedes hacer cosas como interactuar con todo esto en un cuaderno. Entonces, ¿qué queremos decir con una especie de arquitectura? El hardware de la GPU es un poco diferente. Es bastante sencillo cuando tienes una sola GPU y solo haces renderizado en el lado del cliente. Entonces, todos los cálculos se realizan en la GPU, envías esos valores de cálculo y el JS del cliente lo renderiza, esos pocos valores. Es bastante sencillo y es donde las GPU sobresalen. Sobresalen tanto que puedes tener varios usuarios accediendo al mismo tipo de datos de GPU y es lo suficientemente rápido para manejar eso. O si tienes datos especialmente grandes, NVIDIA tiene un NVIDIA NVLink. Y así puedes vincular varias GPU y obtener una mayor memoria y potencia de cálculo de esa manera. O puedes optar por una arquitectura de nube más tradicional, donde simplemente tienes varias GPU separadas, tienes muchos procesos secundarios ejecutándose en cada GPU, un equilibrador de carga que se ejecuta en todos ellos. Y así, muchas instancias de personas accediendo a él. Y básicamente, la GPU que esté libre en ese momento es la que proporcionará la información a ese usuario. Entonces, es bastante sencillo, ya sabes, nuevamente, aún necesitas muchas GPU, pero, ya sabes, no es algo terriblemente desconocido. Ahora, aprovechando el renderizado en el lado del servidor y el componente de transmisión, si tienes cargas de trabajo bastante pesadas, puedes separar esas tareas para cada GPU. Entonces, una puede hacer solo los cálculos y otra puede hacer la parte de renderizado y codificación hacia el lado del cliente video. Y nuevamente, puede hacer esto lo suficientemente bien como para que varias personas accedan al mismo sistema y los mismos datos. La advertencia aquí es que, para las GPU de consumo, creo que están limitadas a tres transmisiones de codificación NV a la vez, así que tenlo en cuenta. Algo que es interesante y nuevo y un poco más en el lado de los deseos pero posible es este sistema básicamente multi-GPU, en ejecución en el lado del servidor, multiusuario, masivo donde en este caso sería como un DGX, que tiene 8 GPU y todo eso, y puedes dividir el cálculo y el renderizado entre ellos, tienes toneladas de memoria de GPU, y básicamente tienes esta mini supercomputadora a la que puedes acceder y controlar con JavaScript de venta libre, lo cual es bastante sorprendente. Entonces, ya sabes, normalmente piensas que necesitas algún tipo de software HPC y todo eso y toda la sobrecarga que implica aprender esas cosas, pero realmente no hay nada que te impida aprovechar un sistema tan potente con tu JavaScript común y corriente, lo cual nos parece genial. Pero de todos modos, ahora viene la parte buena. Ejemplos y demos. Así que para este primero vamos a mantener

Mantengámoslo simple. Básicamente vamos a mostrar algunas cosas básicas de procesamiento de datos ETL en un cuaderno. Un cuaderno que se ejecuta en Node.js y utiliza la sintaxis de JS, pero básicamente lo estamos utilizando como un marcador de posición para servicios comunes de Node que podrían usarse para servicios por lotes y otras cosas que necesitarías hacer para analizar registros o proporcionar subconjuntos de datos, cosas así. En este caso, lo haremos en vivo. En este momento tengo un contenedor Docker ejecutándose en nuestra instancia de Node Rapids y un cuaderno. Aquí tengo un cuaderno Jupyter, un Jupyter Lab. Si no estás familiarizado, es como el IDE de ciencia de datos. Y puedes ver aquí que estamos haciendo, como lo haríamos en cualquier aplicación de Node, requerir nuestro Rapids AI QDF, en nuestro caso vamos a cargar un conjunto de datos de accidentes automovilísticos en los Estados Unidos de 1.2 gigabytes de Kaggle. Y lo vamos a leer como un CSV en la GPU. Y bueno, hoy fue especialmente rápido. Solo tomó menos de un segundo, lo cual es sorprendente considerando que es un archivo de 1.2 gigas. Y ¿qué tan grande es esto? Son 2.8 millones de filas con 47 columnas. Para nosotros, no es un conjunto de datos tan grande, pero para las personas que están acostumbradas a trabajar con datos y Node.js, es bastante bueno. Y la rapidez y capacidad de respuesta que tiene es impresionante. Vamos a ver, ya sabes, cuáles son los encabezados de esto. Es un poco desordenado, y vamos a pasar por esto bastante rápido, pero básicamente nos desharemos de algunos que no necesitamos. Luego vamos a ver cuáles son las columnas y decir, bien, hay algunos datos de temperatura aquí. Vamos a analizar esto para ver, ya sabes, cuáles son los rangos, hacer algunas comprobaciones de coherencia. Y decimos, bien, hay algunos valores extraños aquí, como siempre ocurre con los datos. Vamos a, ya sabes, ajustarlo para que sea coherente. Toda esta operación, nuevamente, con 2.8 millones de filas, tomó 20 milisegundos para filtrarlos. Es sorprendente. Ahora esto se ve mejor. Básicamente tenemos 2.7 millones ahora. Y podemos comenzar a hacer algunas otras operaciones. En este caso, lo vamos a convertir en una cadena y luego con cuDF obtienes algunas operaciones de expresiones regulares. Así que vamos a tener una expresión regular bastante complicada aquí donde destacamos las similitudes entre estos términos. Y nuevamente, con 2.8 millones, 2.7 millones de filas, tomó 113 milisegundos. Así que puedes ver lo poderoso y rápido que es en una GPU. Y básicamente al final de esto, estamos diciendo que, sí, ya sabes, cuando hay nubes y lluvia, los accidentes son más graves. Pero esto es solo

la primera demostración de lo que puedes hacer con las GPU y Rapids. Y ahora tienes acceso a ello en Node.js, lo cual nos parece bastante genial, y, ya sabes, la sintaxis de JS, que es bastante interesante. Así que vamos a subir un poco más el nivel. La siguiente demostración utiliza Sigma JS, que, si no estás familiarizado, es una biblioteca de representación de gráficos que solo funciona en el lado del cliente. Es bastante eficiente y tiene muchas funcionalidades. Pero lo que hicimos básicamente fue sacar la carga de gráficos de la memoria del sistema y cargar en la memoria de la GPU, y luego servirlo o transmitirlo a la aplicación del lado del cliente.

En este caso, ignora los números. En realidad, son 1 millón de nodos con 200,000 aristas, y puedes ver que se acerca y se desplaza de manera suave, incluso si está en WebGL. Así que obtienes esa gran interactividad y todo eso. Pero técnicamente, esto se carga en la memoria de la GPU. Esto significa que no estás limitado por las limitaciones del navegador web. Si no usas una GPU, básicamente estás limitado a 500,000 nodos, y luego la pestaña se bloquea. Como puedes ver aquí, ya sabes, se utiliza la GPU para los nodos y aristas y, ya sabes, Sigma JS sin muchos cambios. Así que esperamos que en el futuro, muchos usuarios de Sigma JS puedan obtener esa optimización del rendimiento y acceso a la memoria sin tener que cambiar mucho cómo funciona su código.

Para el siguiente ejemplo, haremos algo similar. Realizaremos un cálculo en el lado del servidor y una representación en el lado del cliente de una visualización geoespacial. Utilizaremos deck GL y un conjunto de datos de Uber de 40 millones de filas. No está mal. Aún no es tan grande para nosotros. Y puedes ver que básicamente todo se calcula en origen y destino. Al hacer clic en cada una de estas áreas, estás calculando cuántos de esos viajes se realizaron y a qué hora. Y puedes ver que al hacer clic en cada uno de ellos, es prácticamente instantáneo, y obtienes los resultados de 40 millones de filas. Es tan rápido que básicamente puedes comenzar a ajustar los valores y obtener esa interacción de vuelta. Entonces, lo que esto significa básicamente es, ya sabes, puedes tener múltiples instancias accediendo a la misma GPU y al mismo conjunto de datos. Y debido a que esta es una aplicación de React, el estado se gestiona en el lado del cliente. Esto significa que todos obtienen su propia vista única de los datos. Pero aún consultas esa misma GPU, y debido a que es tan rápido, obtienes los valores prácticamente en tiempo real. Y como dije antes, realmente donde la GPU sobresale es en el cálculo en el lado del servidor y la transmisión de los valores. Así que puedes hacer mucho, incluso con una sola GPU. El siguiente ejemplo es un poco más complicado.

Puedes ver que estamos construyendo modules a medida que avanzamos. Esta fue una visualización de gráficos renderizada y calculada en el lado del servidor y luego transmitida al cliente como un video. Por lo tanto, estamos utilizando LumaGL, una biblioteca de JavaScript para convertirlo a OpenGL, codificarlo con codificación NV y transmitirlo con Red Better DC. Vamos a utilizar CUDF para el marco de datos y Cugraph para el cálculo del diseño del gráfico. Así que puedes ver que estamos empezando a envolver esto un poco más en una aplicación GUI. En este caso, solo estamos utilizando un conjunto de datos de muestra. Seleccionamos esas aristas, colores y luego lo renderizamos. Así que tienes una especie de enredo gigante, pero son 1 millón de aristas y 1 millón de nodos que puedes filtrar y consultar en tiempo real. Puedes ver lo rápido que puedes consultarlo, borrar el filtro y volver a tener un millón de nodos y un millón de aristas. Básicamente, puedes ver información adicional al pasar el cursor sobre cada uno de ellos.

Visualmente, no tiene mucho sentido, pero esto es más bien una especie de referencia de rendimiento y cómo puedes obtener cada nodo individual. Y ahora vamos a ejecutar Fort Atlas 2 en tiempo real. Fort Atlas 2 es básicamente un algoritmo de diseño, por lo que va a calcular el diseño para cada nodo y cada arista en tiempo real y se están calculando todas las fuerzas. Y puedes ver que esto se está haciendo nuevamente en 1 millón de aristas y 1 millón de nodos, y todo se transmite como un video al navegador. Puedes ver cómo se mueve a través de las iteraciones en tiempo real, lo cual es bastante impresionante. Nuevamente, esto es solo con una GPU y puedes interactuar con esta gran cantidad de datos. Me encanta ver esto, es como mirar la superficie del sol, lo cual es bastante interesante. Y para el último ejemplo, básicamente es algo muy similar, excepto que vamos a utilizar datos de nube de puntos en lugar de un gráfico. No necesitamos hacer ningún diseño de gráfico, pero es algo similar donde estamos transmitiendo un video. En este caso, es una nube de puntos de un escaneo de un edificio, por lo que puedes desplazarte, hacer zoom e interactuar con ella. Pero nuevamente, debido a que las GPUs son bastante potentes, voy a duplicar esta pestaña y tener múltiples instancias del mismo conjunto de datos desde la misma GPU. Pero puedo interactuar con ellos de forma única debido a cómo se manejan los datos. Entonces, nuevamente, esto es un video en tiempo real, bastante impresionante. Puedes hacer mucho con una sola GPU. Eso es mucho de lo que podemos hablar. Tenemos aún más demostraciones y ejemplos. Esta es la ubicación de eso. Tenemos cosas donde mostramos representaciones de gráficos con GLFW. Tenemos todas las demostraciones de Deck GL y OpenGL renderizado local. Tenemos una demostración realmente buena de consulta de motor SQL multi-GPU. Estamos consultando toda la Wikipedia en inglés utilizando múltiples GPUs.

Tenemos ejemplos que muestran el algoritmo de Clustering UMAP y el algoritmo de Cuadrante Espacial. Son bastante interesantes. Te recomiendo que los revises. Si no puedes instalarlo, tenemos enlaces a demostraciones en YouTube de los videos.

Entonces, ¿qué sigue? En el futuro, tenemos tres ideas principales para seguir adelante. Continuaremos haciendo estas demostraciones y trabajando en la vinculación de bibliotecas externas. Nuevamente, esperamos trabajar con Three.js y hacer más trabajo con Sigma.js. A partir de eso, comenzaremos a desarrollar aplicaciones más especializadas, específicamente en áreas como Ciberseguridad, Gráficos, Geo Espacial, Nube de Puntos, etc. Tal vez algo que facilite un poco más su uso. Y luego, esperamos una adopción más amplia por parte de la comunidad, especialmente en casos de uso que no sean de visualización. Estamos sesgados siendo el equipo de visualización para cosas de visualización, pero sabemos que al proporcionar estas vinculaciones CUDA hay oportunidades para muchas más funcionalidades que aún no estamos considerando porque no somos conscientes de ellas. Por lo tanto, nos encantaría recibir comentarios de la comunidad sobre nuevas formas de utilizar esto.

Entonces, sí, RAPIDS es un marco bastante increíble. Y queremos llevar esta capacidad a más desarrolladores y aplicaciones, y creemos que las comunidades de desarrollo de JavaScript y Node.js pueden aprovechar algunos de los conocimientos y el rendimiento de la comunidad de ciencia de datos. Entonces, eso es lo que estamos tratando de hacer, cerrar la brecha entre los dos, en este caso, con muchos casos de uso de visualización. Pero esto es lo que estamos trabajando a continuación, principalmente una mejor experiencia de usuario para los desarrolladores. Actualmente, la instalación puede ser un poco complicada, o si no estás familiarizado con las imágenes de Docker, puede haber una curva de aprendizaje. Por lo tanto, esperamos poder instalar esto a través de npm. Será un poco de trabajo para nosotros, pero sabemos que lo hará mucho más accesible para los desarrolladores de JavaScript. Como dije, vamos a crear algunas aplicaciones de visualización que serán un poco más fáciles de usar para analistas generales. Y esperamos obtener soporte completo para Windows WSL 2. Actualmente, puedes ejecutar Node Rapids en WSL 2 y Windows, pero aún no hay soporte de OpenGL por parte de NVIDIA. Están trabajando en ello. Por lo tanto, puedes realizar tareas de cálculo, pero no las tareas de renderizado. Y tal vez soporte nativo para Windows. Esto es un poco difícil de lograr, pero sería bastante interesante para nosotros poder tenerlo. Así que no necesitarías usar WSL 2 ni nada de eso. Entonces, si algo de esto te parece interesante o ha despertado tu curiosidad, ven a echar un vistazo. Conoce nuestros servicios de ciencia de datos y visualización acelerados por GPU con Node.js y Rapids. Todavía estamos en una vista previa técnica. Estamos solucionando los problemas y aún es bastante nuevo. Pero nos encantaría recibir comentarios sobre todo tipo de casos de uso interesantes que puedas tener para nosotros. Y somos muy receptivos a ese tipo de cosas. Así que esperamos escuchar de ti y gracias por escuchar.