Olvida los Polígonos: Gaussian Splats, el Nuevo Enfoque para Gráficos 3D Fotorealistas

Hola a todos, hoy hablaré sobre GspotJS. ¿Qué es? ¿Su historia? ¿Cómo funciona? Y ¿hacia dónde se dirige? Pero primero, ¿quién soy yo? Mi nombre es Dylan. Soy un defensor del desarrollo en Hugging Face, donde build tools y creo contenido educativo, a veces bajo mi nombre y a veces bajo keks individuales. Hablando de eso, para responder a la pregunta, ¿qué es GspotJS? Primero necesito responder, ¿qué es Gaussian Splatting? Tengo un video de 2 minutos sobre eso, aquí está. Gaussian Splatting. ¿Qué es eso? Es una forma de renderizar cosas con una alta fidelidad, muy rápido. Es importante porque es totalmente diferente de cualquier tubería gráfica existente y es capaz de renderizar escenas que se ven así, a 144 FPS. El artículo de investigación original es 3D Gaussian Splatting para renderización de campos de radiación en tiempo real. ¿Qué significa eso? Explicaré cómo funciona. Paso uno, tomar un montón de fotos de cosas desde diferentes ángulos, luego usar un antiguo algoritmo llamado Estructura a partir del movimiento para estimar una nube de puntos a partir de las imágenes en diferentes ángulos. Paso dos, tomar cada punto en la nube de puntos y decir que ahora eres un Gaussian. ¿Un qué? Una distribución que se ve como esto, pero en 3D, y también puede estar sesgada, lo que me gusta llamar multivariada. Multivariada. Todos lo llaman así. También asignamos un color y un alfa. Ahora podemos poner todas estas Gaussians en una matriz gigante, con 16 columnas y filas, una para cada Gaussian. Esto es toda la data que necesitamos para representar la escena. ¿Hemos terminado? No. Paso tres, rasterización, lo que significa convertir todas estas Gaussians en una imagen. ¿Cómo? La versión simplificada es, según la perspectiva de tu cámara, proyecta las Gaussians en 2D, luego ordénalas por profundidad, luego para cada píxel, itera sobre cada Gaussian, de adelante hacia atrás, calcula su contribución a ese píxel, luego mézclalos todos juntos. Ahora tenemos una imagen. ¿Hemos terminado? No. Parte cuatro, entrenamiento. Estas Gaussians no tienen los valores correctos, así que necesitamos entrenar ellas. Es decir, ajustar los valores de las Gaussians para que produzcan imágenes que se parezcan a las imágenes originales. Esto es muy parecido a entrenar una red neuronal, pero sin capas, lo cual es por qué es tan rápido. El entrenamiento también utiliza densificación y poda automatizadas. Es decir, cuando una Gaussian tiene dificultades para ajustarse a una parte detallada de la escena, se divide en dos Gaussians. Y cuando el alfa de una Gaussian se vuelve demasiado bajo, se elimina. Ahora tenemos un conjunto entrenado

Eso es Gaussian Splatting. ¿Y qué es G-Splat JS? Es una biblioteca de JavaScript para renderizar Gaussian Splats. Tiene mucho en común con otras bibliotecas de renderizado, como 3JS o BabylonJS, donde puedes renderizar una escena, con este código, donde configuras una escena, una cámara, un renderizador y controles. Y luego, en un bucle de actualización, actualizas los controles y renderizas la escena. Bastante simple. También tiene algunas características adicionales, como el renderizado 4D. Básicamente, un video en el que puedes mirar alrededor. También es muy ligero, menos de 1MB, mucho más pequeño que otras bibliotecas de renderizado. Ahora, sobre la historia. No soy un programador de gráficos ni un desarrollador de JavaScript. Pero algo realmente genial que tenemos en HuggingFace son los Spaces. Estas son aplicaciones de aprendizaje automático creadas por la comunidad, generalmente utilizando Gradio, una biblioteca de Python que facilita mucho la creación de aplicaciones web de aprendizaje automático. Uno de los componentes de esto es Model 3D, que facilita la visualización de los resultados de mallas 3D. Y cuando apareció Gaussian Splatting, quería habilitar la visualización de los resultados de Splats. Así que encontré este renderizador de código abierto de JavaScript, Antimatter15-Splat, creado por Kevin Kwok. Y estaba reimplementándolo en Spaces. Fue realmente doloroso. Y pensé que sería bueno si hubiera una biblioteca de JavaScript que hiciera esto más fácil. Así que la hice. Espero que ahorre tiempo a otros Por cierto, antes mencioné que Gradio Model 3D podía visualizar resultados de mallas. Bueno, ahora también puede visualizar resultados de Splats, lo que permite

¿Y qué hay del futuro de gSplotJS? El objetivo de esta biblioteca es ver fácilmente Splats en la web, con un enfoque en velocidad y simplicidad. Si estás interesado en aplicaciones más pesadas, como juegos o renderizado híbrido de mallas y Splats, te recomiendo Mackellog Gaussian Splats 3D. Un renderizador de Gaussian Splats construido sobre 3JS. En conclusión, Gaussian Splatting es bastante genial. Y gSplotJS facilita el renderizado en la web. Y la mejor parte, es de código abierto. Gracias por ver.