TensorFlow.js 101: ML en el Navegador y Más Allá

TensorFlow. Hola a todos. Voy a hablarles sobre el aprendizaje automático en el navegador y más allá. Así que comencemos.

Ahora, primero, ¿por qué querrías usar el aprendizaje automático en JavaScript? Esa es una gran pregunta. Y si miramos aquí, podemos ver que podemos usar el aprendizaje automático en cualquier lugar donde JavaScript pueda ejecutarse, y eso es en realidad en muchos lugares. El navegador web, del lado del servidor, en el escritorio, en dispositivos móviles e incluso en el Internet de las Cosas. Y JavaScript es uno de los únicos lenguajes que puede ejecutarse en todos estos entornos sin complementos adicionales. Y eso por sí solo es muy, muy poderoso.

Y con TensorFlow.js, puedes ejecutar, reentrenar mediante aprendizaje por transferencia o escribir tus propios modelos de aprendizaje automático completamente desde cero si lo deseas. Y también puedes usar TensorFlow.js para ejecutar tus propios modelos de aprendizaje automático. Así que comencemos. Entonces, TensorFlow.js es una excelente manera de entrenar tus modelos de aprendizaje automático y puedes ejecutar, reentrenar o escribir tus propios modelos de aprendizaje automático completamente desde cero si decides hacerlo, tal como podrías estar haciendo en Python ahora mismo, pero en JavaScript. Y eso significa que puedes crear cualquier cosa que imagines, desde realidad aumentada, reconocimiento de sonido, análisis de sentimientos y mucho, mucho más. Realmente depende de ti lo que crees.

Así que la forma más fácil es usar nuestros modelos preentrenados. Estas son clases de JavaScript súper fáciles de usar para muchos casos de uso comunes, como podemos ver en la diapositiva actual. Y aquí, podemos ver cosas como detección de objetos, segmentación corporal, estimación de poses, detección de puntos faciales y mucho, mucho más. Incluso el procesamiento de lenguaje natural es compatible en el navegador. Así que veamos algunos de estos en acción. Ahora, primero está el reconocimiento de objetos. Esto utiliza Cocoa SSD detrás de escena, y está entrenado en 90 clases de objetos. Puedes ver esto en acción en el lado derecho, con los perros siendo resaltados con sus cuadros delimitadores, y podemos incluso saber que hay dos perros en esta imagen ya que ambos son devueltos a nosotros. Así que veamos esto en acción en vivo para ver cómo se desempeña en el navegador.

Bien, aquí hay una página web que creé que está ejecutando este código en vivo en Chrome, y si hago clic en cualquiera de estas imágenes, ahora puedo obtener la detección de objetos funcionando para cualquier objeto que encuentre en esas imágenes, incluso si son diferentes tipos de clases de objetos. Pero podemos hacer algo mejor que esto, podemos habilitar la cámara web y luego hacer esto en vivo en tiempo real, y puedes verme hablando contigo ahora mismo, y puedes ver cómo está clasificando tanto a mí como a la cama en el fondo a veces mientras hablo contigo. Y esto es súper genial, porque no solo se está ejecutando en un script del lado del cliente, esto se está ejecutando del lado del cliente en un navegador, por lo que eso significa que ninguna de estas imágenes de la cámara web se está enviando a un servidor para su clasificación. No solo ahorra costos, también significa que mi privacidad está preservada, y eso es algo realmente importante en estos días. Y con TensorFlow.js, puedes obtener eso gratis. Así que a continuación, tenemos face mesh.

Esto tiene solo 3 megabytes de tamaño y puede reconocer 468 puntos faciales en el rostro humano. Y esta es una característica realmente genial, y voy a mostrarte cómo usarla en la diapositiva ahora mismo.

Ahora, la gente está comenzando a usar esto para casos de uso del mundo real, como L'Oreal, y han creado una prueba de maquillaje AR, que te permite probar lápiz labial en este caso en tiempo real sin siquiera tener que estar físicamente presente en la tienda. Así que debes notar, la dama en el lado derecho no está usando ningún lápiz labial. Estamos usando face mesh para entender dónde están sus labios, y cómo aplicar el lápiz labial que ella quiere en su rostro en tiempo real. Así que esto es súper genial, y estoy seguro de que vamos a ver más cosas como esta en el futuro.

Así que veamos face mesh en acción para ver cómo se desempeña en el mundo real. Cambiemos a la demostración. Bien, ahora puedes verme hablando contigo con face mesh ejecutándose en tiempo real en el navegador web al mismo tiempo. En el lado izquierdo aquí, puedes ver el aprendizaje automático en acción, y de hecho hay una malla de mi rostro siendo superpuesta en el navegador web, y puedo mover mi rostro, y es bastante robusto. Puedo abrir y cerrar mi boca y mis ojos, y puedes ver que eso sucede todo en tiempo real. Y estamos obteniendo unos sólidos 25 fotogramas por segundo o así mientras estoy ejecutando en mi GPU a través de WebGL.

Ahora, por supuesto, también estoy transmitiendo esto en vivo, así que estoy usando algunos de mis recursos de GPU en este momento. Podría obtener más fotogramas por segundo si lo deseara, pero también puedo cambiar como desarrollador a Wasm, que es WebAssembly, para ejecutar en un CPU, o puedo elegir ejecutar en el CPU por sí solo, que es la forma más lenta de ejecución. Así que hay una serie de opciones sobre dónde puedes desplegar. Y debido a que esto es JavaScript, no solo estoy haciendo el aprendizaje automático allí en el lado izquierdo, también puedo renderizar esta nube de puntos 3D de los resultados en el lado derecho usando 3.js. Y JavaScript desde el primer día ha sido diseñado para la presentación y visualización de información, así que tienes muchas bibliotecas, especialmente para gráficos 3D, para poder hacer esto muy, muy fácilmente. Y puedes ver que puedo moverlo y ahora inspeccionar mi rostro desde diferentes ángulos, que está siendo construido en tiempo real en vivo en el navegador.

Bien, de vuelta a las diapositivas. Así que lo siguiente es la segmentación corporal. Esto te permite distinguir 24 áreas del cuerpo a través de múltiples cuerpos todo en tiempo real. Puedes ver esto en acción en la diapositiva, y en el lado derecho tenemos una serie de líneas que representan diferentes partes de cada cuerpo. Aún mejor, tenemos estimación de poses ocurriendo al mismo tiempo, esas líneas azul claro contenidas con cada uno de los cuerpos en el lado derecho allí, que nos permiten estimar dónde está el esqueleto humano. Y con eso, eso puede habilitar demostraciones realmente poderosas, como la capacidad de reconocer cuando estás en una cierta pose, o un gesto, o algo así. Y tenemos muchos datos geniales de nuestros instructores de yoga y este tipo de cosas, así que es súper genial ver el potencial creativo de este modelo. Y de hecho, con un poco de creatividad, podemos usar cosas como body pics de varias maneras encantadoras. Aquí hay solo dos ejemplos que creé en mi tiempo libre. En el lado izquierdo, puedes verme volviéndome invisible mientras camino alrededor de mi cama, y nota que cuando camino sobre la cama, la cama todavía se deforma. Y con esta imagen estática, puedo calcular las actualizaciones de fondo en tiempo real y solo eliminar mi cuerpo de las partes donde mi cuerpo realmente está. Y por supuesto, no es perfecto, pero son los primeros pasos, y esto fue hecho en solo un día.

Así que cosas muy, muy geniales, y puedes ver aquí cómo JavaScript puede permitirte prototipar ideas muy, muy rápidamente. En el lado derecho, también hice un estimador de tallas de ropa. Ahora, no sé tú, pero soy realmente terrible para saber qué tan grande soy cuando intento comprar ropa una vez al año. Y para diferentes marcas, tengo diferentes tallas. En algunas marcas, soy pequeño, en otras marcas, soy mediano. Así que nunca sé qué seleccionar al finalizar la compra. Ahora, aquí, puedo, en menos de 15 segundos, obtener una estimación de mi tamaño corporal para las medidas clave que les importan para esa marca en particular, y puedo seleccionar automáticamente al finalizar la compra la talla correcta para mí. Y eso me ahorra tiempo y dinero al no tener que devolver cosas cuando las necesito, y esto resolvió un problema que tenía en mi vida diaria.

A continuación, ¿qué tal darte superpoderes? Un chico de nuestra comunidad combinó nuestro modelo de face mesh con shaders de WebGL para crear este efecto al estilo de Iron Man. Y aquí puedes ver láseres saliendo de sus ojos y boca de una manera realmente hermosa y realista, lo cual podría ser genial para una activación con una compañía de películas o algo así para el lanzamiento de una nueva película. ¿O qué tal si combinas con otras tecnologías? Aquí, estoy usando WebXR y WebGL y TensorFlow.js juntos para extraer una imagen de un cuerpo de una revista y luego traer ese cuerpo al mundo real para que puedan inspeccionar el diseño de moda con más detalle. Incluso he visto a esta persona ir un paso más allá y hacer que la cara se anime y emita sonidos, lo cual es realmente, realmente genial. Pero, ¿por qué detenerse ahí? Podemos ir un paso más allá aún. Al agregar WebRTC a esto, que significa Comunicación en Tiempo Real en la Web, incluso puedo teletransportarme. Así que aquí, puedo segmentar mi cuerpo usando body pics desde mi habitación. Puedo transmitir esa segmentación por internet y luego reconstruirla en un espacio físico real usando WebXR. Y esto me permite hablar con mis amigos y familia en los tiempos actuales donde no podemos viajar tanto de una manera más significativa que una videollamada rectangular. De hecho, tal vez en el futuro, mis futuras presentaciones serán entregadas a ti de esta forma. ¿Quién sabe? Pero hay cosas muy emocionantes por delante.

Ahora, la segunda forma de usar TensorFlow.js es a través del aprendizaje por transferencia. Y esto te permite reentrenar modelos existentes para trabajar con tus propios datos personalizados. Ahora, por supuesto, si eres un experto en aprendizaje automático, puedes hacer todo esto programáticamente. Pero hoy, quiero mostrarte dos formas más fáciles de comenzar. Ahora, la primera es Teachable Machine. Este es un sitio web que puede hacer tanto el entrenamiento como la inferencia completamente en el navegador web. Esto es genial para prototipos, para cosas como detección de objetos, estimación de poses y detección de sonidos. Creo que más modelos serán soportados en el futuro, así que mantente atento. Pero veámoslo en acción para darte una idea de cómo funciona. Bien, así que si nos dirigimos a teachablemachine.withgoogle.com, puedes seguir si lo deseas. Podemos realmente seleccionar uno de tres proyectos para elegir.

Hoy, vamos a usar Image Project para reconocer un objeto personalizado. Así que hacemos clic en eso, y se nos presenta una pantalla como esta. A la izquierda, tenemos una serie de clases para los objetos que deseas reconocer. Si deseas reconocer más de dos cosas, podemos hacer clic en el bonito botón Add Class aquí si así lo deseamos. Pero hoy, solo vamos a reconocer mi rostro o una baraja de cartas.

Así que vamos a darles nombres más significativos. Voy a llamar a la primera Jason para representarme a mí, y a la segunda clase la voy a llamar Cards, que representa las cartas. Ahora, todo lo que necesitamos hacer es permitir el acceso a nuestra webcam, y verás una vista previa en vivo de las cartas. Y verás un pop-up en el lado izquierdo para la primera clase.

Ahora solo necesito grabar algunas muestras de mi rostro para asegurarme de que tenemos algunos datos de entrenamiento para este tipo de clase. Así que vamos a hacerlo. Voy a mover mi cabeza para obtener algo de variedad. Ahí vamos. Y podemos ver que tengo... ¿cuántas imágenes tengo ahí? Alrededor de 38 imágenes de muestra. Perfecto. Ahora voy a hacer lo mismo con la clase número dos, la baraja de cartas. Y puedes ver aquí mismo un bonito conjunto de cartas. Así que lo que voy a hacer es mantener presionado para grabar de nuevo, pero esta vez voy a obtener aproximadamente el mismo número de imágenes, pero de las cartas. Así que tengo 42 ahí. Eso es lo suficientemente cerca. Todo lo que necesito hacer ahora es hacer clic en Train Model.

Y ahora en vivo en el navegador web, esto va a intentar categorizar los datos de entrenamiento que le he presentado frente a los que se le enseñó previamente. Y puedes ver que en menos de 30 segundos ya está completo, y actualmente predice JSON como la salida con un 99% de confianza, lo cual es bastante bueno. Y si levanto mi baraja de cartas, puedes ver que cambia a cartas con un 100% de confianza. Así que JSON, cartas, JSON, cartas. Y puedes ver lo fácil que fue hacer y lo robusto que es al detectar esos dos objetos.

Ahora, por supuesto, esto es un prototipo. Si esto fuera lo suficientemente bueno para lo que necesitaba, puedo hacer clic en Export Model aquí. Puedo ver que tengo un montón de cartas.

Puedo ver que tengo un montón de cartas. {{^}}Puedo ver que tengo un montón de cartas. {{^}}Puedo ver que tengo un montón de cartas aquí. Puedo hacer clic en el botón de descarga. Y, por supuesto, puedo copiar este código y usarlo en mi propio sitio web si así lo deseo.

Así que eso es Teachable Machine. Y es genial para prototipos. Sin embargo, si tienes gigabytes de datos, podrías querer usar algo más robusto para modelos de calidad de producción. Así que volvamos a las diapositivas y veamos cómo hacerlo.

Cloud AutoML nos permite entrenar modelos de visión personalizados en la nube, y podemos desplegar en TensorFlow.js al final, lo cual es muy útil. Así que todo lo que tienes que hacer es subir carpetas de imágenes que deseas clasificar a Google Cloud Storage, como puedes ver aquí, y luego hacer clic en el botón Siguiente. Una vez que hagas eso, se te preguntará si deseas optimizar tu modelo para mayor precisión o predicciones más rápidas o algún tipo de compromiso entre los dos. Luego estableces un presupuesto y lo dejas entrenando durante horas o días, dependiendo de cuántos datos hayas subido allí, y te devolverá los mejores resultados. Va a entrenar tu modelo y va a probar muchos hiperparámetros diferentes, muchos tipos diferentes de modelos de visión por computadora, y tratará de averiguar qué funciona mejor con tus datos. Una vez que esté listo, puedes hacer clic en Exportar y elegir TensorFlow.js, como se muestra aquí en el círculo, lo que descargará los archivos model.json que necesitas para ejecutar en el navegador web. Y con eso, puedes usarlo en tu propia página web y agregar tu propia experiencia de usuario e interfaz de usuario y así sucesivamente.

Podrías preguntarte, bueno, ¿qué tan difícil es realmente usar este modelo entrenado de calidad de producción? Y en realidad, es muy sencillo. De hecho, es tan simple que cabe en una diapositiva. Así que vamos a recorrer este código. Primero, vamos a importar la biblioteca de TensorFlow.js usando esta etiqueta de script. Segundo, vamos a importar la biblioteca de AutoML con la segunda etiqueta de script. Debajo de esto, he creado una imagen, que es solo una imagen de una margarita, que encontré en algún lugar de internet. Esta es la imagen que queremos clasificar. Podría ser un fotograma de la webcam o lo que sea que pueda ser. Pero esto, lo he tomado por simplicidad una daisy.jpg. Ahora, la parte principal del código está en estas tres líneas de JavaScript aquí. La primera simplemente llama await tf.autoML loadImageClassification y luego le pasamos model.json. Así que model.json aquí es el archivo que descargamos en la página anterior. Y esto estará alojado en algún lugar en tu red de entrega de contenido Ahora, debido a que esta es una operación asincrónica, tenemos que usar la palabra clave await en JavaScript para decirle a JavaScript que espere a que eso termine antes de continuar secuencialmente después de eso. Así que una vez que eso esté cargado, porque el modelo podría tener un par de megabytes de tamaño, podemos pasar al siguiente paso.

Entonces, a continuación, obtenemos una referencia a la imagen que queremos clasificar. Así que en este caso, llamamos a document.getElementById daisy, que se refiere a la imagen de la margarita aquí arriba. Y ahora tenemos una referencia a eso en memoria. Todo lo que necesitamos hacer ahora es llamar a await model.classify y pasarle la imagen que quieres clasificar. Y esto, nuevamente, es una operación asincrónica porque esto podría tomar varios milisegundos para ejecutarse, lo cual, por supuesto, en términos informáticos es un tiempo muy largo. Así que queremos esperar a que eso termine y luego tendremos un objeto JSON asignado a esta constante predictions aquí a la izquierda, que luego puedes iterar y revisar todas las cosas que cree que es importante saber sobre la imagen. Y con eso, puedes hacer lo que quieras. Puedes activar algo para que se ejecute. Podrías controlar un robot. Podrías hacer lo que quisieras hacer solo con unas pocas líneas de código. Así que súper genial y súper funcional.

Ahora, la tercera forma de usar TensorFlow.js es escribir tu propio código. Y por supuesto, pasar por eso sería una charla completamente diferente en sí misma. Así que hoy me voy a centrar en los superpoderes y beneficios de rendimiento de por qué podrías querer considerar usar TensorFlow.js en el navegador.

Quiero darte una visión general de cómo está estructurada nuestra API. Tenemos dos APIs. Una es la API de Capas de alto nivel, que es muy similar a Keras, si estás familiarizado con Python. De hecho, si usas Keras, básicamente son las mismas firmas de funciones, así que deberías sentirte muy a gusto. Y luego, para aquellos de ustedes que quieren ir a un nivel más bajo, tenemos la API de Operaciones, que es la capa más matemática que te permite hacer cosas como álgebra lineal y así sucesivamente.

Y luego aquí tenemos nuestros modelos predefinidos, que están sobre nuestra API de Capas. Esa API de Capas se sitúa sobre nuestra API de Operaciones, y esto entiende cómo comunicarse con diferentes entornos, como el lado del cliente. Y por lado del cliente aquí, nos referimos a cosas como el navegador web. Ahora esos entornos en sí mismos pueden ejecutarse en diferentes backends. Y en este caso, podemos ejecutar en cosas como la CPU, que es la forma más lenta de ejecución, WebGL para obtener aceleración de tarjeta gráfica, y WebAssembly, o WASM para abreviar, para mejorar el rendimiento en la CPU a través de dispositivos móviles. Y lo mismo es cierto para el lado del servidor también. Podemos ejecutar usando Node.js en el lado del servidor, y esto puede comunicarse con los mismos enlaces de CPU y GPU de TensorFlow que tiene Python. Así que sí, eso significa que obtienes el mismo soporte AVX y la misma aceleración CUDA que haces en Python. Y de hecho, como veremos más adelante, esto significa que los beneficios de rendimiento son prácticamente exactamente los mismos. Ejecutamos tan rápido, y a veces más rápido que Python para ciertos casos de uso.

Ahora, si eliges seguir desarrollando tu aprendizaje automático en Python, lo cual muchos de ustedes, por supuesto, harán, eso también está completamente bien. Nuestra implementación de Node.js admite la carga de modelos Keras y modelos TensorFlow Save sin ningún tipo de conversión. Así que mientras estés ejecutando en el lado del servidor en Node, no se requiere conversión para usar eso e integrarse con, digamos, un equipo web. Así que eso es bastante conveniente. Y luego, si eliges tomar tu modelo Save y deseas ejecutarlo en el navegador web, entonces tendrás que usar nuestro convertidor de línea de comandos de TensorFlow.js para hacerlo. Eso convertirá el formato del modelo Save en el formato .json que necesitamos para ejecutar en el navegador web. Y eso solo es necesario si deseas ejecutar en el lado del cliente en el navegador.

Así que hablemos sobre el rendimiento. Aquí podemos ver, para MobileNet V2, los tiempos promedio de inferencia para GPU y CPU. Mirando los resultados de la GPU allí, puedes ver que para tf.python, obtenemos un resultado de 7.98 milisegundos, y para Node.js, obtenemos 8.81. Así que básicamente, dentro de un milisegundo el uno del otro, que es básicamente el mismo resultado. Ahora, lo clave a notar aquí es que si tienes mucho pre y post-procesamiento, y conviertes eso para ser escrito en Node.js, obtienes los beneficios de un compilador just-in-time que es único para JavaScript en tiempo de ejecución. Y esto puede llevar a aumentos significativos de rendimiento fuera de la inferencia por sí sola. Así que veamos cómo HuggingFace usó esto. Así que aquí podemos ver cómo HuggingFace convirtió su modelo Distilbert para ejecutarse en Node.js. Básicamente convirtieron las capas de pre y post-procesamiento para ser escritas en JavaScript en Node, y esto llevó a un aumento de rendimiento equivalente a dos veces. Así que lo importante a notar aquí es que estamos usando el modelo guardado de Python, pero al convertir las capas de pre y post-procesamiento, nos da un aumento de velocidad de dos veces debido a la compilación just-in-time de JavaScript en Node. Y en esa nota, si estás pensando en ejecutar en el lado del cliente, también hay algunos superpoderes a considerar aquí. Y estos son difíciles o imposibles de lograr en el lado del servidor en Node o Python. Así que el primero es la privacidad. Si estás ejecutando completamente en el lado del cliente, entonces ninguno de los datos del sensor va a un servidor para inferencia. Y eso significa que la privacidad del cliente está completamente preservada. Y eso es muy importante para ciertos tipos de aplicaciones, como médicas o legales, o si estás tratando de cumplir con ciertas reglas, como GDPR, donde podrías no estar físicamente permitido transmitir datos a un servidor diferente. Segundo punto, si no hay servidor involucrado, puedes lograr menores latencias. Típicamente, podría tomar 100 milisegundos o más si estás usando un dispositivo móvil para hablar con un servidor y obtener el resultado. Si estás usando TensorFlow.js en el dispositivo, puedes eliminar ese intermediario y esencialmente tener menor latencia para tus tiempos de inferencia, resultando en un mayor número de cuadros por segundo para permitir aplicaciones en tiempo real. El tercer punto es menor costo. Debido a que no hay servidores involucrados, puedes ahorrar costos significativos en la contratación de GPUs, RAM, y CPUs, que podrían estar funcionando 24-7 para una aplicación de aprendizaje automático ocupada. Al hacer esto todo en el lado del cliente, no necesitas contratar esas piezas de hardware en primer lugar. Solo necesitas tener el CDN web estándar para entregar el sitio web.

Cuarto punto, interactividad. JavaScript desde el primer día ha sido diseñado para presentar información de manera enriquecida. Y tenemos bibliotecas muy maduras para gráficos 3D, visualización de datos, creación de gráficos, y mucho, mucho más. Esto te permite prototipar cosas muy complejas muy, muy rápidamente. Y esta es una de las ventajas de usar JavaScript.

Y luego el quinto punto es el alcance y la escala de la web. Cualquiera en el mundo puede hacer clic en un enlace y usar tu modelo de machine learning en un navegador web. Lo mismo no es cierto si quieres hacer esto en Node o Python. Porque primero, tienes que entender cómo instalar Linux. En segundo lugar, necesitas instalar TensorFlow. Luego necesitas instalar el controlador CUDA y luego necesitas clonar el repositorio de GitHub de la persona, leer su README, y si todo eso funciona a tu favor, entonces podrías tener la oportunidad de ejecutar su modelo de machine learning. Así que puedes ver cómo hay una barrera mucho más baja de entrada aquí si tu propósito es que tu investigación sea utilizada por muchas personas en todo el mundo. Y eso puede ser realmente genial porque puede permitirte identificar sesgos o errores que tal vez podrían haber pasado desapercibidos si solo 10 personas lo estuvieran usando en lugar de 10,000.

Con TensorFlow.js en el navegador, podemos ejecutar en GPUs en el 84% de los dispositivos gracias a WebGL. No estamos limitados solo a tarjetas gráficas NVIDIA. Podemos ejecutar en las de AMD también, y así sucesivamente. Y si miramos el lado del servidor, también podemos ver algunos de los beneficios de ejecutar en Node.js. Nos permite usar el formato de modelo guardado de TensorFlow sin ningún tipo de conversión o penalizaciones de rendimiento, y podemos ejecutar modelos más grandes de lo que podemos hacer en el lado del servidor. Hay, por supuesto, algunos límites de memoria de GPU que podrías encontrar si intentas enviar un modelo de gigabyte a través de la web al dispositivo cliente.

Tercer punto, te permite codificar en un solo lenguaje. Si ya estás usando JavaScript, esto es una gran ventaja. Actualmente, el 67% de los desarrolladores usan JavaScript en el desarrollo ya, según la encuesta de Stack Overflow 2020. Y hay un gran ecosistema NPM para Node.js. Tenemos muchos módulos y bibliotecas disponibles para que ejecutes, así que también hay un gran soporte de la comunidad. Y luego el quinto punto, rendimiento, como hablamos, tenemos los mismos enlaces C que el TensorFlow original en Python, que se pueden usar para obtener paridad en las velocidades de inferencia, y tenemos el impulso del compilador just-in-time para el pre y post-procesamiento si eliges convertir eso a Node.js.

Así que con eso, vamos a concluir con algunos recursos que puedes usar para comenzar y aprender más. Si hay una diapositiva que quieres marcar, probablemente sea esta. Aquí puedes ver todos los recursos que necesitas para comenzar con TensorFlow.js. Nuestro sitio web en la parte superior, puedes encontrar muchos recursos y tutoriales para ayudarte en tu camino. Tenemos nuestros modelos disponibles en tensorflow.org.js.models.

Solo te he mostrado tres o cuatro hoy, pero hay muchos, muchos más allí que también puedes usar directamente para comenzar súper rápido. Somos completamente de código abierto, así que también estamos disponibles en GitHub, así que siéntete libre de revisarnos si eres ambicioso. Tenemos un grupo de Google para preguntas técnicas más avanzadas, que son monitoreadas por el grupo. Y por supuesto, incluso tenemos ejemplos en glitch con código pendiente para ayudarte a comenzar con el código base para entender cómo tomar datos de una cámara web y pasarlos a algunos de nuestros modelos. Así que con eso, puedes comenzar muy, muy rápido.

Ahora, si quieres profundizar, recomiendo leer Deep Learning with JavaScript de Manning Productions, y esto está escrito por personas de mi equipo y el equipo de TensorFlow en sí. Es un gran recurso para ir de cero a héroe. Y con eso, te animo a que te unas a nuestra comunidad. Si revisas el hashtag madewithtfjs en Twitter o LinkedIn, encontrarás cientos de proyectos que la gente está creando cada semana alrededor del mundo. Y no puedo mostrarlos todos en la presentación de hoy, pero aquí tienes solo un vistazo de algunas de las grandes cosas que están sucediendo en la comunidad.

Así que mi última pregunta es, ¿cómo comienzas con el código base? Bueno, creo que lo primero que necesitas hacer es ir al repositorio de GitHub. Así que mi última pregunta para ti es, ¿qué harás? Aquí tienes una última pieza de inspiración de un chico de nuestra comunidad en Tokio, Japón. Es un bailarín de día, pero ha usado TensorFlow.js para hacer este video de hip-hop realmente genial, como puedes ver en la diapositiva. Y mi punto al decir esto es que el machine learning realmente es ahora para todos, y estoy súper emocionado de ver cómo todos los demás en el mundo comenzarán a usar el machine learning ahora que se vuelve más accesible. Artistas, músicos, creativos. Todos tienen ahora la oportunidad de usar el machine learning, y si lo haces, por favor utiliza ese hashtag madewithtfjs para que podamos presentarte en nuestras futuras presentaciones y publicaciones de blog. Muchas gracias por escuchar, y con eso, siéntete libre de mantenerte en contacto. Estoy disponible en Twitter y LinkedIn para más preguntas, y espero hablar contigo pronto. Gracias. Bueno, gracias por tenerme hoy. Es genial estar aquí. Bueno, realmente feliz de tenerte.

Mi primera pregunta, y la pregunta es de mi parte, es ¿cuántas cámaras tienes? Parecía que tenías como seis cámaras funcionando, todos ángulos diferentes. Definitivamente tengo más de dos cámaras aquí. Es muy bueno para demostraciones y hacer cosas en el navegador web y luego grabar al mismo tiempo, así que buen material. Sí, fue agradable poder disfrutar de tu micrófono brillante desde seis ángulos, así que, sí. Muchas gracias por tu increíble configuración de equipo. Hace que el entrenamiento de ML sea más rápido si tengo RGBs, ¿verdad? Buen material. Podemos entrenar con eso.

Así que vamos a pasar a una pregunta de la audiencia. ¿Es TensorFlow con JavaScript la nueva ola? ¿Crees que será más grande que usar TensorFlow con Python en algún momento? Así que si miramos solo el número de desarrolladores que usan JavaScript, actualmente, creo, el 69% de los desarrolladores profesionales usan JavaScript en producción. Así que si miramos solo los números puros de desarrolladores que existen que usan JS, definitivamente son una audiencia más grande que, digamos, Python. ¿Usarán todos esos desarrolladores de JS machine learning? Esa es la gran pregunta, por supuesto. Pero creo que a medida que pasa el tiempo, la gente se dará cuenta de cómo pueden usarlo en los entornos web para desbloquear nuevas cosas para sus clientes y así sucesivamente. Así que a medida que crece, creo que tiene el potencial de tal vez volverse más ampliamente utilizado que tal vez la versión de Python. Pero el tiempo dirá cómo va eso, supongo. Así que depende de si la gente comienza a usarlo más en entornos web. Sí.

Así que para mí, soy un desarrollador web. Y me suena aterrador entrar en machine learning. Quiero decir, solo quiero mover cajas y hacer consultas de medios y sitios web responsivos. Y luego dices, básicamente, si tienes ese conocimiento, si puedes hacer desarrollo web en JavaScript, puedes hacer machine learning con TensorFlow. Sí. Quiero decir, no necesitas tener mucho conocimiento de ML para usar nuestros modelos predefinidos de los que hablé en la presentación de hoy. Mientras sepas algo de JavaScript básico para cómo llamar a una función, básicamente, puedes obtener algunos resultados de vuelta y luego hacer con eso lo que desees, al igual que usarías cualquier otra API de caja negra de internet o algo así. Así que es súper fácil de usar para que la gente comience. Pero para aquellos de ustedes que tienen más experiencia en machine learning, tal vez ya lo estén haciendo en Python, y solo quieren obtener el alcance y la escala de la web, porque eso es algo que tal vez no obtengas si lo estás haciendo solo en el lado del servidor en tu propio entorno personalizado y no lo estás escalando a millones de personas, entonces hay algunas otras ventajas que puedes obtener al hacerlo usando TensorFlow.js en el lado del cliente, como la privacidad y todas estas otras cosas de las que hablamos en la presentación. Así que creo que, ya sabes, usa la herramienta adecuada para el trabajo adecuado. Y si tu objetivo es hacer que tu investigación de ML de vanguardia sea popular y accesible para todo el mundo, entonces JS es una gran manera de hacerlo porque las personas que no son tan técnicas tienen la oportunidad de usar tu increíble investigación. Y me encantaría ver más de esto uniéndose entre las dos comunidades. Así que imagina si algún músico o artista o creativo pudiera tomar esa increíble investigación que has hecho y aplicarla de una manera muy diferente a lo que originalmente imaginaste, pero para crear algunas grandes innovaciones de todos modos. Algo así como el estimador de tamaño de ropa que vimos hoy, pero que creé en unos pocos días.

Y la persona original que creó body pics puede que no haya pensado en eso. Puede que no haya pensado en usarlo en ese caso de uso. Pero, por supuesto, cuando las personas tienen problemas en sus vidas, encontrarán soluciones muy creativas a esos problemas. Y estoy deseando ver qué sucede en el futuro con eso también.

Sí, básicamente la gente puede hacer una portada de álbum. Así que una pregunta de seguimiento a eso es, ¿qué tan importante es si quiero comenzar a usar TensorFlow.js tener un buen entendimiento de las matemáticas? Es igual que Python. Es una cosa muy simple. Es una cosa muy simple. Es una cosa muy simple. Es igual que el machine learning basado en Python. Obviamente, si quieres profundizar y desentrañar todas las capas de lo que está sucediendo detrás de escena, eventualmente vas a encontrar mucho del álgebra lineal y estadísticas y todo este tipo de cosas que impulsan todo esto. Así que si quieres ir a un nivel más bajo, entonces, por supuesto, necesitas empezar a aprender algunas de las matemáticas para empezar a ajustar cosas. Pero si estás trabajando con los modelos predefinidos u otras investigaciones que la gente ha hecho, a menudo muchas de estas cosas son muy simples. Creo que tal vez el 5% de las personas probablemente necesitarán alguna vez escribir su propio modelo personalizado desde cero. La mayoría de las veces, puedes reutilizar investigaciones existentes. Si quiero hacer detección de puntos de referencia facial, ya tenemos modelos para eso. No necesito reinventar la rueda necesariamente, a menos que necesite entender diferentes puntos que no están disponibles en ese modelo actual. En ese punto, necesito empezar a profundizar en esto para comenzar a reentrenarlo con mis datos personalizados para aprender a reconocer los datos. Así que es una cosa muy simple. Puedo empezar a usar mis datos personalizados para aprender a reconocer esas cosas. Pero si no necesitas hacer eso, entonces puedes hacerlo muy bien sin profundizar demasiado en el montón allí. Así que es fácil mojarse los pies sin que sea todo demasiado aterrador.

Sí, creo que no importa cuál sea tu nivel, todos tienen la oportunidad de jugar con TensorFlow.js. Y si la gente quiere profundizar, todas las cosas buenas a las que estás acostumbrado del mundo de Python también existen allí. Tenemos una API muy similar a Keras y también la API matemática de bajo nivel también existe al igual que la versión original basada en Python de TensorFlow. Así que no importa cuál sea tu nivel, puedes sumergirte por completo o puedes quedarte en los niveles altos y tener una visión más abstracta de todo. Sí, pero básicamente cualquier cosa que aprendas, ¿verdad? Puedes mojarte los pies y estará bien. Y cuanto más familiar te vuelvas, puedes ir más y más profundo y bajar por la madriguera del conejo, básicamente. Exactamente. Y creo que esa es la manera de hacerlo, honestamente.

Creo que muchas personas comienzan en un nivel alto, encuentran algo que les apasiona, comienzan a experimentar con eso, y luego quieren optimizarlo de alguna manera o ajustarlo ligeramente. Y es en ese punto cuando comienzan a profundizar un poco más en ese tipo de campo y, ya sabes, hacen grandes cosas. Así que, sí, poco a poco, las personas van en la dirección correcta según lo necesiten, creo, y exploran según lo necesiten. Sí.

Bien. Tenemos otra pregunta. ¿Cuánto tiempo te llevó convertirte en un experto en machine learning, como eres? No me considero un experto. Sigo aprendiendo todos los días. Siempre me inspiran las cosas increíbles que están surgiendo del resto de la comunidad y de los colegas. Así que tengo un largo camino por recorrer en mi viaje, seguro. Creo que solo uso el machine learning de maneras creativas que la gente podría no siempre considerar. Así que algunos de los demos que mostré hoy, por ejemplo. Así que creo que me conocen por ese tipo de cosas. Pero mi viaje en machine learning, mi formación es en realidad en ingeniería web, y solo han sido un par de años y solo han sido los últimos tres o cuatro años que realmente he comenzado a explorar el lado del machine learning. Y tuve la gran fortuna de obtener este rol siendo el defensor de desarrolladores para TensorFlow.js, donde ahora tengo la oportunidad de ir mucho, mucho más profundo en el lado de ML así como seguir disfrutando de mi pasión por JavaScript también. Así que, sí, tengo mucho que aprender por delante, y estoy emocionado de hacer todo eso con todos ustedes también y, con suerte, compartir mis aprendizajes a medida que avanzo. Aprender en público. Eso es divertido, siempre. Exactamente.

Así que la siguiente pregunta es en realidad de mi colega Sergey. Python tiene un gran conjunto de herramientas para el análisis exploratorio de datos como pandas. Jupyter, Math, Plotlib. ¿Cómo es para JS? ¿Cuál es el mayor cuello de botella para la comunidad de JS en el aprendizaje profundo? Sí. Así que obviamente somos mucho, mucho más jóvenes que la comunidad de Python. Solo tenemos, bueno, poco más de tres años en comparación con TensorFlow Python, que tiene más de tres años ahora. Sin embargo, estamos comenzando a ver que nuestra comunidad de JS está trasladando algunas de estas cosas a JS. Así que hay una biblioteca llamada danfo.js, que está esencialmente inspirada en pandas. Y la gente está comenzando a hacer estas herramientas y cosas en JS ahora también. Y, por supuesto, nos encantaría que cualquiera que esté interesado en ayudarnos a hacer y replicar estas cosas en JS, por favor venga a contribuir. Somos de código abierto, y por supuesto para estas otras cosas, no tienes que estar contribuyendo a TensorFlow.js en sí.

Podría ser una biblioteca independiente. Y ahora es un muy buen momento para involucrarse porque, como mencioné, el 69% de los desarrolladores están usando JavaScript y apenas están comenzando a familiarizarse con machine learning. Y esta podría ser una gran oportunidad para crear la biblioteca que todos usen dentro de cinco a diez años cuando se vuelva más común en la comunidad de JavaScript. Así que esta es una gran oportunidad para subirse a ese tren, por así decirlo. Pero sí, estamos comenzando a ver que la comunidad construye estas cosas de manera orgánica, y estoy seguro de que eso continuará mejorando con el tiempo.

Y esta es una pregunta de nuevo de mi parte. Quiero decir que la seguridad laboral es... Digamos que dejo todo y me dedico por completo a TensorFlow.js, no sé, unos meses de estudio. Seguridad laboral, ¿cómo es? Quiero decir, machine learning, en general, está en demanda. Creo que la mayoría de las personas en este momento no están realmente interesadas en el lado de la seguridad laboral. Y creo que eso es algo bueno. Creo que eso es algo bueno. Creo que la mayoría de las personas en este momento asociarían machine learning con roles basados en Python, típicamente, especialmente en las instituciones más académicas y áreas de investigación, incluso en Google, por ejemplo. Sin embargo, creo que depende de las necesidades de la empresa a la que intentas ir. Si es algún tipo de startup web, tal vez hagan sistemas de gestión de contenido o algo así para sitios web y cosas por el estilo. Y tal vez quieran tener un factor diferenciador para destacarse entre la multitud. Tal vez quieran poner algo de inteligencia en su pila web para ese sistema de gestión de contenido. Tal vez podrías tener resumen automático de texto o recorte inteligente de imágenes cuando las personas suben imágenes. Y todo esto se puede hacer ahora en JavaScript muy, muy fácilmente usando algunos de los modelos que hemos visto hoy. Y sí, básicamente, creo que estos trabajos crecerán seguro a medida que las personas se den cuenta de que realmente es posible hacerlo en el navegador. Todavía estamos en las etapas muy tempranas, como mencioné, pero a medida que crezca la conciencia de las personas, también lo harán los trabajos y otras cosas que vienen con eso. Sí. Así que, está bien. Aprender las habilidades ahora es excelente para los próximos años cuando esos trabajos comiencen a aparecer, cuando las personas realmente necesiten esto. Porque como desarrollador de JS, estamos en una posición única en la que... Cuando hacemos un sitio web, ese sitio web podría ser para prácticamente cualquier industria que exista. Podría ser para un agricultor. Podría ser para una marca de moda. Podría ser para cualquier cosa. Y todos estos diferentes verticales tienen el potencial de ser optimizados de alguna manera usando algún tipo de flujo de ML.

Así que para la moda, tal vez algo como el estimador de tallas de ropa. Para la agricultura, tal vez les permita automáticamente enviar productos al lugar correcto categorizando manzanas y naranjas, lo que sea que pueda ser. Así que hay potencial para que ML sea inyectado en sus procesos. Y tal vez haya espacio para algo en la plataforma web también para una experiencia más fluida y sin fricciones donde no necesitas instalar una aplicación. Simplemente vas al sitio web. Así que en ese caso, hay un punto de contacto que podría necesitar ser optimizado usando aprendizaje automático en ese caso de uso. Así que cosas como esas podrían surgir en el futuro.

Sí. Así que los desarrolladores de JavaScript que están viendo, lo escucharon aquí primero. Es bueno para su seguridad laboral. Aprendan TensorFlow. Tengo una pregunta de Jeroen. ¿Hará TensorFlow.js que el sistema de servicio de TensorFlow del lado del servidor quede obsoleto? No. No, creo que trabajará de la mano con estas cosas. Así que como mencioné, depende de sus ingenieros y de lo que están acostumbrados. No diría que queremos iniciar guerras de lenguajes aquí. Creo que si conoces Python y estás familiarizado con Python, ve y úsalo seguro. Pero si estás integrando con un equipo web, entonces tal vez el equipo web estará usando Node.js. Y en ese caso, podrían preferir cargar tu modelo de Python en Node, lo cual puedes hacer con TensorFlow.js en Node. Y puedes hacerlo sin ninguna conversión, de hecho. Así que podría ser un poco más complicado pero hace la integración con otros equipos mucho más fácil, tal vez, dependiendo de las pilas que ya estén usando. Y muchos equipos de ingeniería web estarán usando algo como Node.js. Y también vimos hoy que al convertir las capas de pre y post-procesamiento de toda tu pila, de tu pila de ML, si conviertes eso a Node, puedes obtener los beneficios de un compilador justo a tiempo de JavaScript que vimos con HuggingFace para la implementación de DistillBERT. Condujo a un aumento de velocidad de dos veces de extremo a extremo en el rendimiento, lo cual es genial solo al convertir a Node.js en el lado del servidor. Así que creo que depende de tu caso de uso y del conocimiento de tu equipo y todas estas cosas. Así que no tengo ninguna preferencia fuerte entre usar uno u otro, pero usar la combinación correcta puede depender de tu situación y de lo que estás tratando de hacer.

Sí. Bien. Tenemos tiempo para una respuesta corta. Esta es una pregunta del usuario Quest. Charla muy inspiradora. Hablamos sobre los beneficios de seguridad de ejecutar TensorFlow.js sin servidor. ¿Es posible mantener todo fuera del servidor, o hay cosas que no funcionarían sin el servidor? Un minuto, adelante.

Entonces sí, si estás ejecutando en el lado del cliente, entonces todo está completamente fuera del servidor, aparte de la entrega inicial de esos activos. Así que en ese sentido, puede funcionar completamente sin conexión si usas algo como una aplicación web progresiva o algo así. Así que sí, puedes hacerlo completamente sin servidor si decides hacerlo.

Genial. Bueno, muchas gracias, Jason. Solo como recordatorio, Jason va a ir a la sala de conferencias ahora. Si tienes más preguntas o solo quieres pasar el rato con Jason, ve al Spatial Chat, encuentra el enlace abajo en el horario. Y muchas gracias por unirte a nosotros, Jason. Y sí, podría ensuciarme las manos este fin de semana. Excelente. Espero ver lo que haces. Y gracias por invitarme. Saludos. Adiós.