Aplicaciones Web del Futuro Con Web AI

Soy Jason Mayes, líder de web AI aquí en Google. Hoy he venido a ustedes como un compañero ingeniero de JavaScript para compartir con ustedes una historia sobre por qué deberían comenzar a investigar el aprendizaje automático en el lado del cliente en JavaScript para obtener superpoderes en su próxima aplicación web.

Primero, definamos formalmente lo que quiero decir con web AI, que es un término que acuñé en 2022 para destacar frente a los sistemas de AI basados en la nube que eran populares en ese entonces. Web AI es el arte de usar modelos de aprendizaje automático en el lado del cliente en un navegador web, ejecutándose en el procesador o tarjeta gráfica de su propio dispositivo, usando JavaScript y tecnologías web circundantes como WebAssembly y WebGPU para aceleración. Esto es diferente de la AI en la nube, donde el modelo se ejecutaría en el lado del servidor y se accedería a través de algún tipo de API, lo que significa que necesitas una conexión a internet activa para hablar con esa API en todo momento para proporcionar las capacidades avanzadas ofrecidas.

Como desarrolladores y diseñadores web, tenemos el privilegio de trabajar a través de industrias cuando trabajamos con nuestros clientes. De manera similar, es probable que la inteligencia artificial sea aprovechada por todas esas industrias en el futuro para hacerlas más eficientes que nunca. De hecho, en unos pocos años, los clientes esperarán características de AI en su próximo producto para mantenerse al día con todos los demás que ya lo están haciendo. Así que ahora es el momento perfecto para mejorar tus habilidades en esta área, ya que puedes obtener beneficios únicos al hacer esto en el dispositivo en JavaScript.

¿Cuáles son esos? Bueno, primero está la privacidad. Como no se necesita enviar datos de cosas como la cámara, el micrófono, o incluso texto para ese asunto al servidor para la clasificación, lo que protege los datos personales del usuario. Un gran ejemplo de esto se muestra aquí por include health que utiliza modelos de estimación de pose basados en el navegador para realizar fisioterapia remota sin enviar ninguna imagen a la nube. En su lugar, solo se envía el rango de movimiento resultante y las estadísticas de la sesión, permitiendo al paciente realizar el chequeo desde la comodidad de su propia casa.

También tienes la capacidad de funcionar sin conexión en el propio dispositivo, por lo que incluso puedes realizar tareas en áreas de baja o ninguna conectividad después de la carga de la página. Ahora, podrías preguntarte por qué una aplicación web necesitaría hacer todas esas cosas sin conexión. Bueno, en este gran ejemplo de Hugo Zanini, realiza una tarea de verificación de colocación de productos usando una aplicación web en supermercados para un cliente minorista con el que estaba trabajando. Todos sabemos lo malas que son las conexiones Wi-Fi en los supermercados. Aprovechó TensorFlow.js directamente en el navegador que puede funcionar completamente sin conexión y luego sincroniza los datos cuando tiene conectividad más tarde.

A continuación está la baja latencia, que puede permitirte ejecutar muchos modelos en tiempo real ya que no tienes que esperar a que los datos se envíen a la nube y luego obtener una respuesta de vuelta. Por lo tanto, nuestros modelos de cuerpo, pose y segmentación, por ejemplo, pueden ejecutarse a más de 120 cuadros por segundo en una laptop con GPU de gama media con gran precisión, como puedes ver en esta diapositiva. También tienes un menor costo ya que no necesitas contratar y mantener funcionando costosas GPUs basadas en la nube las 24 horas del día, lo que significa que ahora puedes ejecutar AI generativa directamente en el navegador como este gran modelo de lenguaje en el lado izquierdo sin romper el banco. Y estamos viendo aplicaciones web listas para producción beneficiarse de ahorros de costos significativos también como el ejemplo mostrado para características avanzadas de videoconferencia como el desenfoque de fondo mostrado a la derecha.

Y aún mejor, puedes ofrecer una experiencia sin fricciones para tus usuarios finales ya que no se requiere instalación para ejecutar una página web. Solo ve a un enlace y funciona. De hecho, Adobe hizo exactamente eso aquí con Adobe Photoshop web, permitiendo a cualquiera en cualquier lugar usar sus características creativas favoritas en casi cualquier dispositivo. Cuando se trata de la herramienta de selección de objetos mostrada en esta diapositiva, adoptar el aprendizaje automático del lado del cliente puede proporcionar a los usuarios de Adobe una mejor experiencia de usuario al eliminar esa latencia del servidor en la nube, resultando en predicciones más rápidas y una experiencia de usuario más receptiva. Y en esa nota, también significa que puedes aprovechar el alcance y la escala de la web misma que tiene más de seis mil millones de dispositivos habilitados para navegador para personas capaces de ver tu creación. Así que no importa si estás mejorando tu próxima transmisión en vivo de YouTuber para convertirte en una persona diferente o capturando movimientos faciales detallados para impulsar un personaje de juego usando nada más que una cámara web regular o del lado del cliente en el navegador, hasta lo último en AI generativa donde incluso puedes ejecutar modelos de difusión en el navegador web a velocidades increíbles con nuevas tecnologías de navegador como web GPU ahora habilitado por defecto en Chrome y navegadores basados en Chrome, las cosas están a punto de ponerse realmente emocionantes con respecto a lo que podemos esperar de una aplicación web en el futuro.

Así que incluso si aún no estás usando AI del lado del cliente, quiero ilustrar qué tan rápido está creciendo y por qué deberías echar un vistazo. Solo tengo estadísticas para las bibliotecas de web AI de Google, por lo que el uso mundial probablemente sea mayor que esto, pero solo en los últimos dos años, hemos promediado 600 millones de descargas por año de TensorFlow.js y modelos y bibliotecas web basadas en medios, llevándonos a más de 1.2 mil millones de descargas en ese tiempo por primera vez, y estamos en camino de ser aún más altos en 2024 con nuestro uso continuando creciendo. Así que ahora es realmente el momento de ser parte de este crecimiento ustedes mismos. De hecho, hemos visto este crecimiento constante desde 2020 a medida que más y más desarrolladores como tú han comenzado a usar web AI en casos de uso de producción. Y hablando de ejemplos del mundo real, vamos a profundizar en una solución típica de videoconferencia.

Ahí van mis notificaciones. Muchos de estos servicios proporcionan desenfoque de fondo o reemplazos de fondo en llamadas de video para privacidad. Así que vamos a calcular algunos números hipotéticos para el valor de usar AI del lado del cliente en un caso de uso como este. Primero, una cámara web típicamente produce video a 30 cuadros por segundo. Así que asumiendo que la reunión promedio dura unos 30 minutos, eso son 54,000 cuadros que tienes que procesar en cada reunión. Ahora, asumiendo que tienes un servicio popular, podrías tener un millón de reuniones por día, eso significa 54 mil millones de segmentaciones cada día. Ahora, incluso si asumimos un costo realmente ultra bajo de solo 0.0001 centavos por segmentación, eso aún serían $5.4 millones al día que tendrías que gastar en la nube, lo que es alrededor de $2 mil millones al año solo por esos costos de GPU.

Al realizar el desenfoque de fondo en el lado del cliente a través de web AI, ese costo puede desaparecer. Y no olvides, incluso puedes ejecutar otros modelos también, como la eliminación de ruido de fondo, para mejorar aún más la experiencia de la reunión para tus usuarios mientras reduces aún más los costos de esa producción.

Entonces, ¿qué tipo de modelos de AI existen realmente que puedes ejecutar en el navegador hoy en día? Claramente, no todos aquí van a estar ejecutando aplicaciones de videoconferencia. Así que hay miles de modelos disponibles, y muchos de estos pueden usarse con solo unas pocas líneas de JavaScript, y cada mes salen muchos nuevos modelos de la comunidad más amplia de web AI. Así que no puedo cubrir todos estos en la charla, pero repasemos algunos de los más populares y pensemos en cómo puedes aplicar estos a las industrias en las que estás trabajando actualmente.

Primero, tenemos el reconocimiento de objetos. Esto te permite entender dónde en la imagen se encuentra el objeto, pero también cuántos existen, lo cual es mucho más poderoso que el simple reconocimiento de imágenes, que te dirá que algo existe pero no dónde o cuántos. Si puedes usar un modelo como este, puedes crear algo como una cámara de mascotas muy fácilmente que puede notificarte cuando tu perro ha sido travieso comiendo las golosinas cuando estás fuera de casa. Hice este ejemplo en aproximadamente un día de programación usando modelos disponibles que son capaces de reconocer 90 objetos comunes como perros y tazones de golosinas y cosas así. Como puedes ver, funciona bastante bien. El perro en este video es atrapado con las manos en la masa mientras intenta robar el tazón de comida cuando dejo la situación. Puedes enviarte una alerta usando tus tecnologías web habituales para alertar a tus dispositivos, y todo esto se hace sin tener que transmitir ese video 24/7 a algún servidor en la nube para interpretar. En su lugar, solo envías el clip cuando el perro intersecta el tazón en ese momento.

¿Qué hay de la detección de toxicidad en texto? Aquí, puedes pasar una oración al modelo y clasificará si es tóxica o no. Incluso puedo averiguar qué tipo de toxicidad podría ser, tal vez un insulto o una amenaza, por ejemplo. Algo como esto podría usarse para prefiltrar comentarios en un chat web o sistema de comentarios en tu sitio web, reteniendo automáticamente comentarios potencialmente tóxicos para revisión por un moderador.

Incluso podemos extraer datos 3D de imágenes 2D con este modelo de estimación de profundidad de selfies. Puedes pasarle una imagen de retrato como entrada y predecirá para cada píxel en esa imagen qué tan lejos cree que está, permitiéndote entender la composición 3D de la parte superior del cuerpo de alguien. Ahora, si puedes hacer eso, puedes hacer cosas realmente geniales como iluminación de imágenes, como ves aquí. Aquí, puedo proyectar los rayos de luz alrededor de mi cuerpo para un efecto más realista de lo que era posible antes, lo cual puede ser genial para realidad aumentada o efectos de iluminación en imágenes como se muestra en este ejemplo.

A continuación, tenemos el modelo de malla facial. Este tiene solo tres megabytes de tamaño y puede reconocer 468 puntos de referencia faciales en el rostro humano. Como puedes ver, está funcionando a más de 130 fotogramas por segundo en mi portátil en casa, y estamos viendo empresas como Modiface, que es parte de L'Oreal, usar esta tecnología en aplicaciones web de producción real. Ahora, lo que hay que notar aquí es que la dama en el lado derecho no está usando ningún lápiz labial. En su lugar, están usando nuestro modelo de malla facial combinado con shaders de WebGL para colorear los labios en tiempo real basado en el cambio de color que ha elegido en la parte inferior de esa aplicación web.

Realmente cosas asombrosas. También tenemos modelos para rastrear tus manos que pueden rastrear en 2D y 3D, y nuevamente, a más de 120 fotogramas por segundo en un portátil de gama media con una tarjeta gráfica dedicada. Un modelo como este podría usarse para reconocimiento de gestos o incluso interfaces sin contacto para interacción humano-computadora. Con un poco de entrenamiento adicional, incluso podrías hacer detección de lenguaje de señas simple si quisieras hacerlo. Bastante útil. Ahora, gracias. Continuando con el tema del cuerpo humano, también puedes detectar poses estimadas en 2D y 3D. 33 puntos clave a más de 150 fotogramas por segundo en una máquina con una tarjeta gráfica dedicada. Este modelo tiene tres formas, una versión ligera, una completa y una pesada que te permite seleccionar un equilibrio entre precisión y velocidad dependiendo de tus necesidades. ¿Qué tal construir sobre la segmentación corporal? Un modelo como este puede permitirte diferenciar el cuerpo humano del fondo de la escena. Si puedes hacer eso, puedes desenfocar el cuerpo por privacidad como hacemos en Street View, o tal vez puedas aplicar efectos al fondo en su lugar para dar algún efecto estilístico. La elección es tuya. También hay versiones especializadas de este modelo que se centran en la parte superior del cuerpo, como puedes ver aquí, lo cual es más adecuado para situaciones de videollamadas. A continuación, incluso puedes llevar modelos de lenguaje grandes al lado del cliente. Esta API de tareas de MediaPipe LLM te permite elegir entre cuatro modelos populares, dependiendo de tus necesidades y caso de uso, y pueden ejecutarse realmente, realmente rápido, varias veces más rápido de lo que el humano promedio puede leer. Creo que me salté uno.

No, I didn't. Podrías estar preguntándote en este punto, ¿qué tan difícil es realmente usar eso? Es bastante sencillo. Cabe en una sola diapositiva, así que vamos a guiarte a través de este código.

Primero, importas la MediaPipe LLM inference API como puedes ver aquí. Luego, defines dónde está alojado tu modelo de lenguaje grande. Habrías descargado esto de una de las diapositivas en el enlace anterior en las diapositivas anteriores donde descargaste el modelo y lo alojaste en tu propio CDN.

Ahora puedes definir una nueva función asincrónica que cargará y usará el modelo. Dentro de esto, puedes especificar tu URL de conjunto de archivos que define el runtime de MediaPipe para usar y esto está usando el predeterminado que ellos proporcionan y alojan para ti, lo cual es seguro para que lo uses también. Sin embargo, si lo deseas, puedes descargar este archivo y alojarlo en tu propio servidor por razones de privacidad, si lo prefieres.

Ahora puedes usar la URL del conjunto de archivos de la línea anterior para inicializar el resolvedor de conjuntos de archivos de MediaPipe para realmente descargar y usar el runtime para esta tarea de IA generativa que estás a punto de realizar. A continuación, cargas el modelo llamando a LLM task create from model path al cual pasas el conjunto de archivos y la URL del modelo que definiste arriba. Como el modelo es un archivo grande, debes esperar a que termine de cargarse, después de lo cual devolverá el modelo cargado que luego puedes asignar a una variable llamada LLM.

Ahora que tienes el modelo cargado, puedes usarlo para generar una respuesta dada algún texto de entrada como se muestra en esta diapositiva que almacenas en una variable llamada answer. Con eso, ahora puedes bloquear la respuesta, mostrarla en pantalla o hacer algo útil con ella como desees. Eso es prácticamente todo. Ahora solo llama a la función anterior para iniciar el proceso de carga y espera a que los resultados se impriman.

Ahora, la clave aquí es que, aunque hay algunas variables que suenan aterradoras como file set resolver, cualquiera aquí podría tomar y ejecutar estas diez líneas de código o así y luego construir alrededor de ellas con tu propio conocimiento de JavaScript para tus propias ideas creativas, incluso si aún no eres un experto en IA. Así que deja de jugar con estas cosas hoy.

Ahora, puedes imaginar convertir algo como esto en una extensión de navegador mediante la cual podrías resaltar cualquier texto en la página web, hacer clic derecho y convertir una publicación de blog extensa en una forma adecuada para redes sociales, o tal vez definir alguna palabra que no entiendas todo en solo unos pocos clics para cualquier cosa que encuentres en lugar de ir a un sitio web de terceros para hacerlo. De hecho, hice eso aquí mismo en esta demo, nuevamente, hecha en solo unas pocas horas el fin de semana, completamente en JavaScript, del lado del cliente en el navegador. Así que hay tantas ideas esperando ser creadas aquí, y estamos al comienzo de una gran aventura con mucho más esperando ser descubierto.

Ups, ahí vamos. De hecho, la gente ya está usando estos modelos para hacer cosas más avanzadas, como hablar con un documento PDF para hacer preguntas sobre su contenido sin tener que leerlo todo tú mismo, como se muestra en esta demo de Nico Martin. Esto ahorra mucho tiempo, y es un uso realmente ingenioso de los modelos de lenguaje grandes cuando se combinan con técnicas rag circundantes para extraer oraciones que importan del PDF, y luego usar esas como contexto para que el LLM responda para proporcionar algo que realmente sea significativo.

Nuevamente, todo esto está funcionando localmente en tu dispositivo. Bien. Así que tienes todos estos modelos de IA que te hacen sentir como un superhéroe, pero ¿cómo pueden realmente ayudarte? Bueno, al seleccionar los modelos correctos para la situación correcta, puedes proporcionar a tus clientes superpoderes ellos mismos cuando aplicas esos modelos a sus industrias. De hecho, en Google, a menudo necesitamos explorar qué modelos usar para una tarea dada. Así que hemos creado un sistema llamado Visual Blocks para hacerlo de una manera más eficiente.

Es un marco en el que trabajé con mi equipo que te permite pasar de una idea potenciada por IA a un prototipo funcional más rápido que nunca, construido alrededor de componentes web de JavaScript, por lo que es súper fácil de extender por cualquiera que sepa JavaScript.

Y aún mejor, una vez que haces un bloque de construcción para hacer una cosa, puedes luego encadenarlos junto con otros bloques poderosos para dar vida a tu idea sin perderte en el código.

Y no solo nosotros estamos usando esto. El ejemplo mostrado en esta diapositiva, en realidad lo hemos contribuido por Hugging Face, quienes han estado agregando nuevos modelos del lado del cliente a través de transformers.js, y ahora están disponibles para explorar dentro de Visual Blocks en solo unos pocos clics, lo cual es genial si eres nuevo en el espacio de IA en el navegador.

Puedes probarlos tú mismo en el enlace mostrado, solo haz clic en sus nombres y se lanzarán en Visual Blocks para usarlos inmediatamente. Y aquí, puedes ver un vistazo al futuro, donde un equipo de investigación en Google usó un modelo de lenguaje grande para crear una canalización de Visual Blocks para mí para resolver algún problema que tenía, como crear un efecto de realidad aumentada.

Solo explicando lo que quiero en inglés simple, y que haga el inicio de un prototipo para mí todo dentro de Visual Blocks, y luego puedo editar eso según lo necesite para mejorarlo y entregarlo a un cliente.

Eso es realmente increíble. Ahora vamos a ver qué ha estado haciendo la comunidad de web AI. Estas son personas como tú pero que ya están usando aprendizaje automático y JavaScript en sus productos y servicios para darte una idea de lo que es posible.

Fundamentalmente, lo que estamos tratando de hacer es construir herramientas para permitir que cualquiera sea su verdadero yo. Hay muchas personas que se sienten incómodas frente a la cámara. Hay como una vista lado a lado mucho más detallada de mi cara siendo capturada junto con la cara del personaje 3D. Entonces, lo que está sucediendo es que está rastreando las formas individuales de las lentes faciales, y luego las retransmite de vuelta a ese Unreal Engine para renderizarlas.

Trabajo como radiólogo y los últimos cuatro años he estado realmente interesado en usar inteligencia artificial para segmentación. Esto es algo realmente agradable con TensorFlow.js, creo, es que puedes interactuar con los modelos de IA. No tiene que hacer predicciones completamente automáticas, sino que puedes guiar los modelos para obtener el resultado que deseas.

Vamos a ver una mochila animatrónica parlante que usa face mesh y fue una especie de experimento de comedia en la naturaleza que respetaba el distanciamiento social. Hace lo que ves. Coloca todos estos puntos de seguimiento en una cara y puede rastrearla con y sin gafas. Tiene una tasa de fotogramas increíblemente alta, incluso en JavaScript e incluso en el navegador. Entonces, ¿no sería genial si pudieras usar esta tecnología para controlar animatronics?

Así que este es un ejemplo de cómo Cardinal Health está usando Roboflow para mejorar los almacenes de farmacias. Tienen una división de su empresa que trabaja con farmacéuticos donde un farmacéutico puede gestionar varias ubicaciones de forma remota a través de una transmisión de video. Y así, esto se ejecuta en el navegador en un iPad y anteriormente era solo un chat de video entre el farmacéutico y el técnico y luego usaron Roboflow para agregar una función de conteo de píldoras que ayuda a los farmacéuticos a ser aumentados por el modelo de visión por computadora para que no tengan que contar desde cero. Pueden usar el modelo para estimar y luego ajustar hacia arriba y hacia abajo donde el modelo no ha obtenido un conteo exacto. El video que me encantaría mostrar aquí es una pieza de video que construí que llamo Mirror Exercise. Y este es un dúo generado por IA conmigo mismo. Entonces, lo que estás viendo aquí es en la figura en negro es mi captura de movimiento real de un par de sesiones de toma de datos en el estudio. Y en azul ves un acompañamiento de baile que es generado por el modelo. Entonces, en cada caso, el modelo está viendo un cierto segmento de mis movimientos y está creando una ligera variación sobre él en algún sentido.

Es un motor de seguimiento de manos llamado Yoha. Y lo que hace es procesar la transmisión de video de tu cámara web y detecta la ubicación de tu mano en esta transmisión de video. Y el objetivo es que te permite dibujar rápidamente algo de manera similar a como lo harías en una pizarra.

Teemo es un motor de flujo de trabajo visual que te permite construir soluciones muy complejas en solo minutos. Y hacemos eso a través de una interfaz de arrastrar y soltar que te ayuda a definir cualquier tipo de proceso sin necesidad de codificación. Así que esta es la versión final del programa. El video está un poco acelerado, así que las cosas suceden rápido, pero puedes ver que a medida que se saca agua del contenedor, el gráfico refleja los cambios en el nivel del líquido, que es lo que queríamos.

Queríamos ir más allá de la máquina e incluso más allá de la clínica. Y fue entonces cuando decidimos expandir nuestra plataforma a la visión por computadora y brindar atención directamente a los hogares de los pacientes en sus propios dispositivos. Somos un dispositivo médico que podemos ejecutar en cualquier dispositivo completamente basado en la web y puedes ver a estos pacientes haciendo diferentes ejercicios, parte superior del cuerpo, parte inferior del cuerpo, con retroalimentación en tiempo real, contando sus repeticiones. Rastrearemos su rango de movimiento, recopilamos todo eso y lo enviamos de vuelta al clínico para revisión para ayudar a modificar su plan de ejercicios en casa en consecuencia.

Muy bien, algunos ejemplos realmente geniales allí y nota que ninguno de ellos usó Gen AI. Así que mi punto es que hay muchos otros modelos de IA que son realmente útiles para casos de uso empresarial real más allá de solo Gen AI también, así que tenlo en cuenta. Y todos esos están ejecutándose del lado del cliente en el navegador, incluso las mochilas parlantes, así que también puedes hablar con hardware y otras cosas. Así que desde extensiones de navegador que potencian tu productividad hasta características dentro de la aplicación web en sí, estamos al comienzo de una nueva era que realmente puede mejorar tu experiencia web y el momento es ahora para comenzar a explorar esas ideas.

De hecho, en este momento, la IA en el navegador está en sus primeras etapas, pero a medida que el hardware continúa mejorando, continuaremos viendo más modelos portados para ejecutarse en el navegador en el dispositivo, permitiendo a las empresas reinventar lo que realmente puedes hacer en una página web, especialmente para situaciones específicas de la industria o tareas. En este momento, uno podría imaginar un enfoque híbrido, por el cual si una máquina cliente es lo suficientemente potente, puedes descargar y ejecutar el modelo allí, solo recurriendo a la IA en la nube en momentos cuando el dispositivo no puede ejecutar el modelo, lo cual podría ser cierto para dispositivos más antiguos en este momento en el tiempo. Con el tiempo, sin embargo, se realizará más y más computación en el dispositivo, por lo que tu retorno de inversión debería mejorar a medida que pasa el tiempo al implementar un enfoque como este.

En esa nota, si haces algo personalizado, nos encantaría ver tus resultados, así que por favor usa el hashtag webAI en las redes sociales para que podamos comenzar a compartir cosas como comunidad para ver en qué está trabajando todo el mundo. Cuando ganes, también podemos ayudar a compartir tus logros. En esa nota, estamos trabajando en un sitio web para proporcionar orientación específicamente para desarrolladores web que eligen usar IA en JavaScript. Este sitio te permite entender conceptos clave de IA para que puedas descubrir oportunidades para usar modelos populares para ser más productivo que nunca. Siéntete libre de marcar este sitio como favorito ya que continuaremos publicando contenido aquí durante el año.

Ahora, me gustaría terminar diciendo que hay muy pocas oportunidades en la vida de uno para estar al comienzo de una nueva era como esta. Yo, por mi parte, recuerdo cuando Internet salió por primera vez, y la IA web tenía la misma sensación que eso pero solo magnificado 100x. Espero que en esta charla haya podido darte un vistazo al futuro, y por qué deberías comenzar a investigar la IA web hoy, porque todos aquí en esta sala tienen una oportunidad de una vida para dar forma al futuro de este espacio de rápido crecimiento, y espero que te unas a mí en esta aventura. En esa nota, si quieres profundizar en el área temática, puedes consultar mi curso en el canal de YouTube de Google Developer para aprender cómo usar la IA web en tu próxima creación. Todo lo que necesitas saber es JavaScript, no se requiere doctorado, así que invita a un amigo y aprende juntos en goo.gle. Con eso, eso es todo. Etiquétame en cualquier cosa que hagas, o si tienes alguna sugerencia sobre algo que he dicho en esta charla hoy, puedes conectarte conmigo en las redes sociales usando los enlaces en la diapositiva.

Gracias, ¡y nos vemos la próxima vez!

... El primero podría ser un poco atrevido. Dice, ¿cómo va a beneficiarse Google cuando no obtienen tus datos? Si estamos haciendo todo esto en el dispositivo ... Sí, entonces, todo esto está sucediendo en el dispositivo, por lo que no nos beneficiamos de tus datos en esa situación. Todo es completamente privado. Los modelos están abiertos para usar y están disponibles en nuestro GitHub para inspeccionar si deseas verificar el código que se ejecuta detrás de escena, por lo que tienes el control total de los datos si decides enviarlos a algún servidor en la nube o no.

Eso depende de ti, pero estarás bajo los términos y condiciones de ese servicio en la nube que estés utilizando, quienquiera que sea. Sí. Siento que cada vez que escucho sobre algo de Google que funciona en el navegador, la gente siempre vuelve con, si funciona para la web, también funciona para Google, ¿verdad? Entiendo. Genial. Una pregunta que ha subido a la cima aquí, que es si estás cargando un LLM localmente en el navegador, ¿qué tan pesado se va a volver tu sitio? Sí, esa es una gran pregunta. Obviamente, los modelos de lenguaje grandes son grandes, por lo que estás viendo una descarga de alrededor de 1.3 gigabytes, que haces una vez, y luego puedes usar el almacenamiento en caché para no tener que hacerlo de nuevo en el futuro, así que, si algo proporciona utilidad al usuario que podría ser de larga duración, como en una extensión de Chrome, o algo que se usa regularmente en tu sitio, eso podría justificar la descarga.

También estamos explorando opciones para integrar estas cosas en el propio navegador dentro de Chrome, lo que anunciamos en Google IO este año, lo que significaría que una vez que lo hayas descargado una vez, podría funcionar para múltiples sitios, sin tener que almacenarlo en caché en cada dominio que lo necesite. Así que, estamos investigando esto, y también damos la bienvenida a sugerencias sobre cómo te gustaría ver evolucionar estas APIs en el futuro. Sí, esa era mi preocupación, si nuestro sitio hace esto para 1.3 gig, y luego otros diez sitios lo hacen, eso arruina la capacidad de mi dispositivo, incluso uno moderno. Estamos investigando eso, sí, exactamente. ¿Hay alguna manera de obtenerlo de hecho? ¿Viene en Chrome 128? ¿Gemini Nano en Chrome 128? ¿Fue eso lo que se anunció? Creo que anunciaron un poco de nano dentro, exactamente, sí. Creo que está en Canary ahora mismo tal vez para explorar. Sí, sí. Emocionado de explorar ese tipo de cosas. Genial. Esa es la misma pregunta. Una pregunta sobre el aprendizaje por transferencia. ¿Estás planeando publicar más modelos en capas en lugar del modelo de gráfico congelado para el aprendizaje por transferencia? Buena pregunta. Así que, ahora mismo, muchos de nuestros modelos están congelados, como correctamente indicaste. No tenemos planes de cambiar eso en el corto plazo, pero hay muchas alternativas de código abierto que están abiertas para usar y hacer tu aprendizaje por transferencia como mejor te parezca.

Cosas como YOLO para la detección de objetos, por ejemplo. Es muy fácil de convertir a TensorFlow.js y ejecutar en el navegador reconociendo objetos personalizados, por ejemplo. Así que, diría que, a partir de este año y 2023, ha habido un gran crecimiento en el número de modelos abiertos que ahora están disponibles para el mundo, y podemos aprovecharlos en el navegador, también. No son solo los que mencioné hoy. Obviamente obtuve mis puntos de referencia de Google, pero hay muchos otros por ahí, también, que también puedes aprovechar.

Sí, increíble. Sí. Apóyate en el ecosistema además de solo estas cosas. Increíble.

Ah, esto es interesante. ¿Es Web AI, de lo que has estado hablando aquí, específico de Chrome o va a funcionar en cualquier navegador? Funcionará en cualquier navegador, siempre que soporte la mayoría de estos modelos que son acelerados por un WebAssembly o WebGPU. Entonces, dependiendo del tipo de modelo que sea, podría usar uno u otro, pero mientras esas dos cosas sean compatibles, debería funcionar en esos navegadores. Así que incluso podría ejecutar estas cosas en mi teléfono móvil, incluso en, ya sabes, navegadores basados en Chromium y cosas así. Así que, sí. Muy genial.

Y dijiste, sí, hemos hecho WebGPU y WebAssembly. ¿Hay, he oído hablar de, es WebNN, Web Neural Net? ¿Eso también viene? También estamos contribuyendo a ese estándar web, por supuesto, así que es una discusión en curso. Creo que ahora mismo, mucha de la comunidad está desplegando sus modelos en WebGPU porque está disponible ahora. Ha sido publicado como un estándar. Y todavía se está desarrollando, supongo. Así que, de nuevo, este es un gran momento para comenzar a dar forma a esos estándares para que realmente podamos tener tu opinión sobre lo que te gustaría ver en estas APIs en el futuro que hagan tu vida más fácil como desarrolladores, y agradecemos comentarios al respecto. Es algo abierto para comentar ahora mismo en los problemas de GitHub para eso. Increíble. Sí, si estás interesado en esto, mira el futuro de WebNN así como las cosas existentes que tenemos, sí. De acuerdo.

Oh, ¿hay algún, cuáles son los requisitos mínimos del sistema para ejecutar en un navegador? Realmente depende de qué modelo estés ejecutando. Entonces, si estás haciendo algo como nuestros modelos de segmentación o modelos de estimación de pose, pueden ejecutarse en una laptop de hace diez años sin problemas. Si estás tratando de ejecutar un modelo de lenguaje grande en el navegador, entonces necesitas un cierto nivel de tarjeta gráfica con suficiente RAM de video para ejecutar ese modelo. Estos modelos más grandes requieren más recursos, por lo que necesitas una máquina más moderna para ellos, pero algunas de las cosas básicas como la detección de objetos, pose corporal, segmentación, pueden ejecutarse a 60 fotogramas por segundo de manera fluida incluso en dispositivos antiguos en muchos casos. ¿150 fotogramas por segundo? 150 en eso. Los 150 fueron en una NVIDIA 1070 que tiene cinco generaciones de antigüedad, solo para contexto, sí. Genial.

Sí. ¿Tienes alguna recomendación para aprender esto para principiantes completos? ¿Por dónde empezarías? Bueno, obviamente, mi curso, pero también hay muchos libros por ahí también. Hay como deep learn, deep learning en JavaScript y eso fue escrito por algunos de los miembros del equipo de TensorFlow.js, creo. También está learning TensorFlow.js de O'Reilly que fue escrito por uno de nuestros GDEs y es un libro realmente fácil de entender si quieres comenzar con TensorFlow.js. También hay ahora muchos cursos en línea que puedes tomar de otras personas también para aprender otros ecosistemas como Transformers.js y Onyx Web Runtime y todas estas otras variedades de Web AI esencialmente. Así que elige uno y ve a intentarlo básicamente.

Sí, sí. Un montón de recursos. Pero tu curso también es un gran comienzo. Intento cubrir un poco de todo al principio y ser agnóstico solo para enseñarte qué es la IA y luego paso a las cosas de TensorFlow.js. Así que las partes iniciales son útiles para todos, sin importar qué ruta tomen después y luego más adelante en mi curso, se vuelve más específico de TensorFlow.js, pero puedes elegir saltarlo o ir a donde quieras. Genial.

Muy bien. También cubrí eso. Muy bien. Y cubrimos eso un poco. Oh, Dios mío, lo siento. ¿Es eso todo? Sí. Nosotros como que... Sí. Grandes cosas. Podríamos ser capaces de capturarlas a través de sitios. Eso es emocionante. Sí. Oh sí.

Entonces dijiste que los ejemplos de TensorFlow no eran IA generativa. Eso es correcto. Entonces, ¿cómo categorizarías lo que significa en cuanto a los tipos de aplicaciones para las que es útil? Supongo que las cosas de TensorFlow. ¿Cómo categorizarías lo que significa en cuanto al tipo de aplicaciones para las que es útil? ¿Para qué puede ser útil? Quiero decir, podría aplicarse a todas las industrias que existen, creo. Hay tantos modelos por ahí que desde completar columnas faltantes en datos de hojas de cálculo hasta los modelos de visión, comprensión de texto, generación de audio o reconocimiento de voz. Todo está disponible para que lo ejecutes en el navegador hoy en día. Así que realmente podría aplicarse a cualquier cosa. Y luego viene con esa especie de privacidad local primero también. Sí. Ha sido un tema recurrente hoy. Y para ciertos sectores, eso es realmente importante, como el legal o el de la salud.

Es por eso que hay tantos ejemplos de atención médica también.

Sí, exactamente. ¿Crees que la IA web puede mejorar la accesibilidad?

Sí. Alguien dice tal vez seguimiento ocular o tecnologías similares. Esa es una gran pregunta. Y un buen ejemplo de eso sería que los navegadores están comenzando a usar modelos de IA web para completar automáticamente subtítulos para imágenes que no tienen subtítulos alt. Así que ya está comenzando a tener beneficios positivos para las personas que simplemente no se han molestado en hacer ciertas cosas y lo completa por ti.

Sí, increíble. Me encanta eso. Esa es una gran pregunta porque, sí, creo que es una buena pregunta para terminar con eso. Nos hemos quedado sin tiempo aquí, pero es una gran pregunta porque pensar en los usuarios a través de la accesibilidad, así como solo a través de nuevas características geniales que podemos construir, es realmente importante.

Estoy totalmente de acuerdo. Sí. Así que muchas gracias, Jason. Eso fue absolutamente brillante. Y sí, un aplauso para Jason. Gracias. Gracias. Gracias.