Uso de MediaPipe para Crear Aplicaciones de Aprendizaje Automático Multiplataforma con React

Hola a todos. Soy Shivay Lamba. Actualmente soy un Mentor de Google Snowfold en MediaPipe, y voy a hablar en React Advanced. Estoy emocionado de hablar en React Advanced sobre el tema de usar MediaPipe para crear aplicaciones de aprendizaje automático multiplataforma con React.

Gran parte de esta charla se centrará en aprendizaje automático, MediaPipe, y cómo puedes integrar, básicamente, MediaPipe con React para crear aplicaciones realmente asombrosas.

Así que sin perder más tiempo, comencemos. Lo primero, por supuesto, quiero decir, hoy en día, el aprendizaje automático está literalmente en todas partes. Mires la aplicación que mires, verás aprendizaje automático siendo utilizado allí. Ya sea en educación, salud, fitness, o minería, por nombrar algunos. Encontrarás la aplicación de aprendizaje automático hoy en día en cada industria que se conoce a la humanidad.

Eso hace que el aprendizaje automático sea mucho más importante para ser utilizado también en aplicaciones web. Y hoy en día, a medida que más y más aplicaciones web están llegando al mercado, estamos viendo muchos más casos de uso de aprendizaje automático dentro de las aplicaciones web también.

Y veamos algunos de estos ejemplos que podemos ver. Por ejemplo, aquí podemos ver una detección de rostros dentro de Android. Luego puedes ver las manos siendo detectadas en esta imagen de iPhone XR. Luego puedes ver la Nest Cam que todos saben que es una cámara de seguridad. Luego puedes ver algunos de estos efectos web donde puedes ver a esta mujer y tiene algunos efectos faciales en su rostro usando la web. O también puedes ver la Raspberry Pi y otros tipos de microchips o dispositivos que funcionan en el borde.

¿Y qué tienen en común todas estas cosas? Esa es la pregunta. Lo que tienen en común todas estas cosas es MediaPipe.

Entonces, ¿qué es exactamente MediaPipe? MediaPipe es esencialmente el marco de trabajo multiplataforma de código abierto de Google que realmente ayuda a construir diferentes tipos de tuberías de percepción. Lo que significa es que somos capaces de construir o usar múltiples modelos de aprendizaje automático y usarlos en una sola tubería de extremo a extremo para construir algo. Y también veremos algunos de los casos de uso comunes muy pronto.

Y ha sido utilizado ampliamente en muchos de los productos basados en investigación en Google. Pero ahora ha sido hecho upstream. Y ahora todos pueden usarlo ya que es un proyecto de código abierto. Y puede ser utilizado para procesar cualquier tipo de audio, video, datos basados en imágenes y también datos de sensores. Y ayuda principalmente con dos cosas. Una es la preparación del conjunto de datos para diferentes tipos de tuberías dentro del aprendizaje automático y también la construcción de tuberías de aprendizaje automático de extremo a extremo. Y algunas de las características que se incluyen en MediaPipe incluyen aceleración de extremo a extremo porque todo está sucediendo en el dispositivo.

Luego, en segundo lugar, solo tienes que construirlo una vez y diferentes tipos de soluciones, incluyendo Python, JavaScript, Android, iOS, todos esos pueden ser utilizados. Así que solo tienes que construirlo una vez y puedes usarlo en diferentes tipos de plataformas. Por eso lo llamamos un framework basado en multiplataforma.

Y luego estas son solo soluciones listas para usar. Solo tienes que importarlas e integrarlas en tu code y se podrán usar muy fácilmente. Y la mejor parte de esto es que es open-source. Así que todas las diferentes soluciones, todas las diferentes bases de código las puedes encontrar en el repositorio de MediaPipe en la organización de Google en GitHub.

Ahora, mirando algunas de las soluciones más comúnmente utilizadas, algunas de las soluciones más conocidas incluyen la solución de segmentación de selfies que básicamente, ya sabes, también se está utilizando en Google Meet donde puedes ver los diferentes tipos de fondos que puedes aplicar, el efecto de desenfoque. Así que lo que hace es que utiliza una máscara de segmentación para detectar solo a los humanos en la escena y es capaz de extraer solo la información necesaria para los humanos. Y luego tenemos Face Mesh que básicamente tiene más de 400 puntos de referencia faciales que puedes poner, y puedes hacer muchas aplicaciones interesantes con esto. Por ejemplo, digamos filtros de AR o maquillaje, ¿verdad? Luego tenemos la segmentación del cabello que te permite segmentar solo el cabello. Luego tenemos algoritmos estándar basados en visión por computadora como la detección y seguimiento de objetos que puedes hacer para detectar objetos específicos. Luego tenemos la detección facial, también tenemos el seguimiento de manos que puede seguir tus manos y probablemente puedes usarlo para cosas como, ya sabes, poder usar gestos basados en las manos para controlar, digamos, tu aplicación web. Luego tenemos la detección y seguimiento de la pose humana completa que probablemente podrías usar para crear algún tipo de aplicación de fitness o de baile que pueda seguirte. Luego tenemos el seguimiento holístico que realmente sigue todo tu cuerpo, ¿verdad? Y sigue tu cara, tus manos, toda tu pose, ¿verdad? Así que es una combinación de básicamente la pose humana, el seguimiento de las manos y la malla facial. Luego tenemos una detección de objetos más avanzada, como la detección en 3D que puede ayudarte a detectar, ya sabes, objetos más grandes como una silla, zapatos, mesa. Y luego tenemos muchos otros tipos de soluciones que puedes seguir y mirar. Y todas estas son soluciones de extremo a extremo que puedes implementar directamente. Por eso las soluciones de MediaPipe son tan populares.

Y solo para ver algunos de los ejemplos del mundo real donde se está utilizando. Acabamos de hablar de la solución de malla facial que puedes ver aquí, ya sabes, teniendo lugar en el probador de lápiz labial AR que está en YouTube. Luego tenemos el filtro de película basado en AR que se puede usar directamente en YouTube. Luego tenemos algunas superficies de Google Lens que puedes ver como la realidad aumentada que tiene lugar. Luego también puedes ver que se está utilizando no solo en estas realidades aumentadas o como estas cosas, sino también en otros tipos de inferencias, como la traducción de Google Lens, que también utiliza las tuberías de MediaPipe en su paquete. Y puedes ver caras aumentadas que nuevamente se basan en la malla facial. Así que veamos un ejemplo rápido de percepción en vivo de cómo básicamente, ya sabes, sucede. Para esto, lo que vamos a hacer es que vamos a ver el seguimiento de la mano, ¿verdad? Así que esencialmente lo que queremos hacer es que tomamos una imagen o un video de tu mano y somos capaces de poner estos puntos de referencia. ¿Qué son los puntos de referencia? Básicamente, los puntos de referencia son estos puntos que ves y puedes superponerlos en tu mano y denotan todos los diferentes, ya sabes, como podrías decir los diferentes bordes de, de tu mano y vas a superponerlos. Así es como se verá el ejemplo. Entonces, ¿cómo se vería esa simple tubería de percepción? Así que esencialmente, primero tomarás tu entrada de video.

Entonces básicamente podrás, ya sabes, reducir el fotograma, básicamente estarás obteniendo los fotogramas de tu video y estarás descomponiendo ese fotograma completo en un tamaño que es utilizable por los tensores. porque internamente MediaPipe usa TF light que es TensorFlow light. Así que estás trabajando con tensores. Estos son retículas numéricas de alta dimensión que básicamente contienen toda tu información sobre eso, ya sabes, ese machine learning. Así que básicamente estarás haciendo una transformación geométrica de tu fotograma en un tamaño que ha sido usado por los tensores. Así que estas imágenes entrarán, se transformarán en el formato matemático de los tensores y luego ejecutarás la inferencia de machine learning en ellos. Básicamente estarás haciendo una decodificación de alto nivel de los tensores y básicamente eso resultará en la creación de los puntos de referencia y luego estarás renderizando ese punto de referencia encima de la imagen y obtendrás esa salida. Así que esencialmente lo que sucederá es que si tienes tu mano e importas esos puntos de referencia encima de ella, finalmente obtendrás este resultado que ves es básicamente la escritura a mano. De esta manera podemos construir este tipo de tuberías y básicamente lo que está sucediendo detrás de las escenas o bajo el capó es que tenemos el concepto de gráficos y calculadoras, así que si estás al tanto de la estructura de data del gráfico de cómo el gráfico tiene bordes y vértices, de manera similar, un gráfico de MediaPipe también funciona de manera similar a que cuando estás creando cualquier tipo de tubería de percepción o una tubería de MediaPipe, ¿verdad?, básicamente está compuesta por, podrías decir, el gráfico como en los nodos y los bordes y donde el nodo específicamente denota el calculador. Ahora esencialmente los calculadores son los archivos de configuración de C++ que esencialmente almacenan qué exactamente o qué tipo exacto de transformación o cuál es el cerebro principal, podrías pensar en el calculador como el cerebro principal detrás de esa solución que estás implementando y luego esencialmente estos son los nodos y la data que realmente entra en el nodo y se procesa y sale del nodo, todas esas conexiones a través de los bordes son, ya sabes, algo así como lo que representa todo el gráfico de MediaPipe. Así que incluyendo los bordes y luego cuál es el puerto de entrada en el calculador y cuál es la salida. Así que la entrada es lo que está entrando en el calculador y una vez que se han hecho los cálculos, una vez que se han hecho las transformaciones, qué está saliendo. Así que esencialmente así es como puedes pensar en toda la tubería de percepción de usar diferentes tipos de calculadoras juntas para formar digamos una solución particular y todo eso será representado a través de este gráfico de MediaPipe. Así que eso es esencialmente lo que es el back end o lo que está pasando detrás de cualquier tipo de esto estructura de backend de una solución de metapipe. Ahora también puedes mirar algunos de los docs para conocer más sobre estos, ya sabes, sobre el gráfico de calculadoras yendo a docs.metapipe.dev o también puedes visualizar diferentes tipos de tuberías de percepción. Digamos que el que usamos fue en realidad uno muy simple donde solo estábamos usando para detectar los puntos de referencia en tu mano, pero si tienes tuberías mucho más complejas, puedes seguir adelante y usar vis.metapipe.dev para visitar eso y mirar algunas de las tuberías que están ahí para ofrecer en este sitio en particular.

Y ahora llegando a la parte esencial, de lo que realmente trata esta charla, y eso es ¿cómo puedes integrar MediaPipe con React? Así que hay muchos NPM modules que son compartidos por el equipo de Google MediaPipe, y algunos de estos incluyen básicamente malla facial, detección de rostros, manos, básicamente el seguimiento de manos, holístico que es tener la malla facial, mano, y tu pose. Luego Objectron que es la detección de objetos 3D, y luego tienes la pose, y tienes la segmentación de selfies que tuvimos que cubrir, es básicamente cómo funciona el fondo de Zoom o Google Meet. Así que para todos estos, encontrarás los paquetes NPM relevantes, y puedes referirte a esta particular diapositiva, y también puedes mirar los ejemplos del mundo real que han sido proporcionados por el equipo de MediaPipe. Estos están disponibles en CodePen, así que puedes referirte a cualquiera de estos para ver cómo básicamente se ha implementado. Pero lo que vamos a hacer es que vamos a implementar esto directamente en React. Así que aquí hay un breve ejemplo de cómo se supone que debe funcionar. Así que en la primera pieza de code que puedes ver en la parte superior, donde hemos integrado o hemos importado React, también hemos importado la cámara web porque la corriente de entrada que vamos a poner es con la ayuda de la cámara web que vamos a usar, así que hemos integrado la cámara web. Luego hemos integrado una de las soluciones aquí como un ejemplo, y eso es la solución de segmentación de selfies que puedes ver donde hemos importado del modelo NPM de segmentación de selfies de MediaPipe. Y también hemos integrado las utilidades de cámara de MediaPipe, así que esto es para básicamente obtener los detalles de la cámara, ¿verdad? También tenemos algunas otras utilidades que te ayudan a crear los puntos de referencia que descubriremos en un poco. Pero después de eso, puedes ver básicamente el code donde hemos usado la segmentación de selfies de MediaPipe y de nuevo, la mejor parte de esto es que no se supone que debes estar escribiendo 100, 200, 300 líneas de code de machine learning, y ese es el beneficio de usar soluciones de MediaPipe que todo está empaquetado en este code, y estás haciendo este tipo de, ya sabes, como cosas importantes y esenciales de machine learning basadas en cosas como la detección de objetos, el seguimiento de objetos que normalmente se ejecutan en como 200, 300 líneas de code. Y simplemente puedes ponerlo en menos de 20 a 30 líneas de code. Aquí simplemente, ya sabes, hemos creado nuestra función para la segmentación de selfies donde estamos usando la cámara web como referencia. Y estamos usando encima de eso un lienzo como referencia porque la cámara web es algo así como la base, ¿verdad? Obtienes tus fotogramas de la cámara web y luego estás usando el elemento de lienzo encima de para renderizar los puntos de referencia. ¿Verdad? Y aquí puedes ver que estamos implementando el CDN para obtener la solución de segmentación de selfies de MediaPipe.

Y luego estamos renderizando las soluciones. Estamos leyendo los resultados en la parte superior de lo que se está detectando. Pero sí, quiero decir que hasta ahora, todo ha sido una especie de discussion. Pasaremos rápidamente al code con el tiempo de demostración. Así que si todos están emocionados, estoy más que feliz de compartir ahora la demostración de esto.

Así que permítanme volver a mi código VS. Así que aquí, básicamente, he implementado una aplicación de React muy sencilla. Es una simple aplicación de creación de React, ¿verdad?, que puedes usar muy simplemente. Puedes encontrarla en la documentación de Facebook. Aquí en mi código principal app.js, lo que he hecho es que he integrado cuatro diferentes tipos de ejemplos. ¿Verdad? Así que estos cuatro ejemplos incluyen las manos, la malla facial, la holística y la solución de segmentación de selfies. Así que voy a mostrarles rápidamente las demos de todas estas. Pero voy a demostrar rápidamente lo fácil que es, ya sabes, poder integrar este tipo de solución de MediaPipe o como solución de aprendizaje automático, ¿verdad?

Así que dentro de mi función en mi aplicación, por ahora he comentado todas las otras soluciones, la primera que probablemente demostraré es una malla facial. Así que he importado todos los componentes para cada uno de estos. Y actualmente, solo estoy, ya sabes, renderizando o estoy devolviendo los componentes de malla facial. Así que si voy muy rápido a mi componente de malla facial, aquí mientras repasamos el code, puedes ver que he integrado importado React. He importado algunos de los puntos de referencia. Ahora, básicamente, cuando estamos hablando de digamos la cara, ¿verdad? Queremos nuestro ojo derecho, ojo izquierdo, ceja, ya sabes, nuestros labios, nuestra nariz y todo. Así que estos son básicamente todos los que hemos importado específicamente de la malla facial. Y luego hemos creado nuestra función, ¿verdad? Hemos creado básicamente la malla facial MP que se utilizará para renderizar la malla facial en la parte superior de nuestra webcam. Así que aquí, simplemente volvemos a devolver el cdn. Y estamos usando face mesh.onResults para renderizar el resultado que veremos. Así que empezamos básicamente obteniendo la cámara. Usamos el nuevo objeto de cámara para obtener la referencia de la webcam. Y usando eso, lo que hacemos es que esperamos, hemos creado básicamente la función asíncrona para que, ya sabes, dado que el modelo de aprendizaje automático en sí que se cargará puede llevar algún tiempo para cargar. Por eso simplemente, hemos usado una función asíncrona para esperar para que los puntos de referencia se carguen realmente. Y por eso enviamos a la malla facial la referencia de la webcam que es básicamente tu fotograma actual que estás usando. Así que una vez que tu cámara se carga, el fotograma comienza a entrar, enviamos ese fotograma a nuestra malla facial, donde puede renderizar los puntos de referencia. Así que, básicamente en las funciones const on results, lo que hemos hecho es que hemos tomado nuestra entrada de video, luego encima de ella, estamos renderizando el elemento canvas, ¿verdad? Usando el canvas CTX. Y lo que vamos a hacer es que ahora vamos a renderizar los puntos de referencia faciales en la parte superior del fotograma real que estamos viendo.

Eso es lo que ves aquí. Usando básicamente los conectores de dibujo. Esta es una utilidad que ha sido proporcionada por MediaPipe, y la estamos usando. Muy rápidamente, lo que estamos haciendo es que estamos renderizando todos los diferentes puntos de referencia. Y finalmente estamos devolviendo nuestra webcam, y también el canvas que se va a colocar encima de la webcam.

Luego, finalmente, estamos exportando este componente de React en nuestro R.js. Muy rápidamente, saltando a la demostración. Así que abriré el modo incógnito, e iré muy rápidamente a Localhost 3000, donde se abrirá la webcam. Como puedes ver, hola a todos. Ese es el segundo yo, y muy pronto debería poder ver la malla facial aparecer en la parte superior de la demostración. Como puedes ver, esa es la malla facial, boom. Genial. Y como puedes ver, a medida que me muevo, abro la boca, cierro el ojo, puedes ver cómo están sucediendo todos los puntos de referencia faciales. Así que puedo cerrar esto, y cambiar muy rápidamente a, digamos, otra demostración. Veamos si podemos usar esto, la segmentación de selfies. Y en esto, lo que haré es básicamente comentar mi malla facial, y simplemente comentaré esto, y comentaré esta segmentación de selfies, y lo guardaré. Y hasta entonces, mientras se carga, puedes ver la segmentación de selfies aquí de nuevo. Lo hemos usado. Y lo que estamos haciendo aquí es que vamos a proporcionar un fondo personalizado, ¿verdad? Así que ese fondo que vamos a proporcionar se va a definir aquí, cuando básicamente estamos usando el estilo de relleno del canvas. Así que básicamente no coloreará tu cuerpo humano, pero coloreará todas las demás cosas. Así que estamos usando el estilo de relleno para, digamos, añadir un fondo virtual.

Así que si vuelvo, si vuelvo rápidamente a mi modo incógnito, puedo ir y mirar localhost 3000, y muy pronto, debería poder, si todo funciona bien. Así que como puedes ver, esta es mi cámara y mi fotograma está entrando. Y muy pronto debería cargar el modelo de segmentación de selfies y esperemos un poco. Así que como puedes ver, un fondo azul. Así que esencialmente de nuevo, cómo está funcionando es que está tomando tu cuerpo y está segmentando tu figura humana del fotograma. Y básicamente está coloreando el resto del fondo entero con este color azul, porque es capaz de segmentar tu cuerpo humano, ya sabes, y solo colorear el resto de las cosas. Así que de manera similar, puedes probar varios tipos de soluciones que están, ya sabes, ahí. Por supuesto, para mi demostración, te mostré la malla facial y también te mostré la segmentación de selfies, pero también puedes probar todas las demás que se comparten dentro de los NPM modules que están, ya sabes, proporcionados por el código de React. Así que eso es esencialmente lo que quería mostrar específicamente con respecto a la demostración.

De nuevo, es súper rápido lo que acabo de compartir con todos. Correcto. Que solo tienes, como literalmente con la, incluso con la segmentación de selfies code, la lógica real detrás, ya sabes, la segmentación real de selfies que estamos escribiendo no es más que de la línea número 10 a la línea número probablemente a, supongo, 36. Así que en unas 70 a 80 líneas de code, estás creando una aplicación tan maravillosa.

Y puedes pensar en qué tipo de aplicaciones increíbles podrías probablemente pensar, y podrías crear con la ayuda de MediaPipe. Y estos son solo dos de los ejemplos que te he mostrado. Así que, el cielo es el límite y lo mejor es que no necesitas saber qué está pasando detrás de escena. No necesitas saber qué tipo de visión por computadora o machine learning está sucediendo. Solo tienes que integrarlo. Y es por eso que hoy estamos viendo MediaPipe siendo utilizado en tantos ejemplos en vivo en entornos de producción por empresas, por startups. Así que realmente es el futuro de la web, ¿verdad? Y es fácilmente integrable con React.

Ese es también el futuro de la web. Así que con eso, llego al final de mi presentación. Espero que te haya gustado. Puedes conectarte conmigo en mi Twitter en how to help o en mi GitHub en GitHub.com. Y si tienes alguna consulta con respecto a MediaPipe o cómo integrar MediaPipe con React, estaré más que feliz de ayudarte. Y espero que todos tengan una gran masterclass avanzada de React. Realmente me encantó ser parte de ella. Y espero que el próximo año, cuando tenga lugar, conozca a todos en el mundo real. Así que muchas gracias. Con eso, me despido. Eso es todo. Muchas gracias.