Dando Superpoderes a tus Aplicaciones de React con Aprendizaje Automático

Rate this content
Bookmark
Slides

¿Alguna vez te has preguntado si Javascript es una alternativa viable a Python o R para crear modelos de aprendizaje automático? Después de todo, una encuesta de 2019 realizada por Stack Overflow encontró que Javascript es el lenguaje que más utilizan los desarrolladores. Dado que los modelos de aprendizaje automático como las redes neuronales requieren mucha potencia computacional y que Javascript no fue diseñado para computación de alta velocidad, este enfoque parece irrazonable. Pero espera, ¡esto no es del todo cierto, ya que las bibliotecas de Javascript como Onnx.js y Tensorflow.js están aquí para salvar el día! En esta charla, profundizaré en cómo crear aplicaciones de aprendizaje automático intuitivas e innovadoras con React.

This talk has been presented at React Summit 2023, check out the latest edition of this React Conference.

FAQ

El modelo CocoaSSIST es un modelo de aprendizaje automático utilizado para clasificar imágenes. En React, se puede integrar usando TensorFlow.js para cargar el modelo y obtener predicciones directamente en la aplicación, usando imágenes como entrada.

Además de TensorFlow.js, existen otras bibliotecas y frameworks como ONNX.js y Transformers.js que también permiten la integración de capacidades de aprendizaje automático en aplicaciones de JavaScript y React.

Sí, los desarrolladores de front-end pueden integrar machine learning directamente en sus aplicaciones utilizando bibliotecas de JavaScript como TensorFlow.js, sin la necesidad de aprender lenguajes típicamente asociados con ML, como Python o R.

TensorFlow.js es una biblioteca de aprendizaje automático de código abierto que permite integrar capacidades de machine learning directamente en aplicaciones web. Se puede usar en React para agregar modelos de aprendizaje automático a través de JavaScript sin necesidad de un backend específico para ML.

Las principales ventajas incluyen mejor privacidad, ya que los datos no necesitan ser enviados a un servidor, menor costo al evitar servidores dedicados, menor latencia, y la posibilidad de aprovechar el hardware del sistema, como CPU y GPU, para mejorar el rendimiento.

Los desarrolladores solo necesitan conocer los conceptos básicos del aprendizaje automático, como qué es el entrenamiento y la predicción. TensorFlow.js y otras bibliotecas similares permiten integrar ML sin necesidad de un conocimiento avanzado en el área.

Shivay Lamba
Shivay Lamba
11 min
06 Jun, 2023

Comments

Sign in or register to post your comment.
Video Summary and Transcription
Bienvenido a mi charla relámpago en React Summit 2023, donde discutiré la integración de capacidades de aprendizaje automático en aplicaciones de React utilizando bibliotecas de JavaScript como TensorFlow.js y ONNX.js. Estas bibliotecas permiten una mejor privacidad, menor costo y menor latencia al aprovechar el hardware del sistema. Los ejemplos incluyen el uso de TensorFlow.js y CocoaSSIST para clasificar imágenes y Ermine.ai para transcripción de audio en vivo. Los desarrolladores de React ahora pueden integrar el aprendizaje automático sin necesidad de tener un amplio conocimiento de Python u otros frameworks.

1. Introducción al Aprendizaje Automático en React

Short description:

Bienvenidos a mi charla relámpago en React Summit 2023. Está otorgando superpoderes a tus aplicaciones de React con aprendizaje automático. Como ingeniero de front-end, puedes aprovechar el aprendizaje automático en tus propias aplicaciones. Por lo general, los nuevos desarrolladores web se adentran en React, pero integrar el aprendizaje automático generalmente requiere Python o R. Sin embargo, puedes utilizar bibliotecas de aprendizaje automático para JavaScript para integrar capacidades de aprendizaje automático en tu aplicación de React.

Bueno, hola a todos. Bienvenidos a mi charla relámpago en React Summit 2023. Está otorgando superpoderes a tus aplicaciones de React con aprendizaje automático. Soy Shailamba. Soy líder del grupo de trabajo y SIG de TensorFlow.js en India. Y también soy mentor de código de Google en TensorFlow.

Ahora, estamos aprendiendo sobre la emoción del aprendizaje automático. Y, por supuesto, con herramientas como Chats ABT y modelos de lenguaje grandes, estamos viendo el aprendizaje automático en todas partes. Ya sea que se trate de texto iterativo o de IA iterativa. Y como ingeniero de front-end, es posible que también estés muy interesado en aprovechar el uso del aprendizaje automático en tus propias aplicaciones.

Por lo general, si observamos a cualquier nuevo desarrollador web que quiera construir una aplicación basada en aprendizaje automático muy genial, tienden a adentrarse directamente en React. Y sabemos que React en sí puede ser muy confuso y tiene muchos temas avanzados. Así que en lugar de saltar directamente de HTML, Javascript y aprender sobre Git y GitHub y luego finalmente aprender sobre React, los nuevos desarrolladores tienden a saltar directamente a React. Y ahora piensa en ti como un nuevo desarrollador de front-end donde estás aprendiendo los conceptos básicos de Javascript, si quieres integrar capacidades de aprendizaje automático en tu aplicación de Javascript o tu aplicación de React, tradicionalmente tendrías que usar un lenguaje de programación como Python o R, que están más enfocados en general hacia el aprendizaje automático.

2. Integración del Aprendizaje Automático en React

Short description:

Puedes integrar capacidades de aprendizaje automático en tu aplicación de React utilizando bibliotecas de aprendizaje automático de código abierto para JavaScript. Estas bibliotecas, como TensorFlow.js y ONNX.js, te permiten agregar modelos de aprendizaje automático directamente en tu navegador, brindando una mejor privacidad, menor costo y menor latencia. Aprovechan el hardware del sistema como CPUs y GPUs, mejorando el rendimiento. JavaScript puede superar a Python en muchos casos. Utilizaremos TensorFlow.js y el modelo CocoaSSIST para clasificar imágenes en nuestra demostración.

Pero ese no es el caso. Tú mismo, como ingeniero de front-end, puedes integrar capacidades de aprendizaje automático sin tener que entrar en el bucle o aprender un nuevo conjunto de lenguajes por completo. Y cómo puedes lograrlo es con la ayuda de una gran cantidad de bibliotecas de aprendizaje automático de código abierto para Javascript que están disponibles para que las uses con tu aplicación de React.

Entonces, ya sea una de las bibliotecas de aprendizaje automático de código abierto más populares basadas en Javascript como TensorFlow.js o ONNX.js, o incluso algunos de los frameworks y bibliotecas más nuevos como Transformers.js que te permiten agregar la capacidad de modelos de aprendizaje automático muy grandes directamente en tu navegador con la ayuda de Javascript, que por supuesto puedes incluir en tu aplicación de React.

Y hay cinco razones diferentes por las que deberías ejecutar el modelo de inferencia de aprendizaje automático en React y en tus aplicaciones de front-end. Y principalmente se debe a cinco cosas. La primera es la privacidad. Cuando utilizas estos modelos basados en aprendizaje automático y ejecutas estas inferencias en el navegador mismo, eso es mucho más privado y tiene una mejor privacidad. Porque no estás haciendo la inferencia de aprendizaje automático en un servidor dedicado. Eso también es mucho menos costoso porque no tienes que mantener servidores dedicados. Por lo tanto, puedes hacer todas estas inferencias de aprendizaje automático directamente en el navegador y también obtienes un menor costo y una menor latencia.

Y el alcance y la escala con los que realmente puedes construir y servir estas aplicaciones ahora es mucho mayor. También una cosa importante a considerar aquí es que la forma en que podemos hacer esta inferencia en el navegador es con la ayuda de poder aprovechar el uso del hardware del sistema como CPU, GPU, porque todas estas bibliotecas diferentes que hemos discutido vienen con soporte para tecnologías como WebAssembly, WebGPU, que permiten mejorar el rendimiento de tus aplicaciones basadas en el navegador con la ayuda de diferentes tecnologías como WebGL o, por supuesto, con el hardware de tu sistema que se utiliza para ejecutar estas inferencias o entrenamientos directamente en el navegador. Por lo tanto, la idea es que, con la ayuda de estas bibliotecas en particular, puedes usarlas sin tener que aprender algo como Python y, de hecho, en muchos casos obtienes un mejor rendimiento con JavaScript en comparación incluso con Python en muchos de estos modelos en particular, porque están más optimizados para JavaScript y en algunos casos JavaScript es incluso más rápido.

Y una demostración que les mostraré a todos ustedes está construida con la ayuda de TensorFlow.js, que, por supuesto, es una biblioteca de aprendizaje automático de código abierto completamente disponible para que cualquiera la use, y utilizaremos un modelo de aprendizaje automático preconstruido que utilizaremos para nuestra aplicación. Por lo tanto, hay muchas aplicaciones o modelos preconstruidos que ya están disponibles con TensorFlow y de manera similar para otras bibliotecas que ya hemos cubierto, incluidas las basadas en humanos, texto, sonido y otras más. Y el que usaremos es el modelo CocoaSSIST. Por lo tanto, el modelo CocoaSSIST es un modelo muy famoso y conocido por ser capaz de clasificar tus imágenes. Así que será un paso muy sencillo. Cargaremos una imagen, cargaremos el modelo de aprendizaje automático real y obtendremos predicciones. Por ejemplo, aquí estamos prediciendo algunos perros dentro de una imagen que subimos, y obtenemos un cuadro delimitador con el resultado de la imagen clasificada y la etiqueta con la que se clasifica. Entonces, para nuestra demostración, instalaremos estos paquetes en particular. Será el propio TensorFlow.js y el modelo CocoaSSIST. Y puedes importar estos modelos directamente en React utilizando esta forma en particular. Luego cargaremos estos modelos en nuestra aplicación de React y esperaremos a que el modelo se cargue por completo. En este caso, vamos a cargar el modelo CocoaSSIST. Ahora, una vez que se haya cargado el modelo, podemos seguir adelante y escribir las predicciones para poder predecir en función de una fuente de video en particular. Así que digamos que abro mi cámara web y trato de detectar qué hay en la fuente de video y podré hacerlo muy fácilmente con la ayuda de la función de predicciones. Ahora, para comenzar con esto, veamos cómo se ve en realidad. Así que iré a mi VS Code y esta es mi aplicación de React.

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

Una Guía del Comportamiento de Renderizado de React
React Advanced 2022React Advanced 2022
25 min
Una Guía del Comportamiento de Renderizado de React
Top Content
This transcription provides a brief guide to React rendering behavior. It explains the process of rendering, comparing new and old elements, and the importance of pure rendering without side effects. It also covers topics such as batching and double rendering, optimizing rendering and using context and Redux in React. Overall, it offers valuable insights for developers looking to understand and optimize React rendering.
Construyendo Mejores Sitios Web con Remix
React Summit Remote Edition 2021React Summit Remote Edition 2021
33 min
Construyendo Mejores Sitios Web con Remix
Top Content
Remix is a web framework built on React Router that focuses on web fundamentals, accessibility, performance, and flexibility. It delivers real HTML and SEO benefits, and allows for automatic updating of meta tags and styles. It provides features like login functionality, session management, and error handling. Remix is a server-rendered framework that can enhance sites with JavaScript but doesn't require it for basic functionality. It aims to create quality HTML-driven documents and is flexible for use with different web technologies and stacks.
Compilador React Forget - Entendiendo React Idiomático
React Advanced 2023React Advanced 2023
33 min
Compilador React Forget - Entendiendo React Idiomático
Top Content
Joe Savona
Mofei Zhang
2 authors
The Talk discusses React Forget, a compiler built at Meta that aims to optimize client-side React development. It explores the use of memoization to improve performance and the vision of Forget to automatically determine dependencies at build time. Forget is named with an F-word pun and has the potential to optimize server builds and enable dead code elimination. The team plans to make Forget open-source and is focused on ensuring its quality before release.
Uso efectivo de useEffect
React Advanced 2022React Advanced 2022
30 min
Uso efectivo de useEffect
Top Content
Today's Talk explores the use of the useEffect hook in React development, covering topics such as fetching data, handling race conditions and cleanup, and optimizing performance. It also discusses the correct use of useEffect in React 18, the distinction between Activity Effects and Action Effects, and the potential misuse of useEffect. The Talk highlights the benefits of using useQuery or SWR for data fetching, the problems with using useEffect for initializing global singletons, and the use of state machines for handling effects. The speaker also recommends exploring the beta React docs and using tools like the stately.ai editor for visualizing state machines.
Enrutamiento en React 18 y más allá
React Summit 2022React Summit 2022
20 min
Enrutamiento en React 18 y más allá
Top Content
Routing in React 18 brings a native app-like user experience and allows applications to transition between different environments. React Router and Next.js have different approaches to routing, with React Router using component-based routing and Next.js using file system-based routing. React server components provide the primitives to address the disadvantages of multipage applications while maintaining the same user experience. Improving navigation and routing in React involves including loading UI, pre-rendering parts of the screen, and using server components for more performant experiences. Next.js and Remix are moving towards a converging solution by combining component-based routing with file system routing.
(Más fácil) Visualización interactiva de datos en React
React Advanced 2021React Advanced 2021
27 min
(Más fácil) Visualización interactiva de datos en React
Top Content
This Talk is about interactive data visualization in React using the Plot library. Plot is a high-level library that simplifies the process of visualizing data by providing key concepts and defaults for layout decisions. It can be integrated with React using hooks like useRef and useEffect. Plot allows for customization and supports features like sorting and adding additional marks. The Talk also discusses accessibility concerns, SSR support, and compares Plot to other libraries like D3 and Vega-Lite.

Workshops on related topic

Masterclass de Depuración de Rendimiento de React
React Summit 2023React Summit 2023
170 min
Masterclass de Depuración de Rendimiento de React
Top Content
Featured WorkshopFree
Ivan Akulov
Ivan Akulov
Los primeros intentos de Ivan en la depuración de rendimiento fueron caóticos. Vería una interacción lenta, intentaría una optimización aleatoria, vería que no ayudaba, y seguiría intentando otras optimizaciones hasta que encontraba la correcta (o se rendía).
En aquel entonces, Ivan no sabía cómo usar bien las herramientas de rendimiento. Haría una grabación en Chrome DevTools o React Profiler, la examinaría, intentaría hacer clic en cosas aleatorias, y luego la cerraría frustrado unos minutos después. Ahora, Ivan sabe exactamente dónde y qué buscar. Y en esta masterclass, Ivan te enseñará eso también.
Así es como va a funcionar. Tomaremos una aplicación lenta → la depuraremos (usando herramientas como Chrome DevTools, React Profiler, y why-did-you-render) → identificaremos el cuello de botella → y luego repetiremos, varias veces más. No hablaremos de las soluciones (en el 90% de los casos, es simplemente el viejo y regular useMemo() o memo()). Pero hablaremos de todo lo que viene antes - y aprenderemos a analizar cualquier problema de rendimiento de React, paso a paso.
(Nota: Esta masterclass es más adecuada para ingenieros que ya están familiarizados con cómo funcionan useMemo() y memo() - pero quieren mejorar en el uso de las herramientas de rendimiento alrededor de React. Además, estaremos cubriendo el rendimiento de la interacción, no la velocidad de carga, por lo que no escucharás una palabra sobre Lighthouse 🤐)
Aventuras de Renderizado Concurrente en React 18
React Advanced 2021React Advanced 2021
132 min
Aventuras de Renderizado Concurrente en React 18
Top Content
Featured WorkshopFree
Maurice de Beijer
Maurice de Beijer
Con el lanzamiento de React 18 finalmente obtenemos el tan esperado renderizado concurrente. Pero, ¿cómo va a afectar eso a tu aplicación? ¿Cuáles son los beneficios del renderizado concurrente en React? ¿Qué necesitas hacer para cambiar al renderizado concurrente cuando actualices a React 18? ¿Y qué pasa si no quieres o no puedes usar el renderizado concurrente todavía?

¡Hay algunos cambios de comportamiento de los que debes estar al tanto! En esta masterclass cubriremos todos esos temas y más.

Acompáñame con tu portátil en esta masterclass interactiva. Verás lo fácil que es cambiar al renderizado concurrente en tu aplicación React. Aprenderás todo sobre el renderizado concurrente, SuspenseList, la API startTransition y más.
Consejos sobre React Hooks que solo los profesionales conocen
React Summit Remote Edition 2021React Summit Remote Edition 2021
177 min
Consejos sobre React Hooks que solo los profesionales conocen
Top Content
Featured Workshop
Maurice de Beijer
Maurice de Beijer
La adición de la API de hooks a React fue un cambio bastante importante. Antes de los hooks, la mayoría de los componentos tenían que ser basados en clases. Ahora, con los hooks, estos son a menudo componentes funcionales mucho más simples. Los hooks pueden ser realmente simples de usar. Casi engañosamente simples. Porque todavía hay muchas formas en las que puedes equivocarte con los hooks. Y a menudo resulta que hay muchas formas en las que puedes mejorar tus componentes con una mejor comprensión de cómo se puede usar cada hook de React.Aprenderás todo sobre los pros y los contras de los diversos hooks. Aprenderás cuándo usar useState() versus useReducer(). Veremos cómo usar useContext() de manera eficiente. Verás cuándo usar useLayoutEffect() y cuándo useEffect() es mejor.
React, TypeScript y TDD
React Advanced 2021React Advanced 2021
174 min
React, TypeScript y TDD
Top Content
Featured WorkshopFree
Paul Everitt
Paul Everitt
ReactJS es extremadamente popular y, por lo tanto, ampliamente soportado. TypeScript está ganando popularidad y, por lo tanto, cada vez más soportado.

¿Los dos juntos? No tanto. Dado que ambos cambian rápidamente, es difícil encontrar materiales de aprendizaje precisos.

¿React+TypeScript, con los IDEs de JetBrains? Esa combinación de tres partes es el tema de esta serie. Mostraremos un poco sobre mucho. Es decir, los pasos clave para ser productivo, en el IDE, para proyectos de React utilizando TypeScript. En el camino, mostraremos el desarrollo guiado por pruebas y enfatizaremos consejos y trucos en el IDE.
Masterclass Web3 - Construyendo Tu Primer Dapp
React Advanced 2021React Advanced 2021
145 min
Masterclass Web3 - Construyendo Tu Primer Dapp
Top Content
Featured WorkshopFree
Nader Dabit
Nader Dabit
En esta masterclass, aprenderás cómo construir tu primer dapp de pila completa en la blockchain de Ethereum, leyendo y escribiendo datos en la red, y conectando una aplicación de front end al contrato que has desplegado. Al final de la masterclass, entenderás cómo configurar un entorno de desarrollo de pila completa, ejecutar un nodo local e interactuar con cualquier contrato inteligente usando React, HardHat y Ethers.js.
Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
React Summit 2023React Summit 2023
151 min
Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
Top Content
Featured Workshop
Josh Justice
Josh Justice
La Biblioteca de Pruebas de React es un gran marco para las pruebas de componentes de React porque responde muchas preguntas por ti, por lo que no necesitas preocuparte por esas preguntas. Pero eso no significa que las pruebas sean fáciles. Todavía hay muchas preguntas que tienes que resolver por ti mismo: ¿Cuántas pruebas de componentes debes escribir vs pruebas de extremo a extremo o pruebas de unidad de nivel inferior? ¿Cómo puedes probar una cierta línea de código que es difícil de probar? ¿Y qué se supone que debes hacer con esa persistente advertencia de act()?
En esta masterclass de tres horas, presentaremos la Biblioteca de Pruebas de React junto con un modelo mental de cómo pensar en el diseño de tus pruebas de componentes. Este modelo mental te ayudará a ver cómo probar cada bit de lógica, si debes o no simular dependencias, y ayudará a mejorar el diseño de tus componentes. Te irás con las herramientas, técnicas y principios que necesitas para implementar pruebas de componentes de bajo costo y alto valor.
Tabla de contenidos- Los diferentes tipos de pruebas de aplicaciones de React, y dónde encajan las pruebas de componentes- Un modelo mental para pensar en las entradas y salidas de los componentes que pruebas- Opciones para seleccionar elementos DOM para verificar e interactuar con ellos- El valor de los mocks y por qué no deben evitarse- Los desafíos con la asincronía en las pruebas de RTL y cómo manejarlos
Requisitos previos- Familiaridad con la construcción de aplicaciones con React- Experiencia básica escribiendo pruebas automatizadas con Jest u otro marco de pruebas unitarias- No necesitas ninguna experiencia con la Biblioteca de Pruebas de React- Configuración de la máquina: Node LTS, Yarn