El Poder de la Ingeniería: Dar Vida a tu Propio Compañero de Star Wars

Rate this content
Bookmark

En Star Wars, los Pit Droids son droides de reparación diseñados para mantener los vehículos de carreras "podracers". Estos droides tienen una altura de 1.2 metros y pueden plegarse cuando no están en uso. Su comportamiento divertido se explica de tal manera que fueron programados con un sentido de urgencia pero sin suficiente capacidad de procesamiento para realizar tareas complejas.

Te mostraré cómo construí un Pit Droid realista y lo potencié con NVIDIA Jetson Orin Nano. El droide puede realizar detección de objetos de IA, mover su cabeza hacia los objetos y más. También verás otros proyectos de droides en los que he trabajado.

Publicación de NVIDIA Developer: https://blogs.nvidia.com/blog/2023/08/03/goran-vuksic-pit-droid/

Proyecto en Hackster: https://www.hackster.io/gvuksic/nvidia-jetson-orin-nano-powered-pit-droid-7da0e8

A través de esta sesión, aprenderás:

- cómo se ensambló este robot,

- sobre Azure AI Studio y Azure Custom Vision,

- cómo preparar y etiquetar fácilmente imágenes para el entrenamiento del modelo,

- cómo entrenar un modelo para la detección de objetos,

- analizar imágenes de la cámara del robot,

- controlar motores y otros dispositivos IoT conectados al robot,

- y mucho más.

¡Espero que esta sesión te brinde una gran introducción a la IA y IoT, e inspire a construir proyectos similares por tu cuenta!

This talk has been presented at C3 Dev Festival 2024, check out the latest edition of this Tech Conference.

Goran Vuksic
Goran Vuksic
28 min
15 Jun, 2024

Comments

Sign in or register to post your comment.
Video Summary and Transcription
El 25 de mayo de 1977, la primera película de Star Wars inspiró a generaciones con sus viajes espaciales y peleas de sables de luz. Goran Vukicic construyó réplicas del P-Droid y encontró una comunidad de diseñadores que venden diseños en 3D para imprimir. Llevar el droide a una conferencia es desafiante pero gratificante. El NVIDIA Jetson Ori Nano es un dispositivo potente para ejecutar modelos de IA. Construir droides de Star Wars en casa es posible con desarrollo de código abierto.

1. Introducción a los Droides y P-Droid

Short description:

El 25 de mayo de 1977, la primera película de Star Wars inspiró a generaciones con sus viajes espaciales y peleas de sables de luz. Los droides, pequeños robots inteligentes, siempre me han fascinado. Hoy en día, la tecnología nos permite construir los nuestros propios. Soy Goran Vukicic, cofundador de Synthetic AI Data y Microsoft AI MVP. Hablemos sobre P-Droid, un droide barato y desechable de Star Wars Episodio 1. Puede plegarse en una forma compacta y fue diseñado para mantener los podracers. Construí réplicas y encontré una comunidad de diseñadores que venden diseños en 3D para imprimir.

El 25 de mayo de 1977, tres años antes de que yo naciera, se estrenó la primera película de Star Wars en el cine. Y desde entonces, ha sido una inspiración para muchas generaciones debido a los viajes espaciales y las peleas de sables de luz. Pero una cosa interesante son los droides. Esos pequeños robots que ayudan aquí y allá, la mayoría de ellos son inteligentes de alguna manera, y avanzando hacia este año, esto es algo que la tecnología realmente nos permite construir.

Esto es algo que puedes construir en tu casa, y esta es la forma. Así que, mi nombre es Goran Vukicic. Soy cofundador de Synthetic AI Data. En TI, he trabajado durante 20 años. Principalmente en roles de gestión de TI y similares, pero soy un chico técnico, con formación técnica, y me gusta construir cosas, especialmente cosas relacionadas con AI e IoT. Algunas de ellas las mostraré hoy aquí. Soy Microsoft AI MVP, lo que significa que estoy en el escenario compartiendo mucho mi conocimiento sobre AI. También soy uno de los organizadores de Azure Skona. Azure Skona es la parte sur de la región donde vivo en Malmö, donde organizamos los meetups. Si quieres conectarte, estoy en LinkedIn. Normalmente comparto sobre esos temas de AI e IoT y innovación y cosas que me interesan.

Así que, hablemos sobre P-Droid. Apareció por primera vez en Star Wars Episodio 1. Así es como se ve. Se definen, se explican como un droide barato y desechable diseñado para mantener los podracers, esas naves espaciales con las que hacen carreras, y necesitaban algunos droides baratos que los arreglaran aquí y allá en los pits. Mide 1,19 metros de altura y tiene la capacidad de plegarse en una forma compacta cuando no está en uso. Dicen que fue programado con un sentido de urgencia, como esta lógica mínima evita que realicen tareas complejas, por lo que en la película se ven bastante graciosos porque no pueden hacer cosas complejas, pero algo que también llamó mi atención y por qué decidí embarcarme en esta historia y comenzar a construir.

Así es como se ve. Un artista hizo un 3D diseño, básicamente basado en una película, y puedes verlo aquí y esta capacidad de plegarse en forma compacta. Ese es el P-Droid. Construí varios droides, como réplicas. Anteriormente usaba Legos y algunas otras cosas, pero me di cuenta de que, bueno, esto es bastante con Legos, especialmente desarmándose, así que necesitas pegarlo y hacer cosas así. En algún lugar del camino, en la red social más famosa, Facebook, de repente apareció este grupo, DroidVision, y en ese momento no sabía en qué me estaba metiendo cuando hice clic en él. Así que encontré a este chico, David Mook, que es un diseñador de STL. Dirige este DroidVision, vendiendo esos diseños 3D en Etsy. Si los compras, no los compartas, creo que se merecen una cerveza por el increíble trabajo que hacen, porque están recreando esos droides y permitiendo que otras personas los impriman para vender esos diseños, por solo unos pocos dólares.

2. Construyendo el P-Droid

Short description:

Hay un club de impresión completo donde las personas comparten ideas y hacen preguntas. Vi un video de un P-Droid impreso en 3D y decidí darle vida. Pedí las piezas y compré una impresora 3D. Ensamblar el droide fue divertido pero también estresante. Me aseguré de que los componentes encajaran en la cabeza, incluyendo luces, un relé Arduino, una cámara web, servidores para el movimiento y un NVIDIA Jetson para IA. El proceso involucró enviar piezas para imprimir, usar equipo de protección y pintar. Lentamente, ensamblé el droide pieza por pieza hasta que estuvo completo. La primera prueba fue exitosa.

Hay un club de impresión completo donde mucha gente como yo va hoy en día, comparte ideas, hace preguntas y cosas así. Así que vi este video del P-Droid. Este es un P-Droid impreso en 3D, cómo se ve, cómo se ensambla. Se me ocurrió, sí, tal vez podría imprimir esto en 3D y darle vida. En ese momento, no tenía la impresora 3D, así que decidí comprar el servicio en línea. También, fan de Star Wars, Irma Twano. Pedí las piezas, más tarde compré la impresora 3D y descubrí que es, sí, muy divertido hacerlo, pero un nivel completamente nuevo de estrés para obtener algo impreso correctamente. Si alguna vez lo has intentado, sabes de qué estoy hablando. Así que todo comenzó básicamente aquí, obteniendo las piezas.

Y lo primero, quería asegurarme de que mi idea encajaría en la cabeza del droide, ¿verdad? Porque en la cabeza hay esas luces que se encienden y apagan. Debería caber un relé Arduino, que es como un interruptor para las luces. Debería caber una cámara web frente a las luces para poder hacer la visión por computadora. Dos servidores para mover la cabeza hacia la izquierda y hacia la derecha, arriba y abajo. Y también el NVIDIA Jetson, Ori Nano, como cerebro del droide. Como dijimos en la película, no eran realmente inteligentes con esto. En el Jetson podemos ejecutar modelos de IA en el borde, lo cual es muy divertido y realmente puedes hacer que esos droides sean inteligentes. Te mostraré cómo.

Así que comenzó el proceso. Enviar, créeme, no es divertido. Puedes intentar hacerlo manualmente, pero llevará siglos. Así que necesitas comprar una máquina y hacerlo más rápido. Es un plástico muy pequeño que podrías inhalar, así que necesitas usar protección para los ojos, para la boca, para no inhalarlo, etc. Pintar, sí, es un completo desastre si vives en un apartamento. Tuve una conversación con mi casero sobre por qué el suelo del sótano está, sí, en muchos colores diferentes, principalmente blanco y rojo. Pero lentamente, siguiendo el proceso, comencé a ensamblar pieza por pieza el droide. Empecé con las piernas, luego agregué el torso, agregué los brazos, formando todo el cuerpo. Y luego la cabeza. Y básicamente, así es como se veía cuando lo ensamblé, con todos los componentes electrónicos en la cabeza. Y cuando hice la primera prueba, el droide encendió las luces y comenzó a moverse. ¿Verdad? Así fue el Hola Mundo.

QnA

Check out more articles and videos

We constantly think of articles and videos that might spark Git people interest / skill us up or help building a stellar career

No resuelvas problemas, elimínalos
React Advanced 2021React Advanced 2021
39 min
No resuelvas problemas, elimínalos
Top Content
Kent C. Dodds discusses the concept of problem elimination rather than just problem-solving. He introduces the idea of a problem tree and the importance of avoiding creating solutions prematurely. Kent uses examples like Tesla's electric engine and Remix framework to illustrate the benefits of problem elimination. He emphasizes the value of trade-offs and taking the easier path, as well as the need to constantly re-evaluate and change approaches to eliminate problems.
Uso efectivo de useEffect
React Advanced 2022React Advanced 2022
30 min
Uso efectivo de useEffect
Top Content
Today's Talk explores the use of the useEffect hook in React development, covering topics such as fetching data, handling race conditions and cleanup, and optimizing performance. It also discusses the correct use of useEffect in React 18, the distinction between Activity Effects and Action Effects, and the potential misuse of useEffect. The Talk highlights the benefits of using useQuery or SWR for data fetching, the problems with using useEffect for initializing global singletons, and the use of state machines for handling effects. The speaker also recommends exploring the beta React docs and using tools like the stately.ai editor for visualizing state machines.
Sistemas de Diseño: Caminando la Línea Entre Flexibilidad y Consistencia
React Advanced 2021React Advanced 2021
47 min
Sistemas de Diseño: Caminando la Línea Entre Flexibilidad y Consistencia
Top Content
The Talk discusses the balance between flexibility and consistency in design systems. It explores the API design of the ActionList component and the customization options it offers. The use of component-based APIs and composability is emphasized for flexibility and customization. The Talk also touches on the ActionMenu component and the concept of building for people. The Q&A session covers topics such as component inclusion in design systems, API complexity, and the decision between creating a custom design system or using a component library.
Concurrencia en React, Explicada
React Summit 2023React Summit 2023
23 min
Concurrencia en React, Explicada
Top Content
React 18's concurrent rendering, specifically the useTransition hook, optimizes app performance by allowing non-urgent updates to be processed without freezing the UI. However, there are drawbacks such as longer processing time for non-urgent updates and increased CPU usage. The useTransition hook works similarly to throttling or bouncing, making it useful for addressing performance issues caused by multiple small components. Libraries like React Query may require the use of alternative APIs to handle urgent and non-urgent updates effectively.
Gestión del Estado de React: 10 Años de Lecciones Aprendidas
React Day Berlin 2023React Day Berlin 2023
16 min
Gestión del Estado de React: 10 Años de Lecciones Aprendidas
Top Content
This Talk focuses on effective React state management and lessons learned over the past 10 years. Key points include separating related state, utilizing UseReducer for protecting state and updating multiple pieces of state simultaneously, avoiding unnecessary state syncing with useEffect, using abstractions like React Query or SWR for fetching data, simplifying state management with custom hooks, and leveraging refs and third-party libraries for managing state. Additional resources and services are also provided for further learning and support.
TypeScript y React: Secretos de un matrimonio feliz
React Advanced 2022React Advanced 2022
21 min
TypeScript y React: Secretos de un matrimonio feliz
Top Content
React and TypeScript have a strong relationship, with TypeScript offering benefits like better type checking and contract enforcement. Failing early and failing hard is important in software development to catch errors and debug effectively. TypeScript provides early detection of errors and ensures data accuracy in components and hooks. It offers superior type safety but can become complex as the codebase grows. Using union types in props can resolve errors and address dependencies. Dynamic communication and type contracts can be achieved through generics. Understanding React's built-in types and hooks like useState and useRef is crucial for leveraging their functionality.

Workshops on related topic

Masterclass de Depuración de Rendimiento de React
React Summit 2023React Summit 2023
170 min
Masterclass de Depuración de Rendimiento de React
Top Content
Featured WorkshopFree
Ivan Akulov
Ivan Akulov
Los primeros intentos de Ivan en la depuración de rendimiento fueron caóticos. Vería una interacción lenta, intentaría una optimización aleatoria, vería que no ayudaba, y seguiría intentando otras optimizaciones hasta que encontraba la correcta (o se rendía).
En aquel entonces, Ivan no sabía cómo usar bien las herramientas de rendimiento. Haría una grabación en Chrome DevTools o React Profiler, la examinaría, intentaría hacer clic en cosas aleatorias, y luego la cerraría frustrado unos minutos después. Ahora, Ivan sabe exactamente dónde y qué buscar. Y en esta masterclass, Ivan te enseñará eso también.
Así es como va a funcionar. Tomaremos una aplicación lenta → la depuraremos (usando herramientas como Chrome DevTools, React Profiler, y why-did-you-render) → identificaremos el cuello de botella → y luego repetiremos, varias veces más. No hablaremos de las soluciones (en el 90% de los casos, es simplemente el viejo y regular useMemo() o memo()). Pero hablaremos de todo lo que viene antes - y aprenderemos a analizar cualquier problema de rendimiento de React, paso a paso.
(Nota: Esta masterclass es más adecuada para ingenieros que ya están familiarizados con cómo funcionan useMemo() y memo() - pero quieren mejorar en el uso de las herramientas de rendimiento alrededor de React. Además, estaremos cubriendo el rendimiento de la interacción, no la velocidad de carga, por lo que no escucharás una palabra sobre Lighthouse 🤐)
Consejos sobre React Hooks que solo los profesionales conocen
React Summit Remote Edition 2021React Summit Remote Edition 2021
177 min
Consejos sobre React Hooks que solo los profesionales conocen
Top Content
Featured Workshop
Maurice de Beijer
Maurice de Beijer
La adición de la API de hooks a React fue un cambio bastante importante. Antes de los hooks, la mayoría de los componentos tenían que ser basados en clases. Ahora, con los hooks, estos son a menudo componentes funcionales mucho más simples. Los hooks pueden ser realmente simples de usar. Casi engañosamente simples. Porque todavía hay muchas formas en las que puedes equivocarte con los hooks. Y a menudo resulta que hay muchas formas en las que puedes mejorar tus componentes con una mejor comprensión de cómo se puede usar cada hook de React.Aprenderás todo sobre los pros y los contras de los diversos hooks. Aprenderás cuándo usar useState() versus useReducer(). Veremos cómo usar useContext() de manera eficiente. Verás cuándo usar useLayoutEffect() y cuándo useEffect() es mejor.
React, TypeScript y TDD
React Advanced 2021React Advanced 2021
174 min
React, TypeScript y TDD
Top Content
Featured WorkshopFree
Paul Everitt
Paul Everitt
ReactJS es extremadamente popular y, por lo tanto, ampliamente soportado. TypeScript está ganando popularidad y, por lo tanto, cada vez más soportado.

¿Los dos juntos? No tanto. Dado que ambos cambian rápidamente, es difícil encontrar materiales de aprendizaje precisos.

¿React+TypeScript, con los IDEs de JetBrains? Esa combinación de tres partes es el tema de esta serie. Mostraremos un poco sobre mucho. Es decir, los pasos clave para ser productivo, en el IDE, para proyectos de React utilizando TypeScript. En el camino, mostraremos el desarrollo guiado por pruebas y enfatizaremos consejos y trucos en el IDE.
Domina los Patrones de JavaScript
JSNation 2024JSNation 2024
145 min
Domina los Patrones de JavaScript
Top Content
Featured Workshop
Adrian Hajdin
Adrian Hajdin
Durante esta masterclass, los participantes revisarán los patrones esenciales de JavaScript que todo desarrollador debería conocer. A través de ejercicios prácticos, ejemplos del mundo real y discusiones interactivas, los asistentes profundizarán su comprensión de las mejores prácticas para organizar el código, resolver desafíos comunes y diseñar arquitecturas escalables. Al final de la masterclass, los participantes ganarán una nueva confianza en su capacidad para escribir código JavaScript de alta calidad que resista el paso del tiempo.
Puntos Cubiertos:
1. Introducción a los Patrones de JavaScript2. Patrones Fundamentales3. Patrones de Creación de Objetos4. Patrones de Comportamiento5. Patrones Arquitectónicos6. Ejercicios Prácticos y Estudios de Caso
Cómo Ayudará a los Desarrolladores:
- Obtener una comprensión profunda de los patrones de JavaScript y sus aplicaciones en escenarios del mundo real- Aprender las mejores prácticas para organizar el código, resolver desafíos comunes y diseñar arquitecturas escalables- Mejorar las habilidades de resolución de problemas y la legibilidad del código- Mejorar la colaboración y la comunicación dentro de los equipos de desarrollo- Acelerar el crecimiento de la carrera y las oportunidades de avance en la industria del software
Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
React Summit 2023React Summit 2023
151 min
Diseñando Pruebas Efectivas con la Biblioteca de Pruebas de React
Top Content
Featured Workshop
Josh Justice
Josh Justice
La Biblioteca de Pruebas de React es un gran marco para las pruebas de componentes de React porque responde muchas preguntas por ti, por lo que no necesitas preocuparte por esas preguntas. Pero eso no significa que las pruebas sean fáciles. Todavía hay muchas preguntas que tienes que resolver por ti mismo: ¿Cuántas pruebas de componentes debes escribir vs pruebas de extremo a extremo o pruebas de unidad de nivel inferior? ¿Cómo puedes probar una cierta línea de código que es difícil de probar? ¿Y qué se supone que debes hacer con esa persistente advertencia de act()?
En esta masterclass de tres horas, presentaremos la Biblioteca de Pruebas de React junto con un modelo mental de cómo pensar en el diseño de tus pruebas de componentes. Este modelo mental te ayudará a ver cómo probar cada bit de lógica, si debes o no simular dependencias, y ayudará a mejorar el diseño de tus componentes. Te irás con las herramientas, técnicas y principios que necesitas para implementar pruebas de componentes de bajo costo y alto valor.
Tabla de contenidos- Los diferentes tipos de pruebas de aplicaciones de React, y dónde encajan las pruebas de componentes- Un modelo mental para pensar en las entradas y salidas de los componentes que pruebas- Opciones para seleccionar elementos DOM para verificar e interactuar con ellos- El valor de los mocks y por qué no deben evitarse- Los desafíos con la asincronía en las pruebas de RTL y cómo manejarlos
Requisitos previos- Familiaridad con la construcción de aplicaciones con React- Experiencia básica escribiendo pruebas automatizadas con Jest u otro marco de pruebas unitarias- No necesitas ninguna experiencia con la Biblioteca de Pruebas de React- Configuración de la máquina: Node LTS, Yarn
IA a demanda: IA sin servidor
DevOps.js Conf 2024DevOps.js Conf 2024
163 min
IA a demanda: IA sin servidor
Top Content
Featured WorkshopFree
Nathan Disidore
Nathan Disidore
En esta masterclass, discutimos los méritos de la arquitectura sin servidor y cómo se puede aplicar al espacio de la IA. Exploraremos opciones para construir aplicaciones RAG sin servidor para un enfoque más lambda-esque a la IA. A continuación, nos pondremos manos a la obra y construiremos una aplicación CRUD de muestra que te permite almacenar información y consultarla utilizando un LLM con Workers AI, Vectorize, D1 y Cloudflare Workers.