React Native AI: Llevando LLMs en el dispositivo con AI SDK a React Native

Hola a todos, es realmente agradable estar aquí hoy en Londres. Gracias Git Nation por invitarme. Y hoy voy a hablar sobre React Native AI, una biblioteca para ejecutar modelos en el dispositivo en React Native. Y aquí me gustaría preguntarles, ¿quién ha jugado alguna vez con React Native o quién trabaja con React Native? Por favor, levanten la mano. Oh, eso es bastante gente. No lo esperaba. ¿Y quién aquí ha jugado con AI SDK de Brasil? Por favor, también levanten la mano. Bien. Así que menos que React Native. Estoy realmente sorprendido.

Muy bien. Así que hoy intentaremos conectar AI SDK con React Native y veremos qué surge. Pero antes de comenzar, permítanme presentarme. Mi nombre es Szymon Rybczak. Soy un desarrollador senior de React Native. En Callstack, tengo 19 años. He creado muchas bibliotecas de React Native. React Native AI es una de ellas. Publico muchas cosas en Twitter, en X. Así que si les gusta el contenido de React Native, por favor síganme allí.

Y sí, como saben, pueden ejecutar AI en dos lugares. Por supuesto, pueden ejecutar AI en la nube. Y es ahí donde se infieren la mayoría de los modelos de alto rendimiento. No sé, Gemini 3, cada modelo se infiere allí porque la nube tiene mucho poder de cómputo, etcétera. Pero en realidad, también pueden ejecutar AI en el dispositivo. Y los dispositivos que llevamos, todos llevamos en los bolsillos, son realmente poderosos. Y hace algún tiempo, el verano pasado, me preguntaba, ¿es posible ejecutar AI en el dispositivo móvil? Saben, durante los últimos cuatro o cinco años, he estado haciendo todo tipo de aplicaciones móviles en SwiftUI, en React Native, y realmente me encanta jugar con buenas aplicaciones móviles. Y por supuesto, soy un desarrollador de React Native. Así que pensé, ¿es posible ejecutar AI en el dispositivo en React Native? Y después de mirar las estadísticas de algunos de los últimos iPhones, como hace dos años, las estadísticas son realmente buenas. Como en el núcleo único, de hecho, el iPhone 15 Pro tiene el mismo rendimiento que algunos iPad Air.

Realmente me mostró que los dispositivos que llevamos en los bolsillos son realmente poderosos. Y otro tipo de punto de inspiración fue este tweet del CEO de Vercel, Guillermo Rauch, quien tuiteó sobre una nueva iniciativa, iniciativa experimental en Google Chrome, que Google Chrome ahora enviará algún modelo Gemini, 2 gigabytes, y todos podrán acceder en Google Chrome. Así que si hay una conexión a internet baja, pero conexión a internet, o estamos sin conexión, habrá la posibilidad de jugar con él, hacer algunas preguntas y usarlo tal vez como un respaldo. Y fue realmente bueno. Fue súper rápido. Y he jugado con él en mi Mac, y fue súper bueno.

Así que comencé a investigar este tema. Y cuando abrí el código fuente de este Chrome Window AI, aprendí sobre los proveedores en AISDK. Y la idea de los proveedores es que AISDK contiene muchas funciones como transmitir texto, generar texto. Y básicamente el proveedor es una implementación. Así que tienes una API, una API unificada. Y para, no sé, Antropic, Gemini, OpenAI APIs, simplemente creas proveedores. Hay algunos proveedores originales como creados por el equipo de Vercel o proveedores de la comunidad. Y todos pueden crear uno.

El esquema es público y solo necesitas crearlo y puedes conectarlo bajo generar texto, transmitir texto y todo tipo de funciones de AISDK. Así que pensé, hmm, vamos a crear uno. Y realmente me encanta Vercel AISDK. Y si no has jugado con él, realmente te animo a hacerlo. Porque esta es la cantidad de código que necesitas para conectar el modelo de AI con React Native AI. Esa era la idea en ese entonces. Y importas la función de generar texto o transmitir texto del paquete de AI. Luego lo llamas, pasas el modelo y pasas el prompt, probablemente algún historial de mensajes y algunas otras propiedades de configuración.

Y pensé que sería realmente genial hacerlo. Y solo necesitas reemplazar dos líneas de tus implementaciones en la web para usar la implementación de React Native AI. Y estaba seguro de que lo quería en el sitio JS, en el sitio TypeScript. Pero tenía que encontrar una manera de realmente potenciarlo, de tener un motor que entregue las respuestas y ejecute la inferencia en Android, en iOS y cualquier otra plataforma que React Native soporte.

Así que encontré este motor llamado MLCLM. Y es un proyecto realmente genial porque es un motor universal. Así que es la misma idea que React. Tienes un código y puedes ejecutarlo básicamente en todas partes en múltiples plataformas. Y aquí tienes un modelo y también puedes ejecutarlo en múltiples plataformas. Así que pensé, está bien, vamos a hackear. Realmente me encanta la vibra de que aquí tenemos React universal y aquí tenemos como un motor universal. Vamos a conectar estas dos piezas.

Y por supuesto, me tomó un poco más de tiempo de lo esperado crear alguna prueba de concepto. Pero después de algún tiempo, unas cuantas noches más largas, he creado la primera demo de ejecución de LLMs en dispositivo en React Native. Y aquí está la demo pregrabada. Así que elijo el modelo. El modelo se descarga ahora mismo de una red. Necesitamos descargar el modelo una vez. Y luego se guarda como caché. Y ahora activaré el modo avión. No tengo acceso a conexión a internet. Y puedo hacer algunas preguntas. ¿Qué es React Native? Y después de unos segundos, el flujo aparecerá. Y todo está ejecutándose en el dispositivo.

Está ejecutándose en iPhone 15 Pro. Y realmente me sorprendió su rendimiento. Y no necesito conexión a internet. Puedo hacer cualquier pregunta que quiera. Y funcionó. Y fue genial. Pero requería una cosa. Requería que cada usuario ahora cargara un modelo de varios gigabytes. Y eso no era lo mejor.

Así que cuando miramos el gráfico que presenté al comienzo de mi charla, en realidad los modelos en dispositivo, hay dos partes de la IA en dispositivo. Hay modelos de terceros que descargas de la red. Y estos pueden ser para múltiples propósitos. Pero cada usuario necesita descargarlo. No puedes empaquetarlo en la tienda de aplicaciones porque la aplicación sería muy grande. Y eso no es una buena práctica en general.

Pero siempre soñé con modelos integrados en el dispositivo. Así que imagina que iOS o Android enviaran el modelo con el sistema operativo en sí. Así que todos lo tendrían. Todos tendrían el mismo modelo y podríamos usarlo todos. Y eso siempre fue como un sueño cuando trabajaba en este tema durante bastante tiempo. Y sí, este año, WWDC 2025 en junio, Apple anunció la cosa. Apple anunció Foundation Models Framework. Así que una forma de ejecutar LLM en dispositivo creado por Apple en iOS, en MacOS, en iPadOS.

Y realmente estaba emocionado por esto. Y como de costumbre, estaba viendo el WWDC con mis colegas de Caustic. También estamos haciendo algunas publicaciones de guarnición. Y ya sabes, estamos haciendo bromas sobre Flutter porque somos React Native. He tuiteado sobre, ya sabes, siempre tenemos este tipo de competencia. Quién traerá la nueva API a React Native. Nueva API nativa a React Native. Así que será accesible. Y lo he tuiteado después de verlo en la conferencia.

Y comencé, ya sabes, a cocinar. Comencé a jugar con ello. Y de hecho, después de una noche muy larga, el mismo día, logré conectar Apple Foundation Model. Tuve que actualizar Xcode. Fue súper experimental. Me arrepentí en algunas partes de esta decisión, pero valió la pena. Así que aquí hay una demostración de la ejecución de Apple Foundation Model, el Apple LLM con React Native AI en React Native, y el rendimiento es súper genial.

Así que aquí tengo la función de generar texto. Obtengo el Apple Model con la función auxiliar de React Native AI. Y en el lado derecho, tengo mi iPhone 15 Pro. Enciendo el modo avión. Aquí hay un hecho importante. No necesito descargar el modelo. El modelo se envía con el sistema operativo. Y ni siquiera tengo streaming en este momento, en ese entonces no tenía. Y es súper, súper rápido. E incluso con streaming. Ahora mismo, soportamos streaming, por supuesto. Responde súper genial. Y sí, estábamos realmente emocionados por ello. Y sí, las respuestas realmente tienen sentido.

Y fue realmente agradable para nosotros ver que Apple también está invirtiendo en ello. Y sí, publiqué la demostración en Twitter, por supuesto. Y la gente preguntó, está bien, genial. ¿Puedes mostrar el código? Por supuesto. Y este es el código que necesitas para ejecutarlo en React Native. Y es tan genial. Como que estamos realmente orgullosos de este código, ¿sabes?

Así que, gracias a Vercel SDK y React Native AI Apple package. Solo necesitas pasar el proveedor, llamar a la función, y tienes los resultados. Luego lo conectas a tu código de UI, en tu aplicación de chat, o donde quieras. Pasa la herramienta, llamadas, lo que quieras. Y a la gente realmente le encanta en Twitter.

Como Jared Palmer, que ahora está en Microsoft, trabajando en VS Code y Copilot. CEO de Vercel en modelos de Apple en el dispositivo con AI SDK. Y lo hemos lanzado en menos de 24 horas. Aquí hay un tweet de Mike, nuestro CTO. Y realmente nos mostró la velocidad de iteración con React Native AI y todo tipo de funciones auxiliares y ecosistema que hemos construido alrededor de LLMs en el dispositivo. Y lo hemos lanzado después de algún tiempo. Hemos limpiado el código, por supuesto.

Y ahora mismo, soportamos muchas cosas. Soportamos salidas estructuradas. Por supuesto, tenemos soporte de primera clase para Vercel ASDK. Y después de algún tiempo, también somos mencionados en la documentación de Vercel ASDK. Así que, somos un proveedor oficial de la comunidad. Generación de texto, streaming, llamadas de herramientas. Eso es realmente poderoso, porque puedes crear algunas llamadas de herramientas. Y, por ejemplo, crear una herramienta llamada Crear Evento de Calendario. Y preguntarás, sin conexión a internet, ¿podrías por favor crear un evento de calendario hoy para la fiesta posterior? Y accederá a las APIs nativas para el calendario. Y creará el evento en tu calendario sin conexión a internet. Embeddings y transcripción. Así que, también soportamos TTS y STT.

Y sí, aquí está... Estoy realmente orgulloso de que esté integrado con ASDK. Es un software realmente genial. Si no lo has probado, una vez más, realmente te animo a jugar con él. Y sí, por favor, dale una estrella al repositorio si quieres jugar con React Native AI. Realmente esperamos tener algunos usuarios. Por favor, presenta un problema si tienes algunos problemas con la biblioteca o preguntas. Básicamente hemos alcanzado 1k estrellas.

Y sí, no nos detendremos, y estaremos lanzando más proveedores para modelos en el dispositivo. Y eso será todo. Muchas gracias. ¿Hay alguna noticia sobre modelos integrados en Android? Sí, de hecho las hay. Google Pixel 9 Pro de hecho lo lanzó. Y como cada nuevo Google Pixel que lanzamos, hemos lanzado modelos Gemini. Así que sí, ya estamos tratando de integrarnos con él y proporcionaremos soporte oficial en React Native AI. Genial.

Eso suena bien. ¿Y qué tipo de implementaciones en la vida real ves para esto en aplicaciones móviles y herramientas reales? Privacidad. La privacidad es algo importante. No estás enviando ningún dato a la nube. No lo estás compartiendo con nadie. Así que, si tienes alguna información privada, también puedes acceder a esto sin conexión. Así que, privacidad, necesidades sin conexión. Y sí, ya hemos escuchado ejemplos de aplicaciones de salud integrando donde puedes subir tus PDFs, algunos resultados de tu médico o lo que sea, y subirlo y el modelo en el dispositivo puede leerlo, puede analizarlo, y puede tener algún resumen o cualquier caso de uso. Así que, esto es lo que estamos viendo.

Perfecto. ¿Y hay alguna... Espera. ¿No acabo de preguntar eso? Espera un segundo. Está bien. De acuerdo. ¿Funciona esto en simuladores? Sí. De hecho, sí. Si tienes macOS 26 y habilitas Apple Intelligence, también puedes jugar en simuladores en el lado de iOS. Y en el lado de Android, necesitas tener el Pixel 9 Pro físico. Genial.

¿Hay alguna noticia sobre modelos integrados en Android? Sí. Ya preguntaste eso. Estaba como, ¿me estoy volviendo loco? Todo está bien. Sí, habrá. De acuerdo, perfecto.

Bien, ¿se puede entrenar el LLM si solo se usa sin conexión? ¿Es esto tan efectivo como se ve en los modelos en línea? Entonces, por supuesto, los modelos sin conexión no son tan poderosos como los que están ejecutándose en la nube. Y esto es un compromiso. Y hay algunos pros y contras en esto. Como mencioné, como la privacidad, es súper, súper rápido. No necesitamos tener conexión a internet. Así que, como siempre, usa la herramienta adecuada para la tarea. Genial.

Alguien quiere saber más sobre ti. ¿Cuál es tu rol diario y en qué estás trabajando ahora mismo? Sí. Entonces, soy Senior React Native Developer en ColdStack, y construimos todo tipo de soluciones de React y React Native. Durante los últimos meses, estuve trabajando en una de las aplicaciones de React Native, haciendo text-to-app con AI. Y fue lanzada recientemente, y fue una experiencia increíble de construir. Y es una experiencia increíble ver, como, muchas aplicaciones de AI usando React Native y convirtiéndose, como, en las 10 mejores aplicaciones en App Store. Así que estuve haciendo eso durante los últimos meses. Y aparte de eso, estamos haciendo muchos proyectos de código abierto, React Native AI, frameworks de React Native, y cosas nuevas geniales. Suena emocionante.

¿Con qué frecuencia se actualizan los modelos? En realidad, esa es una gran pregunta. Como, Apple lo está actualizando constantemente. No estoy al tanto de ningún registro de cambios si no lo están compartiendo públicamente. Pero hemos presentado muchos problemas en el foro de Apple que, ya sabes, como, la llamada de herramientas no estaba funcionando perfectamente y ellos realmente están, ya sabes, implementando correcciones y mejorándolas. Así que están trabajando constantemente. Y con, como, implementar una aplicación, como, agregar soporte para React Native AI Apple en tu aplicación, como, te estás suscribiendo a actualizaciones de por vida de Apple. Porque, como, si comienzan a enviar su LLM con nuevos dispositivos, vendrán con mejores LLMs. Y tú, ya sabes, no necesitas hacer nada, como, con esto. Genial.

¿Y podemos implementar RAG con esta biblioteca? Sí. Sí, hay soporte para embeddings. Y depende del motor que estés usando. Pero sí, en general, también hemos agregado soporte para ello. Genial. ¿Y el modelo en el dispositivo se actualiza con los datos del usuario? Si iPhone sabe qué aplicaciones usar y cuándo sugerirlas, etcétera. ¿Podemos usar estos datos de alguna manera no para obtenerlos, sino para fluir con ellos? Hmm, entonces, OK, el modelo en el dispositivo aprende sobre los datos del usuario de otras aplicaciones, ¿verdad? Sí. OK, no estoy seguro si esto es lo que Apple hace internamente. No lo creo, para ser honesto, porque probablemente sería algún tipo de vulnerabilidad invasiva. Pero sí, no estoy seguro. Apple no comparte ninguna información sobre eso. Veremos.

OK, ¿cuáles son las llamadas de herramientas que ya has implementado o probado? ¿Y puedo crear una personalizada? ¿Perdón? Entonces, ¿cuáles son las llamadas de herramientas? Llamadas de herramientas, sí. Entonces, para nuestra aplicación de ejemplo en el repositorio que puedes descargar y probar. Como mencioné, hemos construido este tipo de llamadas de herramientas de calendario. Así que puedes leer tu agenda de hoy. Incluso puedes crear en calendarios. Puedes acceder a cualquier API nativa que sea accesible en iOS o Android. Así que puedes acceder al nivel de batería, puedes acceder a tus notificaciones. Puedes enviar notificaciones, puedes programar alarmas, cualquier API que tengas en el iOS nativo. Y también puedes hacer algunas solicitudes de API, lo que quieras. Puedes ejecutar cualquier código JavaScript allí. Genial.

¿Y el modelo tiene acceso a los datos en el dispositivo? ¿Piensa en fotos, archivos, registro? Sí, si creas una llamada de herramienta adecuada y relevante, como por ejemplo, obtener fotos y el usuario otorga el permiso adecuado, funcionará. Genial. ¿Y puedes proporcionar un prompt de sistema al modelo de Apple Foundation? Sí, adelante. Por supuesto. ¿Oh, puedes? OK. Adelante. Sí, Apple admite un prompt de sistema para llamar a estructuras de salida. Así que realmente trabajaron en esta API en este sitio web. Genial.

¿Es posible entrenar más estos modelos o darles un contexto predefinido para tu caso de uso específico? Para los modelos en el dispositivo, no estoy realmente seguro. Puedes proporcionar prompts de sistema, pero no sé si puedes entrenarlos posteriormente. Si usas un motor personalizado que también soportamos MLCLM, puedes, como si eres una empresa más grande y puedes entrenar tu propio modelo, también puedes usarlo. Y sí, con el motor universal, puedes hacer muchas cosas. Permite mucho más, pero el otro lado de esto es que, como desventaja, los usuarios necesitan descargar este modelo. No se envía con el sistema operativo. Así que si quieres tener un modelo personalizado, entrenado para tus necesidades, necesitas descargarlo y cada usuario necesita descargarlo. Pero si usas el modelo en el dispositivo, se envía con el sistema operativo. OK. ¿Y crees que el LLM en el dispositivo puede tener suficiente capacidad de cómputo para generar imágenes, videos, salidas en 3D? Sí.

Entonces actualmente no soportamos la generación de imágenes, videos para React Native AI, pero he visto muchas demostraciones de como la API de Android, por ejemplo, permite generar imágenes. No estoy seguro sobre videos, pero, ya sabes, como la API actual, como la IA actual que todos usamos es la peor que usaremos, ya que la IA se actualiza frecuentemente y con cada, ya sabes, cada mes hay un nuevo modelo mejor. Cada año hay, ya sabes, un avance en IA. Así que realmente, ya sabes, realmente creo que en los próximos meses habrá una posibilidad de hacer generación de imágenes, generación de videos y todo tipo de cosas. Cosas realmente emocionantes para el futuro.

¿Tienes alguna idea sobre el tamaño de los parámetros para estos modelos de dispositivos y cómo se comparan con otros modelos de código abierto? Sí, hay algunos benchmarks. No recuerdo los números, pero después de jugar con ello y solo usar la aplicación de ejemplo y estamos implementando esta API, es un modelo realmente genial y con, como, este modelo está perfilado así. Estoy hablando principalmente del modelo de Apple que se envía con el OS porque jugué con él la mayoría del tiempo. Está perfilado para los últimos iPhones. Así que utiliza el metal adecuado, la cantidad adecuada de CPU's y GPU y, ya sabes, los ingenieros de Apple pasaron mucho tiempo.

Pero, ya sabes, modelos de propósito general, que también son de código abierto, algunos de ellos no están perfilados para cada dispositivo. Ya sabes, hay modelos generales, por lo que a veces no están usando todos los recursos adecuadamente, no asignando el uso adecuado de memoria y cosas de este tipo. Así que, sí, el modelo de Apple es realmente rápido y es bastante inteligente para el dispositivo. ¿Y qué significa esto para otras aplicaciones de IA? Estoy hablando de Gemini, Jacky P.T., Claude Sonnet, cosas así. Sí, realmente dudo que implementen en el dispositivo. Para ser honesto, ya sabes, Jacky P.T. para jugar con los últimos modelos de open AI, lo mismo para Gemini, lo mismo para cualquier otra aplicación que usemos a diario. Pero realmente veo el caso de uso para en el dispositivo y IA para aplicaciones de privacidad, para aplicaciones offline, por ejemplo.

También puedes usar como, por ejemplo, si alguna aplicación usa como modelos como desde la nube, pero no hay conexión a internet, podemos hacer un fallback a tal vez un modelo un poco peor, pero podemos usar como modelo en el dispositivo. Así que no creo que lo implementen, pero necesitamos como, si hay otros casos de uso para ello. Sí.

¿Y esta biblioteca tiene conciencia de contexto del componente de React Native que se renderiza? Si lo pasas en el sistema desde ellos, entonces sí. ¿Es MLC el único runtime o puedes cambiarlo por MLX o similar? Sí, en realidad, como no soportamos MLX.

Lo hemos investigado. Y la razón es que no lo soportamos porque queríamos tener motores universales al principio. Pero y por eso elegimos el motor MLC LLM. Pero en realidad estamos buscando activamente soportar más motores en la versión de React Native AI. Y MLX es uno de los que estamos considerando. OK, bueno saberlo.