Vemos, por ejemplo, que al desplazarse hacia abajo en los resultados, tuvimos algunos problemas de rendimiento masivos, el hilo de JS promediando, ya sabes, mucho uso de CPU. Así que aquí la herramienta solo nos está diciendo, oh, deberías considerar usar React DevTools para depurar. Claro. Además, dado que es una vista desplazable, solo nos está diciendo, bueno, ya sabes, React Native, probablemente deberías usar FlashList en lugar de FlatList. Así que, en general, conseguimos que la AI explorara automáticamente, se equivocó un poco al dar me gusta a la imagen, pero al final obtenemos una auditoría de rendimiento automatizada de nuestra aplicación.
Así que volviendo a las diapositivas, tenía algunos videos preparados por si todo salía mal. Ahí lo tienes. Así que solo quiero hablar sobre cómo funciona. Básicamente, ya sabes, probablemente has usado chatgbt copilot en, bueno, probablemente lo estés usando. Vamos. Pero también puedes usar, por supuesto, las APIs de OpenAI o cualquier otro modelo, pero he usado OpenAI para esto. Y lo genial de OpenAI es que envías básicamente un array de mensajes a la API y responde con algo. Lo que realmente no sabía es que puedes obtener una respuesta diciéndole a la AI que llame a una función JS que escribas, lo cual es bastante genial. Básicamente, pasas un esquema JSON describiendo las funciones que quieres que la AI llame y puedes básicamente mejorar la AI con capacidades.
Así que, por ejemplo, tengo una función llamada tap, función llamada scroll, función llamada type que implementé yo mismo para interactuar con el teléfono, y le pedí a la AI, oye, explora la aplicación, llama a una de esas. Y así, al principio, esencialmente, si tenemos nuestra pantalla de inicio de sesión, por ejemplo, con los dos campos llenos, imprimo una jerarquía de la vista, lo cual puedes hacer bastante fácilmente en Android, también podría tomar capturas de pantalla, pero elijo hacer eso porque era un poco más simple. Y tengo los límites de la vista, por ejemplo, para el botón de inicio de sesión, sé que es clicable. Conozco la etiqueta de accesibilidad, que es inicio de sesión, porque, bueno, el texto es inicio de sesión. Y así envío eso a la AI. Digo, bueno, estos son tus objetivos. Así que, ¿qué quieres hacer? Y así la AI simplemente dice, OK, necesito hacer clic en el botón de inicio de sesión. Así que solo debería tocar en esas coordenadas. Y luego repetimos hasta que la AI haya cumplido su objetivo. Así que bastante simple en sí mismo. Y solo para mostrar que es realmente poderosa y realmente fácil de usar, como las APIs de OpenAI, puedes hacer muchas cosas realmente geniales.
Bueno, es difícil hablar de AI sin hablar de alucinaciones, sin embargo. Así que solo voy a hablar sobre algunos problemas complicados con los que tuve que lidiar. Por ejemplo, me pasó que, ya sabes, estaba mejorando diciéndole a la AI, ya sabes, llama a tap, scroll o type. Y la AI estaba como, llamaré a la función llamada input text, que, por supuesto, no existe. Pero, ya sabes, como estás hablando con una AI como cat GPT, básicamente, estás gestionando el área de mensajes tú mismo, puedes simplemente añadir un mensaje diciendo, ya sabes, eso no existe.
Comments