OK, ahora hay una pregunta que tiene tantos votos. Así que vamos por esta. ¿Cómo se aseguran de que una API exclusiva de Chrome funcione para asegurarse de que también funcione en otros navegadores? No queremos que los navegadores registren APIs. Sí, así que yo tampoco. Así que primero, por supuesto, lo mencioné antes. Ahora también está comenzando a aterrizar en Edge. Tenemos muchas conversaciones con el equipo de Mozilla, con el equipo de Safari, pidiéndoles que se unan a la conversación desde el principio para obtener sus opiniones sobre qué piensan sobre esas APIs. ¿Cómo podemos ponerlas en una pista de estándares? Así que todo está funcionando en abierto, así que hay un rastro de papel de todos esos diferentes pasos donde preguntamos en los repositorios de posiciones de estándares cuáles son las opiniones de los otros proveedores de navegadores. Y sí, así que al final, por supuesto, incluso dentro de Chrome, así que en Chrome Android, hoy no puedes usar esas APIs porque Android aún no soporta ejecutar el modelo. Nuestra respuesta hasta ahora es un SDK de lógica de AI de Firebase, donde esencialmente si el modelo es compatible localmente, usará el modelo local, o de lo contrario, se ejecutará en el servidor, lo que obviamente viene con diferenciación de privacidad. Así que si antes tu presentación era que todo se procesa localmente, por supuesto, cuando vas al servidor, sí, esto puede tener un impacto si aún puedes ejecutar tu aplicación con eso. Por supuesto, nuestro objetivo es al final hacer que las APIs funcionen en todas nuestras plataformas, incluyendo Android, incluyendo Chrome OS. Así que funciona en macOS, Linux y Windows. Y sí, así que como dije, es nuestro objetivo. Mi objetivo personal, siempre les digo a las personas que no estoy haciendo tanto el aplazamiento de Chrome, estoy haciendo el aplazamiento web. Así que espero que esto se convierta en una API interoperable relativamente pronto. Bien. Es bueno escuchar eso.
OK, así que la siguiente pregunta es, ¿qué tipo de sacrificios tienen que hacerse en términos de rendimiento en estos modelos en el dispositivo? ¿Podemos esperar poder ejecutar estos en dispositivos móviles sin ESus en algún momento? Así que sí, los modelos son relativamente grandes. Así que son 4.39 gigabytes en disco, lo que significa que requiere un mínimo de 6 gigabytes de RAM, RAM de GPU, para poder ejecutarse. Hay un enfoque llamado salida temprana, donde esencialmente tienes diferentes capas del LLM. Y si el modelo determina que tiene una respuesta lo suficientemente buena, puede salir temprano, lo que significa que es menos costoso computacionalmente. Así que hay algo de trabajo para hacerlo posible en móviles también para que puedas simplemente salir temprano, obtener un poco menos de calidad en comparación con si tuvieras que pasar por todas las capas. Pero eventualmente, las canalizaciones mejoran. Los modelos mejoran. Los dispositivos lentamente mejoran. Así que conozco a Alex, y tiene toda la razón, pasará mucho, mucho tiempo hasta que esto sea ejecutable en un, ¿cuál era el precio? , $250, creo, era el costo promedio del teléfono móvil o algo así. Así que pasará mucho tiempo hasta que lleguemos a esos dispositivos. Pero para esos dispositivos, el SDK de Firebase está ahí, y aún puedes usar la nube. OK, OK.
Comments