Construyendo Interfaces Controladas por el Cerebro en JavaScript

Hola a todos, gracias por unirse a mí hoy para aprender más sobre cómo construir interfaces controladas por el cerebro usando JavaScript. Antes de sumergirnos en este tema, aquí hay un poco más sobre mí. Mi nombre es Charlie Girard. Soy un desarrollador frontend senior en Netlify. También formo parte del grupo de Expertos en Desarrollo Web de Google. Es un grupo de comunidad patrocinado por Google para desarrolladores que desean devolver a la comunidad de diferentes maneras. También soy el autor de un libro sobre TensorFlow.js para desarrolladores de JavaScript. Sobre todo, paso mucho de mi tiempo personal construyendo e investigando prototipos sobre la interacción humano-computadora, que también se llama HCI. Eso es el estudio del diseño y uso de la tecnología informática centrado en las interfaces entre las personas y las computadoras. Puede involucrar muchas cosas como AR, VR, artes interactivas, machine learning, etc. He estado interesado en esto desde que comencé a aprender a code. A lo largo de los años, mi investigación me ha llevado al tema de hoy. No tiene nada que ver con mi trabajo diario en Netlify, pero espero que esta charla les muestre que pueden usar sus habilidades de JavaScript para muchas cosas diferentes. El enfoque de hoy es nuestro cerebro y cómo usarlo para interactuar directamente con las interfaces usando JavaScript. ¿Cómo podemos obtener data directamente de nuestra actividad cerebral y escribir algo de JavaScript code para usarlo para interactuar con interfaces o dispositivos? ¿Cómo obtenemos incluso estos data de nuestro cerebro? Hacemos esto con la ayuda de sensores cerebrales. Estos son dispositivos que contienen electrodos que colocas en el cuero cabelludo. En contacto con la piel, son capaces de transformar las señales eléctricas que provienen del cerebro en data digital con el que podemos trabajar. En esta diapositiva, puse algunos de los sensores cerebrales comerciales que puedes comprar actualmente. Puedes ver que vienen en diferentes formas. Tienen diferente número de electrodos. Eso impactará en lo que puedes rastrear y qué tipo de aplicaciones puedes construir con él. Probablemente hay más sensores cerebrales disponibles por ahí, pero aquí están los que más he oído hablar o jugado con. El que se va a centrar en esta charla es el de la parte inferior derecha. Se llama NeuroCity Notion. Recientemente lanzaron un nuevo modelo llamado Crown. Si alguna vez estás interesado en comprarlo, ahora puede llamarse Crown, pero experimenté con una de sus primeras versiones que se llamaba Notion. Para entender cómo el número de electrodos impacta en los casos de uso, hablemos brevemente sobre cómo funciona. En el contexto del dispositivo Notion, resalté en verde la ubicación de los electrodos basándome en su número de referencia en el sistema EEG 1020. Este es un sistema que es una referencia en neurotecnología, y es una especie de mapa que representa la ubicación de los electrodos en la cabeza de un usuario.

En la parte superior está el frente de tu cabeza y en la parte inferior está más atrás. Cada electrodo tiene un número y una letra de referencia. Entonces, estos son importantes porque te darán una idea del tipo de ondas cerebrales que puedes rastrear dependiendo del área del cerebro que los electrodos están más cerca. Entonces, Notion tiene ocho electrodos, cuatro en el lado izquierdo del cerebro y cuatro en el lado derecho, principalmente enfocados en la parte superior y el frente de la cabeza. Entonces esto es importante saber porque dependiendo de la colocación de los electrodos, obtendrás data de diferentes partes del cerebro. Entonces, significa que lo que puedes interpretar de la data que estás obteniendo variará. Entonces aquí hice una pequeña animation para explicar de qué estoy hablando. Entonces, diferentes partes del cerebro tienen diferentes propósitos. En el frente, tienes el lóbulo frontal, luego el cerebelo está en la parte inferior trasera, el lóbulo parietal en la parte superior, etc. No tienes que saber esto de memoria, pero, y puede que no signifique mucho para ti ahora mismo, pero están a cargo de diferentes funciones fisiológicas. Entonces, por ejemplo, el lóbulo frontal se encarga de movimiento voluntario y concentración y resolución de problemas. El lóbulo parietal en la parte superior está más enfocado en sensaciones y conciencia corporal. Y el lóbulo temporal es el que está al lado que recibe información sensorial de los oídos y procesa esa información en unidades significativas como el habla y las palabras. Entonces, dependiendo de lo que te gustaría rastrear o construir, querrás revisar diferentes sensores cerebrales hacia la posición para ver que es más probable que se estén enfocando en el área del cerebro que te interesa. Por ejemplo, uno de los sensores cerebrales en una de las diapositivas anteriores se llama NextMind y se enfoca principalmente en el lóbulo occipital en la parte media trasera porque afirman estar enfocándose en la visión del usuario para tratar de predecir lo que alguien está mirando. Entonces, de todos modos, ahora que hemos hablado de los sensores cerebrales, ¿cómo se ve para nosotros como desarrolladores de JavaScript? Entonces, con la noción de neuro CT tienes acceso a una UI en la que puedes ver diferentes gráficos. Entonces, aquí está la parte de la UI donde puedes ver tus ondas cerebrales en bruto. Entonces puedes ver las diferentes líneas. Hay ocho de ellos y cada etiqueta responde al nombre de una posición de electrodo basada en el sistema EEG 1020 del que hablé hace unas diapositivas. Entonces esto representa un gráfico de los data en bruto que vienen en vivo del sensor cerebral. Pero en general cuando empiezas en este espacio de neurotecnología no empiezas de inmediato experimentando con data en bruto. La mayoría de los sensores cerebrales por ahí han implementado cosas como detección de concentración o calma que puedes usar sin tener que construir tu propio modelo de machine learning. Entonces, la detección de concentración y calma no necesita ningún entrenamiento porque se basan en un patrón de ondas cerebrales que son bastante comunes entre todos. Sin embargo, los comentarios mentales personalizados tienen que ser entrenados, entonces, ¿qué quiero decir con eso? No te molestes en leer toda la lista, pero para el auricular Notion los comandos que puedes entrenar se centran en imaginar movimientos específicos. Entonces puedes ver morder un limón o pellizcar tu dedo izquierdo o pensar en empujar algo en el espacio. Por ejemplo, aquí está cómo se ve el entrenamiento del comentario mental del pie derecho. Entonces también puedes hacerlo con su API, pero en general para hacerlo más rápido lo haces a través de su UI. Entonces tienes dos animations jugando cada pocos segundos para guiarte en lo que se supone debes hacer. Entonces tienes que alternar entre estados de concentración en ese comentario, así que piensa en golpear tu pie derecho en el suelo y también descansar donde se supone que debes intentar pensar

Así que aquí está la sintaxis para obtener el estado de concentración del usuario. Así que si implementas el estado de calma en tu code, no tienes que cambiar mucho para luego pasar a suscribirte al estado de concentración. Así que aquí en este ejemplo de code, si mi concentración es superior a 0.5, apaga mis notificaciones para que no me distraiga y pierda la concentración. Así que ahora, aparte de la calma y la concentración, también está disponible la API de Kinesis para los comentarios mentales de los que hablé anteriormente. Así que te suscribes al evento de Kinesis que quieres usar, y también devuelve un objeto con una probabilidad de que ese comentario se ejecute en tu mente. Así que un algoritmo de machine learning está mirando los datos cerebrales en vivo e intenta detectar si el patrón es similar al comentario del brazo derecho que entrenaste. Y te da la probabilidad de la precisión de la predicción. Así que probablemente querrías hacer algo como un evento de UI si la probabilidad es superior a 0.99, por ejemplo, si necesitas que sea muy preciso. Pero si quieres ser un poco más flexible, podrías desencadenar un evento si la probabilidad es superior a 0.8, por ejemplo. Realmente depende de ti. Y luego, finalmente, si quieres trabajar con datos crudos, puedes suscribirte al evento de ondas cerebrales. Y devuelve un objeto que contiene los data de los ocho canales del sensor cerebral, así como la frecuencia y PSD para la densidad del espectro de potencia, creo, que es una representación de los datos crudos una vez procesados, y también una marca de tiempo. Así que la marca de tiempo es importante porque los data que estás obteniendo son sin pérdida. Obtendrás todos los data del sensor cerebral, pero entonces significa que podrías tener un

Finalmente, algo en lo que he estado pensando durante los últimos días es acerca de la autenticación sin contraseña. Usando la onda cerebral o el sensor cerebral como un dispositivo de autenticación biométrica. Ya estamos familiarizados con el uso de TouchID o FaceID para autenticarnos en dispositivos o servicios. Podríamos imaginar el mismo tipo de sistema, pero usando ondas cerebrales en su lugar. Las ondas cerebrales de cada persona tienen una firma única, por lo que podemos usar esto para identificar a alguien que intenta iniciar sesión en una plataforma. Si nos preocupa la fuga de data, cuando estamos usando TouchID o FaceID, si en algún momento alguien te obliga a iniciar sesión en una plataforma o usa FaceID mientras estás durmiendo o algo así, realmente no podemos crear una huella dactilar diferente o modificar tu rostro. Pero usando ondas cerebrales, puedes reentrenar el dispositivo con diferentes comentarios mentales que serán únicos para ti pero diferentes del que fue robado. Así que eso puede ser realmente interesante. Aquí, esta es una demostración muy corta que hice en Netlify, porque como trabajo allí pude modificar el code yo mismo. Pero lo que realmente me interesaría ver es trabajar con autenticadores de plataforma reales. Así que realmente traté de agregar algo al Touch ID en mi Mac. Así que eso es una investigación muy preliminar en este momento.

Pero lo más importante, una aplicación puede ser cualquier cosa que estés pensando. Espero que al escuchar esta charla, puedas estar pensando en ideas de cosas que te gustaría construir usando un sensor cerebral. Es un campo que está creciendo con más y más dispositivos, avances en hardware y software. Y me encantaría ver a más personas venir con ideas para esta tecnología.

Recuerda que puedes usar JavaScript en muchos contextos diferentes, y eso es lo que es increíble de él. Y es una verdadera ventaja ser un desarrollador de JavaScript en este espacio. Construimos sitios web que funcionan en escritorio, portátil, iPad, teléfono. Puedes construir cosas de front end y back end. Puedes construir aplicaciones Electron. Puedes construir prototipos de AR y VR. Tienes frameworks para hacer music en JS. Puedes controlar robots. Quiero decir, es realmente súper emocionante. Y no es algo que los desarrolladores en el uso de un lenguaje diferente puedan hacer porque es posible que no tengan acceso a un ecosystem tan grande como el que tiene JavaScript.

Así que he hablado mucho sobre lo que es posible, pero hablemos brevemente antes de terminar sobre los límites de esta tecnología. Entonces, en primer lugar, es importante saber que la calidad de los data es diferente con sensores cerebrales externos que con los implantes. Los implantes tienen un acceso directo al cerebro ya que un dispositivo se coloca realmente en el cerebro, mientras que un sensor cerebral obtiene data que tiene que atravesar capas de piel y cráneo y cabello. Así que si encuentras una demostración construida por otra empresa que usa implantes, tienes que ser consciente de que la calidad de los data que obtendrás con un sensor cerebral externo es diferente y eso afectará lo que puedes hacer.

Otro límite es el hecho de que como los data son sin pérdida, y eso es genial, lo obtienes todo, pero trabajar con retrasos tendrá un impacto en el tipo de aplicaciones que puedes construir. Si estás construyendo cosas con enfoque o calma, supongo que no importa realmente si lo obtienes, si tu aplicación cambia el estado en un segundo, pero si estás construyendo aplicaciones que son realmente sensibles al tiempo, trabajar con marcas de tiempo podría ser una dificultad, pero es algo en lo que pensar. Cuando te adentras en algo así, tienes que recordar que en muchos aspectos, todavía no entendemos todo sobre el cerebro y realmente no podemos detectar cosas como, quiero desencadenar algo cuando estoy pensando en la playa. No funciona realmente así, por lo que el tipo de pensamientos que podemos detectar en este momento es más limitado. Así que es algo que tienes que tener en cuenta cuando te adentras en un espacio como este.

Y finalmente, como los comandos mentales necesitan entrenamiento, si construyes una interfaz, recuerda que el enfoque común es el mismo para todos los usuarios, por lo que no necesitas ningún entrenamiento, el usuario solo tendrá que llevar el sensor, pero si quieres algo un poco más personalizado, un poco más complejo, el hecho de que el usuario tendrá que hacer un entrenamiento antes de poder usar tu aplicación podría ser una limitación.

La mayor oportunidad que veo en esta industria en este momento es que como desarrolladores de JavaScript, podemos ayudar a dar forma al futuro de las interfaces controladas por el cerebro. Todavía está en sus primeras etapas, pero se está moviendo rápido y estamos en una posición donde podemos dar retroalimentación a diferentes empresas sobre lo que nos gustaría poder hacer con el sensor cerebral. Podemos ayudar a dar forma a cómo se vería la web si estuviera controlada por el cerebro y podemos contribuir a los diferentes paquetes de código abierto, etc. Para mí, realmente creo que es una gran oportunidad. Con esto, voy a parar aquí, pero espero haberte dado una mejor idea de lo que es posible cuando hablamos de control cerebral en la web. Y espero que estés tan emocionado como yo sobre las posibilidades que esta tecnología abre.

Muchas gracias por escuchar y si tienes alguna pregunta, no dudes en preguntar en la sección de Preguntas y Respuestas o en Twitter, estoy en DevDevChannel.

Wow, qué sesión tan inspiradora. Muchas gracias, Charlie, por presentar esto en JS Nation. Y antes de saltar a la sección de Preguntas y Respuestas, veamos qué respondieron ustedes a la pregunta de Charlie sobre dónde les gustaría usar JavaScript como codificación creativa. Y el ganador es machine learning. De hecho, fue una batalla durante toda la duración de la sesión entre machine learning, realidad aumentada y realidad virtual. Y con una diferencia muy pequeña, ganó machine learning.

Ahora, invitemos a Charlie a nuestro estudio. Ella está aquí. Hola. Hola. Gracias por tu sesión. Y tenemos muchas preguntas para ti. Permíteme elegir algunas de ellas. Están en mi segunda pantalla. Así que comencemos con una muy técnica. Mencionaste que tienes que pensar en la acción sin moverte realmente. ¿Es porque el movimiento crea ruido en la señal? ¿Moverse al mismo tiempo interferiría con el entrenamiento del modelo? ¿Lo has probado? Oh, en realidad, puedes moverte si quieres. Pero es solo que en general, cuando quieras reproducir ese pensamiento probablemente no querrás moverte, entonces es más fácil intentar entrenar el modelo sin mover realmente tu cuerpo. Pero puedes hacer ambas cosas. Prefiero entrenar el modelo sin moverme porque sé que cuando quiero reproducir el pensamiento, quiero hacerlo sin moverme. Pero sé que si miras el proyecto que Neuralink ha estado haciendo últimamente con un mono que estaba jugando al pong, el mono se estaba moviendo al mismo tiempo que se registraban los data. Es algo que quiero probar a continuación. Pero creo que puedes hacer ambas cosas. No sé si crea particularmente ruido. No lo creo. Porque lo que el sensor cerebral está obteniendo son data sobre tu deseo de mover tu cuerpo. Así que no creo que realmente cree ruido. Pero tendría que probarlo. Definitivamente es algo que quiero hacer a continuación también.

Genial. Por cierto, ¿te sorprenden los resultados de la encuesta que ganó Machine Learning? No me sorprende, pero me emociona. Porque Machine Learning es algo en lo que estoy investigando mucho. Y lo he estado durante los últimos años. Así que me emociona que otras personas también quieran hacerlo. Creo que hay mucho que aprender y proyectos realmente emocionantes para construir. Así que en realidad me emociona la respuesta de la encuesta.

Sí, apuesto a que después de tu masterclass, cada vez más personas usarán JavaScript de manera creativa para Machine Learning. Y nos quedan un par de minutos, tomemos esta pregunta. Y es una especie de conceptual. Apuesto a que el primer pensamiento de muchas personas es para los juegos. Pero, ¿qué tipo de interés has recibido en términos de usos médicos? ¿Qué tal para un psiquiatra y psicólogo para usar durante sus citas para obtener lecturas de las personas mientras sucede la sesión? Y esta pregunta fue porque muchas sesiones de consejería se trasladaron a línea. Por lo que podría ser un caso de uso muy interesante. ¿Cuáles son tus pensamientos al respecto?

Sí, creo que recuerdo haber leído algunos artículos sobre personas que intentan detectar estados de depresión potencial utilizando sensores cerebrales. De modo que en lugar de solo escuchar lo que las personas están diciendo, obtendríamos retroalimentación directa del estado de las personas. Si sabemos que la depresión se trata de un desequilibrio químico en el cerebro, podría haber cosas que realmente podemos detectar a partir de datos cerebrales crudos sobre el estado de un usuario. Y luego ser capaz de diagnosticar ciertas cosas más temprano o tener retroalimentación en tiempo real sobre el estado emocional de alguien. Porque a veces la forma en que nos expresamos, solo lo hacemos con las palabras que conocemos o la experiencia que hemos tenido en el pasado. Mientras que ahora podríamos hacerlo directamente con data del cerebro. Y creo que se está realizando investigación con esto en este momento, y creo que definitivamente es interesante también.

Genial, genial. Charlie, gracias por tu masterclass. Gracias por tus respuestas. Y fue un gran placer tenerte en la conferencia de GIS Nation. Muchas gracias. Adiós.