Video Summary and Transcription
La implementación de la IA sin tener en cuenta los beneficios para el usuario puede llevar a daños y sesgos. Los casos legales destacan la necesidad de responsabilidad de la IA y de abordar los sesgos. La confianza, la transparencia y la eficiencia son cruciales para construir sistemas de IA. Considera el impacto de la IA en la experiencia del usuario y participa con los usuarios. La supervisión humana es necesaria para garantizar la seguridad y el respeto.
1. Introducción a la IA y sus desafíos
La IA es una tendencia importante en nuestra industria, pero hay un impulso por incorporarla sin considerar los beneficios para los usuarios. Apresurarse a implementar IA sin intención puede llevar a daños, frustración y sesgos. Un estudio reciente encontró que el 65% de las organizaciones experimentan sesgos de datos en IA hoy en día.
Hola. Soy Katherine Grayson-Nanz, una defensora del desarrollo en Progress Software. Ahora, si no has estado viviendo bajo una roca durante el último año, probablemente has estado escuchando mucho sobre una tecnología en particular en estos días. IA. Ya hemos superado la fase incómoda del principio, más allá del punto en el que era divertido jugar con ella, pero también, ya sabes, generando consistentemente imágenes de personas con 12 dedos.
En estos días, estamos viendo cada vez más usos serios de la IA generativa en nuestra vida cotidiana. Desde el Asistente Meta de Instagram hasta las sugerencias de escritura de Notion o Twitter, la inclusión de una función de IA es una tendencia importante en nuestra industria en este momento. Y para ser claros, no estoy usando la palabra `tendencia` aquí de manera negativa. Solo intento capturar la fascinación con esto en el momento actual, porque he escuchado y visto personalmente la presión que muchos de nosotros estamos recibiendo para incorporar IA en lo que estamos construyendo, a menudo sin importar si realmente sería beneficioso para nuestros usuarios o no. Esto a menudo puede venir de personas que no están directamente involucradas en el proceso de desarrollo. Tal vez un gerente de producto, un vicepresidente, un vendedor o algo similar. Puede haber mucho miedo en este momento de que un producto se quede atrás si no está aprovechando la IA de alguna manera en este momento. Así que hay un gran impulso para que todos nos subamos al carro. Cuando se aplica ese tipo de presión para implementar una nueva tecnología, especialmente en nuestra industria con la presión preexistente de moverse rápido para llegar primero, las cosas pueden volverse un poco caóticas. Hay muchas formas increíbles en las que se puede aprovechar la IA para mejorar un producto. Pero creo que la mayoría de nosotros también hemos visto casos en los que la IA se ha introducido solo por decir que un producto está impulsado por IA. Como ese ejemplo anterior con la barra de búsqueda de Instagram, el chat de IA. Cuando usamos tecnología de IA sin intención, podemos causar más daño que beneficio. A veces eso solo se ve como frustración o decepción de nuestros usuarios, lo cual daña nuestra marca y nuestra reputación. Pero otras veces puede parecer sesgo, discriminación y desinformación, lo cual tiene la posibilidad de causar mucho daño en el mundo real. De hecho, un estudio global reciente encargado por Progress encontró que el 65% de las organizaciones experimentan sesgos de datos en IA hoy en día y el 78% está preocupado de que los sesgos de datos se vuelvan más grandes.
2. Building AI Safely and Legal Implications
No estoy en contra de la IA, pero estoy en contra de avanzar rápido y romper cosas. Necesitamos construir de manera segura con esta tecnología en rápida evolución. Enfoquémonos en la IA generativa, que es accesible a través de herramientas como chat-GBT, DALI y Mid-Journey. Si bien las funciones impulsadas por IA pueden mejorar la experiencia del usuario, también pueden crear problemas, como el caso de los concesionarios de Chevrolet y el chatbot de Air Canada. Los tribunales están reconociendo las implicaciones legales de la IA en los sitios web.
problema a medida que aumenta el uso de su IA. Quiero dejar claro que no estoy en contra de la IA. Lo que estoy en contra es de avanzar rápido y romper cosas. Porque cuando hacemos eso, cuando avanzamos rápido y rompemos cosas, lo que dañamos son nuestros usuarios, nuestros seres humanos. Esta implementación de IA todavía es relativamente nueva y hay mucho que aún no sabemos. Todo está cambiando tan rápidamente. El tipo de contenido que obteníamos de GPT-3 es muy diferente a lo que vemos hoy con GPT-4, y eso será muy diferente de lo que veremos en años futuros, GPT-5. Es increíblemente emocionante ver cómo la tecnología se desarrolla tan rápidamente y da grandes saltos adelante. Es un momento muy interesante para ser un desarrollador y un privilegio trabajar con esta tecnología. Pero también es un desafío, y es nuestra responsabilidad construir de manera segura con esta tecnología en rápido movimiento. Así que hablemos un poco sobre cómo podemos hacerlo sin dejar de tener en cuenta los mejores intereses de nuestros usuarios.
Ahora, la palabra IA está haciendo mucho trabajo en estos días, y no todo eso es preciso o descriptivo. Además de ser una palabra de moda, también se ha convertido en una frase comodín, especialmente para personas menos técnicas que agrupan todo, desde algoritmos hasta texto predictivo hasta chatbots predefinidos, que pueden o no incluir alguna tecnología real de IA. Pero para nuestros propósitos aquí, en esta charla, quiero centrarme principalmente en la IA generativa. La IA generativa es la que está causando más revuelo para nuestra audiencia particular, los desarrolladores aquí y ahora en el momento de escribir esto, porque se ha vuelto tan fácilmente accesible. Cosas como chat-GBT, DALI, Mid-Journey. Seamos realistas aquí, la mayoría de nosotros no tenemos los recursos para entrenar nuestros propios conjuntos de datos, por lo que estamos utilizando estos productos de Google, Meta u OpenAI porque son nuestra entrada más accesible a la tecnología. Entonces, eso es en lo que nos vamos a enfocar hoy. Todas esas herramientas, y por supuesto, muchas otras disponibles, tienen API que podemos aprovechar para comenzar a construir funciones impulsadas por IA en nuestras aplicaciones de manera muy fácil. Y, por supuesto, muchas personas, incluido apuesto que muchos de ustedes, ya lo han hecho. Por supuesto, hemos visto también una buena cantidad de situaciones en las que las funciones impulsadas por IA han creado una experiencia de usuario bastante terrible o han causado un gran daño. Por ejemplo, a fines del año pasado, vimos a varios concesionarios de Chevrolet lamentar la colocación de chatbots impulsados por chat-GBT en su sitio web después de que se convirtiera en una broma en Twitter manipular dichos chatbots para venderles autos a una fracción del precio minorista. Ahora, ¿Chevrolet realmente perdió dinero con esto? Casi con seguridad no. De hecho, en una de estas capturas de pantalla, incluso podemos ver la red de seguridad de confirmar toda la información con el concesionario que incluyeron desde el principio. Sin embargo, sí perdieron una reputación seria. Cuando buscas Chevrolet de Watsonville en Google, varios de los primeros resultados de búsqueda autocompletados siguen haciendo referencia a este incidente meses y meses después, y probablemente seguirán siendo así durante muchos meses más. No es lo que quieres desde el punto de vista de la posición de la marca. A veces, sin embargo, vemos repercusiones legales, no solo sociales. Los tribunales están comenzando a dictaminar que lo que dice una IA en tu sitio web realmente tiene peso. Hace apenas unos meses, de hecho, en febrero, el Tribunal de Resolución Civil de Canadá determinó que Air Canada tendría que pagar daños después de que un cliente recibiera información incorrecta sobre los costos de vuelos por duelo a través de un chatbot en su sitio web. Como dijo el miembro del tribunal Christopher Rivers, en efecto, Air Canada sugiere que el chatbot es una entidad legal separada que es responsable de sus propias acciones.
3. AI Accountability and Addressing Biases
Si bien un chatbot tiene un componente interactivo, la responsabilidad de Air Canada por la información en su sitio web es innegable. Los casos legales relacionados con la IA, como el de la concesionaria de Chevrolet y los dos abogados que utilizaron ChatGPT, resaltan la necesidad de responsabilidad. Es necesario abordar los sesgos en la salida de la IA, ya sea relacionados con la edad, la raza o el urbanismo. IBM sugiere la gobernanza de la IA y la inclusión de puntos de control humanos para mitigar estos problemas. El cumplimiento de las regulaciones es crucial, especialmente con el cambiante panorama legal, como el Acta de Inteligencia Artificial de la Unión Europea.
Si bien un chatbot tiene un componente interactivo, sigue siendo solo una parte del sitio web de Air Canada. Debería ser obvio para Air Canada que es responsable de toda la información en su sitio web. No importa si la información proviene de una página estática o de un chatbot. Si bien las apuestas aún eran relativamente bajas en este caso, Air Canada solo tuvo que pagar alrededor de 812 dólares canadienses. El precedente que establece este caso legal es realmente importante. Y hablando de tribunales, un juez de Manhattan impuso una multa de 5.000 dólares a dos abogados, Peter DeLuca y Stephen Schwartz, que utilizaron ChatGPT para generar un informe legal para su demanda de 2023, que resultó incluir seis citas de casos ficticias. En este caso, las alucinaciones de ChatGPT, o la IA afirmando con confianza información incorrecta como hecho, los metieron en serios problemas. Es importante destacar que esto es diferente al primer caso con la concesionaria de Chevrolet, donde la IA fue manipulada para devolver información falsa. En este caso, los abogados simplemente hicieron una pregunta y recibieron información falsa incorrecta a cambio. Además de la multa y las sanciones a los abogados, y también quizás más importante, el juez desestimó por completo su demanda.
Y, por supuesto, no todo es tan claro y obvio como un chatbot que proporciona información incorrecta en términos de hechos. A veces no se trata de una sola pieza de contenido, sino de tendencias y sesgos que solo son perceptibles cuando observamos grandes muestras de material de salida de IA a lo largo del tiempo. Por ejemplo, The Conversation, una organización de noticias independiente sin fines de lucro, examinó más de 100 imágenes generadas a mitad del viaje durante seis meses y encontró varios sesgos recurrentes. Esto incluía el edadismo y el sexismo, donde las imágenes tenían más probabilidades de mostrar a hombres mayores en puestos directivos, y solo incluían signos de envejecimiento como arrugas o cabello gris en representaciones de hombres. También encontraron signos de sesgo racial en lo que describen como una suposición de blancura. Probaron los resultados para los títulos periodista y reportero y descubrieron que, cuando no se especificaba la raza en la indicación, las imágenes resultantes representaban exclusivamente a personas de piel clara. También existen sesgos en torno al urbanismo, donde la IA tiende a ubicar a todas las personas en ciudades en lugar de áreas rurales, a pesar de que solo aproximadamente la mitad de la población mundial vive en una ciudad. Entonces, ¿qué podemos hacer para ayudar a mitigar algunos de estos problemas?
En este momento actual, es justo suponer que cualquier tecnología de IA de generación que estemos incorporando en nuestras aplicaciones tiene la posibilidad, el potencial, de devolver estas alucinaciones, sesgos, información incorrecta y otras deficiencias similares. No podemos simplemente ignorar esa realidad. Pero ¿eso significa que tenemos que desechar todo y alejarnos? No necesariamente. En un artículo de octubre de 2023 que arroja luz sobre el sesgo de la IA con ejemplos del mundo real, IBM afirma que identificar y abordar el sesgo en la IA comienza con la gobernanza de la IA, o la capacidad de dirigir, gestionar y supervisar las actividades de la IA de una organización. Tenga en cuenta que tampoco están sugiriendo que tiremos al bebé con el agua sucia aquí. Más bien, recomiendan la inclusión de puntos de control humanos, la participación humana en los procesos que combinamos con estas herramientas de IA. Han creado la siguiente lista de prácticas para implementar éticamente la IA. Primero, el cumplimiento. Las soluciones de IA y las decisiones relacionadas con la IA deben ser coherentes con las regulaciones de la industria y los requisitos legales pertinentes. Este es, por supuesto, el punto de partida. Todo lo que construyamos con IA debe estar dentro de los límites de la ley. Por supuesto, esto se vuelve un poco más complejo cuando se está construyendo un producto global, como muchos de nosotros lo estamos haciendo, y porque estas leyes están cambiando bastante rápido. En la Unión Europea, el Parlamento, la Comisión y el Consejo llegaron a un acuerdo político sobre la Ley de Inteligencia Artificial en diciembre del año pasado, que, en este momento, parece ser el
4. Building Trust, Transparency, and Efficiency in AI
La Ley de IA establece categorías de riesgo y regulaciones para los sistemas de IA, mientras que los requisitos de transparencia garantizan el uso de datos imparciales. La confianza y la transparencia son cruciales para construir sistemas de IA con los que los usuarios se sientan cómodos. Las empresas deben priorizar la protección de la información del cliente y establecer una cultura de confianza. La transparencia en los algoritmos de IA y los conjuntos de datos utilizados es esencial. La implementación de un sistema RAG puede mejorar la precisión y confiabilidad. La eficiencia es otro aspecto importante, con la IA diseñada para lograr objetivos comerciales y reducir costos.
La Ley de IA es la primera regulación integral del mundo sobre IA. La Ley de IA incluye el establecimiento de diferentes categorías de riesgo para los sistemas de IA y las regulaciones asociadas, así como los requisitos de transparencia. En los Estados Unidos, el presidente Biden emitió una orden ejecutiva a finales de 2023 con respecto a la IA, que requiere que todas las agencias federales completen una serie de acciones relacionadas con la seguridad y la protección de la IA con plazos estrictos, todas las cuales se informa que se han cumplido hasta abril de 2024. Muchas de estas acciones incluyeron la actualización de las reglas y regulaciones existentes para incluir la existencia de la IA, como afirmar que las prohibiciones existentes contra el sesgo en la vivienda y el empleo incluyen herramientas de detección de IA. También crearon pautas y comités para informar futuras legislaciones sobre IA. Esto obviamente es solo una pieza de un rompecabezas que aún se está desarrollando, pero es algo en lo que todos debemos estar atentos si planeamos aprovechar la IA en nuestros productos. Asegúrese de estar al tanto de los requisitos legales más recientes y cumpla con las nuevas regulaciones lo más rápido posible. Confianza. Las empresas que trabajan para proteger la información de los clientes generan confianza en la marca y tienen más probabilidades de crear sistemas de IA confiables. La confianza siempre es un aspecto crucial del desarrollo del producto. Lo que hacemos con la información de nuestros usuarios, qué tan confiables son nuestros servicios, si evitamos patrones oscuros de UX, todo eso tiene un gran impacto tanto en la experiencia del usuario como en el éxito general de la empresa. La IA agrega una nueva capa a esto porque la mayoría de las personas comunes, e incluso algunos desarrolladores, no comprenden completamente cómo funciona. Hacer uso de una tecnología de caja negra requiere mucha confianza. Para que los usuarios se sientan cómodos aprovechando las funciones de IA que incorporamos en nuestro producto, debemos haber demostrado previamente nuestra confiabilidad de otras maneras. Necesitamos haber construido una cultura establecida de confianza y desarrollo ético, idealmente antes de comenzar a introducir la IA en el panorama. Si eso no existe en su empresa, ahora es el momento perfecto para analizar qué significa la responsabilidad del usuario para usted personalmente, para su equipo y para su empresa y marca en su conjunto. Asegúrese de que cualquier anuncio, cualquier documentación, cualquier comunicación de marketing relacionada con la IA en su aplicación explique la situación de manera muy clara. ¿Se utilizarán los datos de entrada del usuario para entrenar aún más el LLM? ¿Los usuarios pueden optar por esta función? Toda esa información y más debe compartirse con los usuarios utilizando un lenguaje básico que puedan entender. Transparencia. Debido a la complejidad de la IA, un algoritmo puede ser un sistema de caja negra con poca visión sobre los datos utilizados para crearlo. La transparencia ayuda a garantizar que se utilicen datos imparciales para construir el sistema y que los resultados sean justos. Hablando de esa naturaleza de caja negra de la IA, eso también significa que debemos ser lo más transparentes posible sobre qué conjunto de datos está informando nuestros resultados y de dónde provienen esos datos. Para aquellos de nosotros que trabajamos con IA abierta o similar, eso podría significar implementar un sistema RAG o de Generación con Recuperación Aumentada para ayudar a mejorar la precisión y confiabilidad. RAG nos permite complementar el conocimiento base de IA con contenido y datos personalizados. Por ejemplo, si desea utilizar GPT-4 para responder preguntas de los usuarios sobre su producto, podría darle acceso a cosas como su SharePoint, sus archivos de marketing o documentación en Google Drive, su sistema de tickets. Eso no solo ayuda a obtener resultados más precisos y relevantes, sino que también asigna esos resultados a documentos específicos, lo que agrega fuentes y credibilidad a sus resultados. Los malos datos generarán malos resultados. Es posible que no tengamos los recursos para entrenar por completo un LLM desde cero, por muy bueno que sea, pero aún hay cosas que podemos hacer para ayudar a mejorar la eficacia y precisión de las herramientas que estamos utilizando. Eficiencia. La IA debe diseñarse para ayudar a alcanzar los objetivos comerciales, mejorar la velocidad de llegada al mercado y reducir los costos. Esto parece evidente, ¿verdad? Y sin embargo, creo que hay algunas buenas
5. Considerando el Uso de la IA y la Supervisión Humana
Considera la necesidad de la IA, su impacto en la experiencia del usuario y la reducción de costos. Interactúa con los usuarios para comprender sus preferencias de automatización. La supervisión humana es necesaria para garantizar la seguridad y el respeto de los usuarios. Mantente actualizado sobre los requisitos legales, genera confianza y utiliza sistemas de IA transparentes. Implementa puntos de control y revisiones para mantener el toque humano. Los desarrolladores tienen la responsabilidad de utilizar la IA de manera ética y considerar sus altos riesgos y recompensas.
Aquí no hay una guía clara sobre dónde y cuándo incluir características de IA en nuestro producto. Es tentador hacer algo impulsado por IA porque eso es lo que todos están haciendo, pero te animaría a pensar más detenidamente al respecto. ¿Realmente necesitamos IA aquí? ¿Agilizará las cosas? ¿Reducirá costos? Y quizás lo más importante, ¿mejorará realmente la experiencia del usuario? ¿Se mejora realmente este caso de uso con IA? Corremos el riesgo de sonar cliché, pero debemos asegurarnos de no estar tan preocupados por si podemos hacerlo o no, que no nos detengamos a pensar si deberíamos hacerlo. También te animaría mucho a hablar con algunos usuarios reales sobre la IA mientras tomas esta determinación. A veces hay cosas que técnicamente podemos acelerar o mejorar, pero es posible que los usuarios no estén interesados en automatizar. La creación de contenido es un gran ejemplo aquí, porque sí, la IA puede redactar una publicación de blog, puede escribir letras de canciones, puede crear ilustraciones, pero ¿realmente los usuarios quieren eso? Incluso he tenido conversaciones con algunos desarrolladores que prefieren no usar Copilot, porque en sus palabras, cambió la tarea principal de su trabajo de escribir código a revisar código. Extrañaban la creatividad y los aspectos de resolución de problemas de su trabajo diario. Por supuesto, como tantas cosas, esto será diferente para diferentes personas. También he hablado con muchos desarrolladores que aman Copilot, que no pueden imaginar volver a trabajar sin él. Pero creo que este es mi caso. Por eso es tan crucial tener estas conversaciones con usuarios reales. Debemos investigar y escuchar estas diferentes perspectivas. Nuestro objetivo es asegurarnos de aplicar la IA solo a los aspectos de lavandería y platos de nuestras aplicaciones, liberando a nuestros usuarios para que se centren en los aspectos de la tarea que disfrutan o en los que simplemente quieren participar. O potencialmente, consideramos enfoques que permitan a los usuarios optar por no utilizar características de IA en absoluto, si no están interesados. Por último, el toque humano. Procesos como el sistema Human-in-the-Loop ofrecen opciones o hacen recomendaciones que luego son revisadas por humanos antes de tomar una decisión para proporcionar otra capa de garantía de calidad. La IA puede ser una herramienta poderosa, pero al menos en este momento, no es completamente confiable. Como vimos en esos ejemplos anteriores, hay muchas formas en las que el uso no supervisado de la IA puede llevarnos a situaciones bastante malas. La sugerencia de un sistema Human-in-the-Loop significa que ningún sistema de IA existe sin supervisión humana. Esta ni siquiera es una idea particularmente nueva, solo una que adquiere un nuevo significado a medida que la capacidad de nuestra tecnología continúa creciendo. Esta diapositiva es en realidad de una presentación de IBM de 1979. Una computadora nunca puede ser responsable, por lo tanto, una computadora nunca debe tomar una decisión de gestión. Eso incluye cualquier tipo de decisión basada en humanos, cosas como seleccionar currículums para contratar, establecer horarios, aprobar o denegar solicitudes y mucho más. Si bien puede ser muy fácil pensar en ese tipo de tareas como tediosas o repetitivas, y a veces lo son, cada una tiene un impacto directo en la vida de otro ser humano. Eso significa que simplemente no se pueden dejar completamente en manos de la IA, no cuando sabemos que la posibilidad de sesgo o alucinación sigue siendo un riesgo muy real. Considera dónde sería más útil un punto de control de revisión humana en tu enfoque de IA y asegúrate de que no se esté omitiendo. Estos no son solo casillas que hay que marcar, son cruciales para la seguridad y el respeto de nuestros usuarios. Es más fácil que nunca aprovechar la IA para mejorar nuestros sitios web y aplicaciones, pero parte de hacerlo de manera responsable es ser consciente del riesgo inherente y hacer todo lo posible para mitigarlo. Así que mantente al tanto de las actualizaciones legales, prepárate para hacer cambios para cumplir con las nuevas regulaciones, genera confianza con tus usuarios compartiendo información libremente y eliminando o reduciendo esa sensación de caja negra tanto como sea posible. Considera implementar un sistema de generación con recuperación aumentada para mejorar la precisión y confiabilidad de tus resultados y reducir las alucinaciones. Asegúrate de escuchar lo que los usuarios quieren e implementar características de IA que mejoren en lugar de disminuir su experiencia. Y establece puntos de control y revisiones para asegurarte de que el toque humano no se haya eliminado por completo de la ecuación. Por supuesto, también hay espacio para jugar con estas nuevas cosas, ¿verdad? Ver qué pueden hacer, hackear, codificar de manera creativa, pero cuando estamos creando cosas reales para que las usen personas reales, esos usuarios deben estar en el centro de todo el proceso. El software existe para los humanos, los humanos no existen para el software. La IA es actualmente de alto riesgo y alta recompensa. Como desarrolladores, tenemos la responsabilidad de incorporar pasos en nuestros procesos para utilizarla de manera ética. Es un privilegio tener la oportunidad de trabajar con una tecnología innovadora y ser desarrolladores en un momento tan emocionante. Sé que no estoy solo en mi entusiasmo por descubrir hacia dónde nos llevará la IA en los próximos 3, 5 o 10 años. No puedo esperar para ver qué construyes con ella. Gracias.
Comments