Bots de Soporte al Cliente Automatizados con LangGraph en AWS

Hola a todos. En esta presentación, vamos a hablar sobre Langraff y cómo construir un bot de soporte al cliente con Langraff y los conceptos involucrados en por qué vamos a usar Langraff, qué tipo de capacidades proporciona Langraff para nuestro bot de soporte agentico para que podamos ayudar de manera precisa y efectiva a los clientes con varias preguntas e ideas diferentes. Varias preguntas e consultas diferentes. Y también hablaremos sobre Amazon Bedrock como nuestra base para nuestro rag y base de conocimiento para que el bot de soporte al cliente esté fundamentado en sus respuestas cuando se trata de soporte de productos. Mi nombre es Saurabh Dahal. Soy un defensor de desarrolladores aquí en AWS, y los guiaré a través de esta presentación en esta charla.

Así que solo quería asegurarme de que estemos alineados en algunos de los términos y conceptos fundamentales que necesitaremos conocer para que podamos entender por qué incluso estamos usando Langraff y qué es Langraff. Entonces, un modelo de lenguaje grande, como saben, todos hemos estado usando modelos de lenguaje grandes. Puede inventar cosas. Entonces, si un bot de soporte al cliente solo está conectado a un modelo de lenguaje grande sin cosas como RAG o Langraff, entonces podría simplemente alucinar. Por ejemplo, tengo este sitio web aquí que tiene varios productos diferentes, ¿verdad? Tienes la Define Curl Cream. Estos son productos para el cuidado del cabello. Aquí se enumeran los precios, los ingredientes y cómo usarlo, cuándo es mejor usar estos productos específicos para el cuidado del cabello.

Y si le preguntara a este chat bot, si el chat bot fuera solo un modelo de lenguaje grande como Cloud Opus o ChatGPT, ¿verdad?, no sabría toda la información sobre las listas de productos particulares de mi empresa o qué cosas están actualmente en descuento, cualquier promoción que tengamos, precios actuales, ingredientes, cómo usarlo. Simplemente alucinaría e inventaría una respuesta.

Tampoco tiene realmente memoria del último mensaje si solo adjuntáramos esto a un modelo de lenguaje grande. Así que RAG, esa es una forma de ayudar a mejorar esto. RAG significa Retrieval Augmented Generation. Y lo que esto nos permite hacer es adjuntar esta fuente de conocimiento, nuestra información de la empresa en términos de los productos, preguntas frecuentes, políticas, si tenemos alguna promoción especial que actualmente sea por tiempo limitado. Aquí en los Estados Unidos ahora mismo, se acerca el 4 de julio. Así que muchas empresas están haciendo descuentos especiales para productos por la promoción del 4 de julio. Así que tal vez tengamos promociones temporales en curso. Tal vez tengamos ciertas políticas de reembolso en curso. Tal vez tengamos retiradas de productos para ciertos productos. Queremos que el modelo de lenguaje grande sepa todo eso. Y RAG es una forma de permitir que nuestro modelo de lenguaje grande tenga acceso a información actual que es relevante y que de otro modo el modelo de lenguaje grande no conocería. Porque el modelo de lenguaje grande, como saben, solo conoce la información con la que fue entrenado. Y tal vez la fecha de corte de entrenamiento para el modelo de lenguaje grande fue hace varios meses, y no tendría idea sobre la información más reciente sobre nuestros productos en nuestra tienda.

Hablemos ahora de LangChain. Entonces, ¿qué es LangChain? LangChain es una biblioteca de Python que nos permite hacer que los LLMs, modelos de lenguaje grandes, usen herramientas que se conectan a datos. Así que vamos a hablar sobre cómo sucede eso. Pero esencialmente, cuando le hago una pregunta a un modelo de lenguaje grande, en lugar de que solo responda a sus datos preentrenados, podemos usar Python para programarlo. De modo que el modelo de lenguaje grande clasifique nuestro mensaje según lo que estamos preguntando y qué tipo de herramientas necesita usar para responder adecuadamente a nuestra pregunta. ¿Y a qué tipo de fuentes de datos podría estar adjunto este modelo de lenguaje grande para que también pueda obtener la información más reciente que es actual relacionada tal vez con nuestros productos o nuestros descuentos o políticas de reembolso? En esta aplicación, vamos a usar el modelo Bedrock.

Así que LangChain va a usar el modelo Bedrock. Va a estar conectado a Bedrock para conectarse a ciertos modelos. Y también va a usar el Amazon Knowledge Base Retriever para recuperar de nuestra Bedrock Knowledge Base donde vamos a tener un montón de datos específicos de productos de la empresa, preguntas frecuentes, políticas de reembolso, cosas así. LangRaph nos permite construir agentes como un gráfico. Así que piensa en ello como un diagrama de flujo. Tal vez haya condiciones, ¿verdad? Así que si le hago una cierta pregunta, podría clasificarla como, ¿esta pregunta está relacionada con productos o está relacionada con información específica de un pedido? Así que si le pregunto, oye, ¿qué está pasando con la crema para rizos para sus productos de cuidado del cabello? ¿Cómo la uso? Va a clasificar ese mensaje como, ¿está relacionado? ¿Debería el modelo de lenguaje grande mirar la herramienta relacionada con la búsqueda de información sobre los productos en nuestro sistema RAG en Bedrock? ¿O debería, esta pregunta está relacionada con un pedido que necesitamos ayudar a procesar una devolución para un cliente? Bueno, para ese tipo de pregunta sobre un producto de cuidado del cabello para rizos, y cómo uso esta crema para rizos, lo clasificará tan inteligentemente como pueda y lo clasificará como una pregunta relacionada con el producto. Y usará las herramientas relevantes para buscar productos y responderá en consecuencia. O si le pregunto, oye, necesito devolver este champú. Bueno, clasificará ese mensaje como, bueno, no está realmente relacionado con la búsqueda de productos. Está relacionado con el manejo de la devolución.

Entonces, en su lugar, usará una herramienta diferente relacionada con la política de devoluciones para que pueda buscar información relacionada con la política de devoluciones e incluso involucrar a un humano en el proceso para aprobar el reembolso basado en ciertos criterios si es elegible para el reembolso. Así que puedes pensar en cada una de estas cajas como un nodo, ¿verdad?, donde va a, tiene un trabajo. Como, por ejemplo, este nodo clasificar mensaje va a determinar si el mensaje que se envió estaba relacionado con una consulta de productos o una consulta de devolución. Así que bordes, estas son estas flechas aquí. Esas son, puedes pensar en ellas como ramas y decide a qué nodo ir a continuación. Puedes pensar en ello como ramas condicionales. Y LandGraph también tiene algo llamado estado. Así que piénsalo como una memoria o algún tipo de bloc de notas compartido. Así que mientras pasa por estos nodos y bordes, lleva un registro de qué información se recopiló, qué información se comunicó de ida y vuelta. Así que recuerda, LangChain es la base. Pero LandGraph está construido sobre LangChain. Así que LangChain, piénsalo en una sola dirección. Pero LandGraph. Son múltiples opciones y escenarios diferentes, múltiples caminos. Incluso puede pausar para una intervención humana en el proceso, que vamos a ver en esta demostración. Y va a estar conectado a Amazon Bedrock para la base de conocimiento. Así que y también el modelo. Así que vamos a usar Amazon Bedrock para los modelos base a los que podemos conectarnos. Donde Bedrock está realmente alojando un modelo en la nube que vamos a usar. Y luego la biblioteca de las bases de conocimiento, nuestra información de productos. Te mostraré un ejemplo en breve de eso. Muy bien. Así que puedes pensar en el agente como un gráfico cuando se trata de LandGraph. Clasificar intención y determinará si. A qué agente dirigir la consulta. Si es una pregunta general como, hola, ¿verdad? Irá a la pregunta de devoluciones generales. Agente de devoluciones, pregunta de producto, asesor de productos, agente. Muy bien. Así que echemos un vistazo a una búsqueda forzada basada en el conocimiento.

No se permite adivinar, ¿verdad? Así que un modelo de lenguaje grande por defecto, podría simplemente adivinar. No sabría sobre mis productos. Honestamente, Clod no ha sido entrenado en esta aplicación que creé hace dos días sobre productos aleatorios de cuidado del cabello falsos con precios falsos inventados. No tiene idea sobre esto. Entonces, ¿cómo lo sabría? Lo sabría porque está conectado a una base de conocimiento.

Así que te mostraré un ejemplo y también te mostraré un ejemplo más tarde de cómo pude poner esto en una base de conocimiento. Por ahora, haré una demostración. Aquí hay un chatbot. Como puedes ver, hay diferentes productos aquí. Puedo hacerle una pregunta como. Así que, sí. Por ejemplo, puedo preguntar, ¿es seguro el curl cream para el cabello tratado con color? Ahora buscando en la base de conocimiento del producto. Perfecto. Así que ahora está respondiendo basado en la información que se ha subido.

Así que, por ejemplo, ¿cuánto cuesta el divine curl cream y qué ingredientes tiene? Así que puedo hacerle una pregunta muy específica sobre un cierto producto. Y es capaz de decirme con precisión que cuesta veinticuatro dólares, ¿verdad? Esto es veinticuatro dólares y me dirá los ingredientes clave como manteca de karité, extracto de linaza, glicerina. Vamos a verificar aquí. Sí, manteca de karité, extracto de linaza, glicerina. Así que sabe sobre la información actual. Correcto. Y si le pregunto cuál es el precio de este curl cream? Fue capaz de responder eso. Pero, ¿qué pasa con el cabello ondulado, puedo usarlo para eso? Correcto. En mi próxima pregunta, recuerda el hilo de lo que realmente estamos hablando. Así que sabe que estamos hablando del curl cream.

Correcto. Cuando digo, ¿puedo usarlo? Sabe qué es. Sabe que me refiero al curl cream definido. Así es como se crea un chat GPT, ¿verdad? Cuando hablas con chat, GPT debajo del capó. No es solo el modelo de chat GPT. Hay algún tipo de memoria involucrada que le permite entender el contexto de lo que estás hablando. Y una herramienta como land graph ayuda a proporcionar esa base.

Así que estoy bastante seguro de que estos chatbots que estamos usando ahora mismo utilizan estos tipos de herramientas adjuntas a un modelo. Así que sabe que estoy hablando del curl cream. Genial. Volver a las diapositivas aquí. Así que, sí, eso tiene algo que ver con el modelo. Hay una llamada de herramienta visible y también memoria y rag involucrados. Correcto. Así que déjame volver aquí. Para land graph, vamos a tener este flujo de trabajo. Va a clasificar nuestra intención para nuestro prompt. Como, si le hago una pregunta sobre un producto o si regreso.

Este es el flujo que va a seguir. Si le pregunto sobre una devolución, habrá una aprobación humana, una aprobación con humano en el bucle porque los reembolsos implican una participación monetaria. Correcto. Así que queremos asegurarnos de que los LLMs sean solo una parte de ello. Pero queremos que un humano real apruebe el reembolso o lo niegue al final porque no queremos que los modelos lingüísticos grandes sean responsables de los reembolsos de nuestro negocio. Podríamos ir a la quiebra. Quién sabe. Correcto.

Así que aquí hay otro gráfico que lo muestra. El flujo. Y dato curioso, es un gráfico, ¿verdad? Puedes ver el gráfico en este flujo y estamos usando Land Graph para crear este tipo de flujo. Probablemente por eso se llama Land Graph. Muy bien. Así que está basado en. Conocimiento de Bedrock.

Entonces, ¿cómo podemos hacer eso? Bueno, te mostraré una pequeña demostración aquí. Estoy usando Kiro. Kiro es mi ID de agente. Y aquí si creo una nueva sesión. Digamos que tengo todos estos productos basados en conocimiento sobre productos como estos son solo archivos markdown que hablan sobre la información del producto.

Y ya he subido esto a la base de conocimiento de Amazon Bedrock. Pero déjame también subir un nuevo archivo. Así que venta de verano 2026. Esto es para la promoción del 4 de julio. Quiero que el modelo de lenguaje grande sepa que en realidad algunos de estos productos ahora tienen un 50% de descuento en lugar de $24 por esa crema para rizos de la que acabamos de hablar. Son $12, ¿verdad? Así que quiero algunas actualizaciones de precios nuevas hasta el 4 de julio. Medianoche. Correcto. Así que realmente usaré algo llamado el agent toolkit.

Lo cual es, compartiré cómo configurarlo más tarde en la demostración, pero viene con el servidor AWS MCP y un montón de habilidades de agente que le indican cómo usar correctamente Amazon web services, herramientas y servicios para que el modelo de lenguaje grande realmente use estas herramientas cuando lo solicito. Así que diré que quiero. Subir el. Summer sale 2026 dot MD. Doc a nuestro Bedrock. Base de conocimiento usa el. Agents AWS agent. Para ayudarte a configurarlo correctamente. Y mi portátil ya está configurado para la cuenta de AWS así que. Averiguará a qué cuenta de AWS estoy conectado y realmente buscará. Documentación actual. Usando este servidor MCP. En Bedrock y todo lo demás. Que necesita cualquier tipo de servicios que necesite usar en AWS, para que sepa la información más reciente y luego usará ciertas habilidades de agente.

Por ejemplo, iré aquí. Así que el Amazon el AWS agent toolkit también viene con habilidades de agente que le dicen al agente cómo usar las mejores prácticas para trabajar con diferentes servicios. Por ejemplo, para Bedrock. Tiene toda esta información. Que es muy específica sobre cómo usarlo correctamente para que LLM no cometa errores al configurar nuestra base de conocimiento de AWS en Bedrock. Así que como puedes ver, está haciendo la llamada a la herramienta. Así que como puedes ver, está haciendo la llamada a la herramienta. Y va a agregar este documento a una base de conocimiento para que así es como hago que agregue ese documento a la base de conocimiento.

Volvamos a las diapositivas. También hay otro flujo para el enrutamiento de intenciones, así que quiero un reembolso para mi pedido, ¿verdad? Así que echemos un vistazo aquí. Para esto, va a verificar mi pedido si es un pedido real que existe en el sistema. Y luego verá si ese pedido es elegible para un reembolso. Así que si el pedido se realizó hace más de 30 días, no es elegible para un reembolso según los documentos que he proporcionado en la base de conocimiento. Así que verificará la base de conocimiento. Así que echemos un vistazo a eso.

Hay un pedido falso llamado LLM-999 que no debería encontrarse. Un pedido que es demasiado antiguo llamado LLM-1002 no es elegible para reembolso. Y luego un pedido válido para LLM-1001 que es elegible para reembolso. Así que preguntémosle, quiero un reembolso para mi pedido. Así que le diré, quiero un reembolso. Así que el clasificador de intenciones va a decidir, bueno, esto no está relacionado con un producto. Esto está relacionado con un reembolso. Así que me va a preguntar sobre el número de pedido. Mi número de pedido es LLM-10001. Pero si invento un número de pedido aleatorio, es LLM bla, bla, bla. Buscará ese pedido para mí. Así que el agente realmente va a saber usar una pequeña herramienta para buscar pedidos en una base de datos. Así que LandGraph me permite dirigir a ese agente para usar diferentes herramientas. Así que en este caso, basado en la respuesta que le di, usa la herramienta de búsqueda de pedidos y no lo encuentra en la base de datos. Así que alguien no va a obtener un reembolso por esto. Pero si le digo un pedido válido real LLM-1001, es LLM-1001. Lo buscará. Usará la herramienta. Creo que necesito darle todo en mayúsculas. Espera. Perfecto. Así que sí, es sensible a mayúsculas. Así que tal vez en mi script de Python podría haberlo hecho para que no sea sensible a mayúsculas. Así que ahora puede encontrar el pedido. Y aquí, en realidad tengo un archivo JSON de pedido simulado. Así que estos son los que hay. Así que para LLM-1001, ese es Jordan Lee. Y el artículo que ordenó fue una máscara de reparación semanal. Y fue ordenado dentro del último mes. Así que debería ser elegible para reembolso.

Y mientras eso sucede, como puedes ver, el servidor AWS MCP está funcionando para subir esta base de conocimiento. Me está pidiendo permiso. Simplemente diré permitir para que pueda subir el documento del descuento del 4 de julio a mi base de conocimiento. Quiero mostrarte eso en acción con el agent toolkit. Y cuando se encuentra con un error, en realidad lo resolverá automáticamente por sí mismo.

De todos modos, continuemos aquí. Ahora entrega, ¿puedes verificar el nombre o la dirección de correo electrónico? Así que esas son algunas características de seguridad adicionales, ¿verdad? Así que mi nombre o dirección de correo electrónico, déjame averiguar cuál es. Lo olvidé por completo. Es Jordan at example.com. Lo enviaré. Si le doy la dirección de correo electrónico incorrecta, entonces sabe que es una solicitud de reembolso fraudulenta. Perfecto. Así que verificará una nueva herramienta para la política de reembolso. Y revisará los documentos relacionados con la política de reembolso de nuestra empresa.

Y verá, está bien, ¿es este artículo elegible? Sí, lo es. Perfecto. Ahora, si deseas proceder con el reembolso, por favor confirma y déjame saber brevemente por qué deseas devolverlo. Simplemente ya no lo necesito. Ahora, nota que el modelo de lenguaje grande no me va a enviar automáticamente un reembolso. En su lugar, va a enviar este reembolso a un gerente, un humano, para su aprobación. Así que puedes ver este humano en el bucle aquí donde un humano, y lo tengo todo en la misma interfaz de usuario, pero en el mundo real, podrías tenerlo enviar un correo electrónico a un gerente real o un tablero diferente donde puedes tener un botón de aprobación o denegación aquí.

I just put it all in one thing for the demo. So I'll approve it as a human. So this is a human in the loop. That's another feature of LaneGraph. And refund is submitted. Perfect. So with that flow, this is what's happening, right? It's going to classify the intent. And in this case, we are working with the returns agent. Human in the loop is a feature where you would need LaneGraph for that rather than just LaneChain because LaneChain is a sequence of events. LaneGraph is many different conditions and also human in the loop where the agent can pause for a human to intervene before it continues working.

So after the human intervened and answer something, the LLM was able to add more information. That's the interrupt pattern in LaneGraph. That allows us to do that human in the loop where it can pause, wait for external feedback, such as a human in the loop, and then it can resume its workflow. And LaneGraph allows for that. And our RAG stack, our documents that we're uploading, let's take a look at that. How's that going? Allow. Yeah, right now, as you can see, it's making different API calls and it's working through uploading this to Bedrock. So right now. It's running some scripts and it knows how to navigate the different errors and policies for identity and access management on AWS because of the agent skills from the AWS Agent Toolkit. And it's uploading our 30-day, actually July 4th, discount promotion to the Knowledgebase. So AWS identity checks out with the current ARN. The Knowledgebase is active and configured with S3 vector storage and the data source is available pointing to the right S3 bucket.

Cool. So let's talk about how that works. So how does the Knowledgebase work? So in S3 is where I upload a bunch of documents. It's like a bucket where I can upload all of my product information, refund policy. And then in Bedrock, there's something called Titan embeddings, which basically turn these human readable documents into mathematical vectors. And then in S3, there's another bucket called the S3 vectors index where these mathematical representations of our product information represented as vectors, will put all of those vectors into this new S3 bucket. So you can think of S3 vectors index as basically a mathematical representation of all of our human readable words and files and documentation related to our products, refund policy, special promotions and discounts. They're represented in vectors and stored in this bucket so that when I use something called Bedrock Knowledgebase, Bedrock Knowledgebase is just something that allows me to query this vectors bucket.

And I can ask it questions like, what is the refund policy? And it'll actually connect. It'll be able to read these mathematical formulas and understand my question based on meaning. And it'll give me semantically matching answers instead of just looking up by raw keywords. And also there's IAM service role that allows all this to happen for access policy. And the AWS agent toolkit, what's the purpose of it? Well, AWS is always shipping out new updates and new best practices and new services. And even like in Bedrock, certain models are going to be deprecated. For example, Anthropic Cloud 3.5 is no longer going to be available. But instead, we're going to be using a different model. So it'll know which models are out of date. And it'll also know about how to handle certain errors and which order to do things like, should I put the documents in the S3 bucket first and then embed it with Titan? And then what's the workflow? It'll know about those best practices with the agent skills.

So how did we build this? Let's take a look at some code and I have this in my presentation guide here. We continue allowing it to do its thing here on the chat for it to upload the promotions discount document. So, yeah, in my backend, I'm connecting it to Amazon KnowledgeBases. So once I have uploaded the documents to a KnowledgeBase, there's something called a KnowledgeBase ID that Amazon would provide back to me that would link it to the proper place where this large language model can actually query that particular KnowledgeBase where my documents are stored. Now, I did not know too much Langraff about a month ago, right? I was able to build this out using QIRO by using something called a spec-driven development workflow. And let's pause real quick here. We can see that it's getting a pre-signed URL for the S3 bucket so it can upload documents. So it's doing its thing here. But anyways, this is some of the code.

Here's the tool example. So this is a function and it's labeled with a decorator called tool. And there's a doc string that tells it when to use this function. So any time it's related to a product question, it's going to use this particular function to retrieve from our KnowledgeBase. So that's how it works. So I want to talk about how I built this app. There's an agent skill that I use called Mastering Langraff. This has the latest best practices on using Langraff so that the agent doesn't hallucinate and doesn't create too many bugs when it's trying to build out my Langraff app. In this case, this here customer support bot. In QIRO, we can do something called spec-driven development. It's similar to plan mode.

When you're asking it to build an app, I will... First, it'll generate like a design document for how the app should work, what kind of features it should have. A requirements document talks about the features, user stories. And then it'll break down that into tasks. And it'll also use the appropriate agent skills.

So let's go back to the slides. So yeah, with QIRO, I was able to generate this app by first going through the spec-driven development workflow by generating requirements like user stories in the design. So even like code snippets or the architecture using it on AWS, Bedrock, things like that. And then it'll break that down into tasks for it to actually create code in Python to build out the app. And the mastering Langraff skill, it's an agent skill that I used with my AI coding assistant.

And it was able to catch certain bugs that otherwise a regular large language model, even Opus 4.8 probably would have missed. So yeah, that's how it was built. I have a video on how to use the agent toolkit to set up the AWS side of things with RAG that I can share with you. But if you wanted to connect with me on LinkedIn, please scan this QR code. I'm happy to answer any more questions you have. You can message me directly. Also, I have a full video on my YouTube on how to use the AWS agent toolkit, how to set it up.

Also a step-by-step blog on how to set it up including the relevant MCP server configuration and commands that you'll need to run in order to equip your coding assistant with the AWS agent toolkit so that you can just prompt it to set up your Bedrock setup for your Langraff app, and it'll just do it. And it'll do it very accurately with minimal issues. And then you can use your coding assistant to build your Langraff app and then connect it together. And that's how I was able to do this whole thing. Thank you for listening. I would appreciate any feedback you have by scanning this QR code.

This is one question in terms of if you got any value out of this presentation. I would love to hear it or any comments that you have. I would love to see your feedback. And I'll see you on the next one. Bye. And, yeah, please message me on LinkedIn if you have any other questions. Thank you. Thank you so much, Soroban, for your session. I enjoyed the most. I really like that you founded everything on open-source framework, Langraff. I'm a big fan of graphs myself for my previous employer. We and the team did a lot of experimentation and I'm truly a believer in graphs. So there are so many use cases where they just fit perfectly as the best possible solution. And I think you clearly demonstrated the value of that approach.

And we have a couple of questions so far. Chris is asking, in the product agent, what would be required to update the suggested prompts based on the overall conversation? Hi. Great question. I would make the app even more dynamic and more user-friendly because it feels very curated to the conversation where the suggested questions really reflect the conversation that's happening. So currently, right now, those little chips, those tabs of questions are hard-coded in HTML and never change because this is a small demo. But to make them follow and fly from the agent, it asks the model for two or three good follow-up questions based on what was just discussed. And in Langraff, there's an in-memory thread that we can continuously build on top of so that it knows about the context of the conversation.

So we can add that as part of the thread as well, like potential follow-up questions. So it allows the bot to actually answer those questions from the knowledge base as well if we make it so that the follow-up questions, the system prompt that we create for generating the follow-up questions are also grounded in what it knows in terms of the rag system that we have. So those follow-up questions can't be something super crazy either. It needs to be aligned to what we can expect the bot to know. And you can send those back to the browser using just tags as something like suggestions instead, instead of like chat response.

And the front-end swaps out those chips with new ones because of those tags. The nice part is the pieces are already in place. The app remembers each conversation and already streams type messages. So this is a focused add, not a rebuild. And the main trade-offs are a small bit of extra cost and delay per message because it has to generate the follow-up questions. So there are different models for different agents. So maybe for follow-up questions you don't need the most intelligent model ever because it already has the in-memory conversations.

So it can generate follow-up questions based off of that. Yeah, that's a super smart strategy to use different models for different tasks. They all serve different purposes. They all cost differently after all. So you also need to find good balance.

The key idea is that you can't rely on the bot's instructions alone to keep it safe because a clever message or even poisoned text in a knowledge based document can trick it into ignoring them. Concretely, the tools that touch sensitive data or money should check permissions themselves. As a rule of thumb assume the bot can be fooled and design it so that even if it is fooled it can't do any real damage.

Great question. The knowledge base needs continual updates to avoid stale or conflicting information. Setting up a system to trigger updates in the knowledge base when documents are updated in the workspace can help maintain accuracy. Sharing the demo code on GitHub for feedback and potential contributions can be beneficial for improvement and innovation.