Los chatbots con IA están en pleno auge, y no es difícil entender por qué. Cada vez más negocios buscan entregar un soporte 24/7 a sus usuarios, ofreciendo respuestas precisas y oportunas. Hasta hace poco, esta tarea era realizada principalmente por personas o sistemas automatizados con respuestas predefinidas, limitados en su capacidad para comprender y responder a las necesidades de los usuarios.
Foto Unsplash de Mohamed Nohassi
Los chatbots con IA han revolucionado la atención al cliente gracias a avances en los modelos de lenguaje, que les permiten mantener conversaciones más naturales y comprender el contexto de las preguntas. Además de ofrecer disponibilidad las 24 horas del día, pueden automatizar tareas repetitivas, personalizar la experiencia del usuario y recopilar datos valiosos para mejorar los productos y servicios.
Sin embargo, la implementación no está exenta de desafíos. Es fundamental contar con una base de conocimientos sólida y actualizada, así como considerar aspectos éticos relacionados con el uso de la IA. En este artículo, les contamos algunos de los desafíos a enfrentar al momento de implementar un chatbot con IA.
A menudo, las soluciones basadas en inteligencia artificial y procesamiento de lenguaje natural tienden a confundirse, aunque en realidad representan enfoques distintos para abordar problemas específicos.
Fine-tuning consiste en entrenar modelos con grandes cantidades de datos para que aprendan a realizar tareas específicas. Es como enseñar a un niño a reconocer objetos mostrándole miles de imágenes. RAG (Generación Aumentada por Recuperación), por otro lado, utiliza modelos pre-entrenados y una base de conocimientos para generar respuestas contextualizadas. Es como consultar a un experto en un tema específico.
Supongamos que queremos crear el chatbot para un servicio al cliente. Con deep learning, entrenaríamos un modelo con millones de conversaciones para que aprenda a responder a cualquier pregunta. Con RAG, utilizarías un modelo pre-entrenado y le proporcionarías información sobre los productos y servicios que te interesa que responda. Cuando un usuario hace una pregunta, el RAG generará una respuesta coherente usando la información proporcionada.
Considerando estas dos opciones nos centraremos en el uso de RAG y los puntos clave que debemos tener en consideración.
Flujo conceptual del uso del RAG con el LLM. fuente: Amazon
Los archivos o información que se utilizarán para enriquecer el contexto en un RAG podría ser lo más importante, o al menos una de las tareas más importantes.
Con el paso del tiempo, gran parte de la información necesaria para entregar soporte a los usuarios tiende a quedar en la mente del personal y no siempre se documenta por completo.- o no en su totalidad-, por lo que una gran parte del tiempo se puede ir en generar dicha fuente de conocimiento que permita al RAG entregar respuestas adecuadas. Por otro lado, no basta con tener toda la información por escrito; para que el RAG sea efectivo, es fundamental que los datos estén organizados de forma que la información relevante pueda localizarse fácilmente, lo que permite generar respuestas más precisas y coherentes.
Los embeddings son una herramienta de procesamiento de lenguaje natural que convierte el lenguaje humano en vectores numéricos, pero no vectores cualquiera, son vectores que capturan el significado semántico de dicho contenido permitiendo identificar contenidos similares.
Imagina estar en una gran biblioteca y querer encontrar libros similares a uno que ya leíste, aquí es donde entran en juego los embeddings, estos generan etiquetas personalizadas que se asignan a cada libro, pero en lugar de palabras son números, números especiales que capturan el significado del libro, por ejemplo un libro sobre gatos y perros podría tener una etiqueta similar a otro libros sobre mascotas.
Por otro lado los chunks son fragmentos de texto en los que se divide la documentación, la correcta utilización de los embedding y chunks puede tener un gran impacto en la precisión y coherencia de las respuestas, por lo tanto, es importante dedicar tiempo a seleccionar el embedding más apropiado y experimentar con diferentes tamaños de chunks.
No existen fórmulas mágicas 🪄.
Una alucinación ocurre cuando un modelo de inteligencia artificial “inventa” información, entregando respuestas incompletas o con información que no existe. Imagina preguntar a un modelo qué ocurrió el 1° de diciembre del 2050. Si el modelo no tiene esa información, puede priorizar el entregar alguna respuesta, llevando a una alucinación e inventar los hechos.
Las alucinaciones pueden ocurrir a base de diferentes condiciones, como puede ser la falta de información o recuperación de información irrelevante. Una pregunta demasiado ambigua, baja la calidad de los embedding o incluso por limitaciones del modelo utilizado puede ocasionar una alucinación.
Es importante entender, que si bien se han generado grandes avances relacionados con este tema en el último tiempo, las alucinaciones no pueden ser eliminadas en un 100%.
Algunas acciones que se pueden realizar para mitigar las alucinaciones son, mejorar la calidad de los datos utilizados, crear un proceso para verificar las respuestas o utilizar un modelo más robusto.
Los RAG, al igual que cualquier tecnología basada en inteligencia artificial, presentan desafíos éticos que deben abordarse con cuidado. Los modelos de IA pueden perpetuar sesgos presentes en los datos de entrenamiento, lo que puede llevar a resultados discriminatorios o injustos. Por ejemplo, un modelo de lenguaje entrenado con datos sesgados podría generar respuestas que refuercen estereotipos de género o raza. Además, la privacidad de los usuarios y el riesgo de generar información falsa representan preocupaciones importantes que deben abordarse con seriedad.
Algunas recomendaciones son:
Los sistemas de inteligencia artificial, como los Large Language Models (LLM), son tan vulnerables a ataques cibernéticos como cualquier otro sistema informático. Sin embargo, su complejidad y la naturaleza de su funcionamiento los exponen a amenazas únicas. Por ejemplo, los ataques de inyección de prompts pueden manipular las respuestas del modelo, mientras que el envenenamiento de datos puede alterar su comportamiento a largo plazo.
Para proteger eficazmente estos sistemas, es fundamental seguir las recomendaciones de guías especializadas como el OWASP LLM Top 10. Esta guía detalla las diez principales vulnerabilidades a las que se enfrentan los LLM y ofrece recomendaciones prácticas para mitigarlas. Algunas de estas medidas incluyen la validación rigurosa de las entradas, la protección de los datos de entrenamiento, la detección de anomalías y la implementación de mecanismos de defensa contra ataques.
Los RAG ofrecen una alternativa más económica al fine-tuning de modelos de lenguaje a gran escala. Al aprovechar modelos pre-entrenados y bases de datos externas, se reducen significativamente los costos de entrenamiento y mantenimiento. Sin embargo, los costos totales de un RAG pueden variar considerablemente dependiendo de factores como el tamaño del modelo, la cantidad de datos procesados, el número de usuarios y la complejidad de las consultas. Por ejemplo, ejecutar un RAG en la nube puede costar desde unos pocos dólares hasta varios miles de dólares al mes.
Las diferentes nubes cuentan con diferentes servicios especializados para desarrollo con inteligencia artificial:
En Microsoft Azure podemos encontrar Azure OpenAI Services, Azure AI Search, Azure AI Studio, Azure AI Speech, Azure AI Translator, Azure AI Content Safety entre otros.
Por el lado de Amazon también podemos encontrar una amplia gama de recursos como Amazon Bedrock, Amazon Q, Amazon Transcribe, Amazon Polly, Amazon Translate y Amazon Lex entre otros.
Además de los costos de infraestructura, otros factores que pueden influir en el costo total de un RAG incluyen los costos de almacenamiento de datos, los costos de licencia de software y los costos asociados a la integración con otros sistemas.
La inteligencia artificial ofrece un gran potencial para transformar la atención al cliente, brindando respuestas rápidas y personalizadas a las consultas de los usuarios. Sin embargo, es fundamental reconocer que la IA no reemplaza a los agentes humanos en su totalidad, sino que complementa sus habilidades. La combinación de ambas permite ofrecer una experiencia de cliente más completa y satisfactoria.
Al implementar soluciones de IA, es crucial considerar aspectos como la privacidad de los datos, la mitigación de sesgos y la necesidad de un aprendizaje continuo.
En conclusión, la inteligencia artificial representa una oportunidad única para mejorar la eficiencia y la calidad de la atención al cliente. Al adoptar un enfoque equilibrado, estratégico y teniendo presente los desafíos que conlleva, es posible aprovechar al máximo los beneficios de esta tecnología.
✍️Articulo co-escrito con Mauricio Astudillo, Technical Lead en Continuum HQ.
