Arquitectura técnica y componentes del Sistema UDALBOT
El objetivo final del Sistema UDALBOT es construir un framework y una suite de herramientas para la creación de agentes cognitivos conversacionales para la orquestación de los servicios de los ayuntamientos,
que incorpore los requerimientos específicos establecidos anteriormente por los agentes del “sector”. En los siguientes apartados se procede a realizar una breve descripción tanto técnica como funcional, del funcionamiento previsto
para dicho sistema. La figura siguiente (Figura 1), muestra la arquitectura funcional y las interrelaciones entre los diferentes componentes del sistema UDALBOT.
Figura 1: Arquitectura y componentes del Sistema UDALBOT
Dentro de la arquitectura del Sistema UDALBOT cabe destacar los elementos: UDALBOT Creator, UDALBOT NLU, UDALBOT QA, y el Corpus de los Ayuntamientos, pues son los principales elementos del sistema, y su desarrollo representa varios de los retos tecnológicos
más importantes del proyecto.
A continuación se realiza sucinta descripción del funcionamiento del sistema, así como la de sus principales componentes.
UDALBOT Creator se configura como un entorno integrado y diseñado especialmente para el desarrollo de bots para Ayuntamientos, permitiendo adicionalmente construir, conectar, probar, implementar y administrar y gestionar bots inteligentes, para lo cual
dispondrá de módulos específicos. La figura 2, muestra la arquitectura funcional de UDALBOT Creator
Figura 2: Arquitectura funcional de UDALBOT Creator
Servicio de Autenticación
La autenticación es el proceso que asegura que la otra parte es quien dice ser, por lo que su robustez incidirá directamente en la fiabilidad de los servicios prestados del ayuntamiento y la seguridad de los mismos. La necesidad de
implementar un servicio de autenticación y la complejidad del mismo, vendrá condicionado, por la importancia y criticidad del tipo de servicio ofrecido por el ayuntamiento.
Existirán servicios de información general (horarios,
teléfonos, información sobre trámites, etc.) que no necesitarán de ningún tipo de identificación.
Otros servicios, como por ejemplo los procesos asociados a la participación ciudadana, si que requerirán de la identificación
del usuario, por la tipología del servicio, la misma se podría realizar mediante un sistema de verificación de credenciales de inicio de sesión, como un nombre y una contraseña, las credenciales se intercambiarán por un token de
autenticación seguro, este token se utilizará en toda la sesión del usuario. La autenticación de dos factores es otra forma de verificar la identidad de un usuario al pedirle que verifique su cuenta a través de un correo electrónico
y un mensaje de texto. Esta técnica de autenticación también ayuda con la autorización al otorgar a la persona adecuada acceso y mantener la información en las manos adecuadas.
También existirán servicios, como por ejemplo
la realización de trámites específicos con la administración, que requerirán de procesos de identificación y autenticación “homologados” por parte de la administración. Séase el uso de certificados de firma digital (Izenpe, FMNT,
DNI electrónico, etc.) o sistemas homologados orientados a unificar y simplificar el acceso electrónico de los ciudadanos a los servicios públicos (GILTZ@, Cl@ve, etc.), mediante los cuales los ciudadanos pueden identificarse ante
la Administración mediante claves concertadas (usuario más contraseña), sin tener que recordar claves diferentes para acceder a los distintos servicios.
Por otra parte y para garantizar el acceso a los servicios de los ayuntamientos
mediante chatbots, desde diferentes canales (web, Telegram, Facebook, etc.), se utilizará una configuración basada en el protocolo https a través de un canal seguro (SSL/TLS) y autenticación. HTTPS es el protocolo web que garantiza
la privacidad e integridad de nuestros datos; este protocolo transfiere datos a través del protocolo de transferencia de hipertexto (HTTP) a través de una conexión cifrada por Secure Sockets Layer (SSL) o Transport Layer Security
(TSL).
Esta configuración se realizará al momento de registrar un chatbot en la plataforma UDALBOT Creator. Desde el Módulo Conector se especificará un token de acceso en la cabecera de cada solicitud. Por lo cual, la comunicación
se permitirá en función de la tipología del servicio, y si fuera el caso, solo se permitirá únicamente si se tiene el token de acceso.
Módulo Conector
El Módulo Conector será el encargado de permitir conectar a un Bot con uno o más canales de conversación, en los cuales intervienen las entradas y salidas del diálogo entre el bot y el usuario, través de un API REST, por lo cual toda
la información que se intercambia entre el usuario y el bot es convertido a Json. Este funcionamiento permite que el esquema de mensajes sea el mismo sin importar qué canal se esté utilizando.
El servicio se encargará del
envío y recepción de mensajes entre el usuario y el bot. El Conector también podrá conectarse con servicios cognitivos de IA (UDALBOT NLU) y recopilar información sobre el estado del servicio.
El Módulo Conector proporcionará
la posibilidad de usar distintos canales como, Web, Facebook Messenger, Slack, Microsoft Teams, Telegram, texto / SMS, Twitter, y Skype, para que los usuarios puedan comunicarse con los bots, aumentando la cantidad de interacciones
que puede darse entre los usuarios y bots.
Módulo Administración
Todos los servicios que se proporcionan desde los ayuntamientos son altamente replicables. La información, los trámites, las áreas, los procedimientos etc. son casi idénticos en todos los ayuntamientos. Por todo ello en el marco del
proyecto, una tarea muy importante va a radicar en hacer una búsqueda intensiva de toda esta información (preguntas/respuestas/ contenidos), y clasificar la misma en una Base de Datos general, a la que denominaremos “Conocimiento
Preestablecido”.
Este conocimiento preestablecido consistirá en una serie de contenidos, respuestas automáticas, reglas y árboles de decisión, asociados a unos dominios de conocimiento previamente identificados y establecidos, asociados
a los diferentes servicios a orquestar desde de UDALBOT, que de forma esquemática serían los siguientes:
- Servicios Ayuntamiento Trámites, Ayudas, Tramitación de expedientes, Pagos, Consultas, Certificados, Permisos, Contratos, etc.
- Comunicación Transversal Noticias, bandos, avisos, novedades, información, contenidos, etc.
- Ciudadanía activa Participación, opinión, valoraciones, evaluaciones, votaciones, sugerencias, quejas, reclamaciones, etc.
- Comunicación interna Comunicación entre áreas del municipio (policía, urbanismo, servicios sociales,..) entre entidades municipales
(biblioteca, polideportivo, ludoteca, etc.), así como también otros agentes sociales del municipio (clubs deportivos, asociaciones, etc)
Este conocimiento preestablecido, podrá ser “personalizado a cada ayuntamiento”. Dicha personalización se hará a dos niveles. Una mediante el módulo de personalización, en el que los programadores, alimentarán la base de conocimientos del ayuntamiento
con conocimiento no prestablecido, específico de cada ayuntamiento.
La otra mediante un Editor (herramienta de autor), en la que
cada ayuntamiento podrá personalizar su base de conocimiento preestablecido, (cambiar horarios, ubicaciones, documentos concretos, etc)
El personal del ayuntamiento, también tendrá la posibilidad
de responder directamente a preguntas realizadas por los ciudadanos (sistema híbrido), mediante el Editor
de Servicios del Ayuntamiento. Esto está pensado para poder responder a preguntas cuya respuesta no estuviera recogida en la base de conocimiento, o cuya respuesta fuera incorrecta (identificado en el Panel de Mando). Una
vez respondida, dicha nueva pregunta y nueva respuesta, respondida por personal del ayuntamiento, automáticamente pasaría a formar parte del Dominio de Conocimiento del ayuntamiento (UDALBOT QA), y estaría en el sistema para nuevos
ciudadanos que pregunten por el mismo tema.
Desde el módulo de administrador se gestionarán las posibilidades y las distintas fuentes del sistema de adquisición automática, y se generarán las interacciones preestablecidas
y el conocimiento previo preestablecido, de tal forma, que cuando se realice la implementación de un nuevo chatbot a un ayuntamiento se tenga un porcentaje muy elevado del trabajo ya realizado, y para dotar de inteligencia y personalizar
a su chatbot, solo tenga que seleccionar el ámbito de actuación y responder a unas cuantas preguntas guiadas asociadas con dicho ámbito de actuación.
Módulo Personalización
La personalización y generación de contenido propio no preestablecido (contenido específico de cada Ayuntamiento), así como la adaptación del contenido preestablecido se efectuará mediante el Módulo de Personalización que será el encargado
de dotar de la inteligencia personalizada del chatbot para cada ayuntamiento. El módulo de personalización es una herramienta pensada para “programadores”, para que los mismos puedan personalizar los servicios (contenidos) de cada
ayuntamiento de una manera ágil y sencilla. Dichos contenidos personalizados se incorporarán en la Base de conocimientos de cada Ayuntamiento.
El Módulo de Personalización, dispondrá también de un emulador para examinar
el funcionamiento de los bots antes de su implementación, hacer pruebas de desarrollo, así como evaluar la experiencia de usuario de los bots en diferentes canales.
Módulo Monitorización
El Módulo de Monitorización se concibe como una herramienta de Bussiness Inteligent (BI), con una serie de indicadores fáciles de visualizar, que permita a cada ayuntamiento hacer el seguimiento y la comprobación de la efectividad
de sus chatbots, así como detectar posibles áreas de mejora mediante distintos cuadros de mando personalizados.
Módulo Contextualizador
Con el objetivo de dar soporte a las interacciones proactivas, es necesario dotar al sistema con herramientas que permitan captar los elementos contextuales que puedan condicionar las respuestas que den los chatbots. Varios ejemplos
de este tipo de información contextual puede ser; la localización, la hora, el clima, la edad, el sexo, la zona de residencia, etc. Así por ejemplo, me puede informar sobre una ayudas concretas, avisar sobre un corte de agua, indicarme
a que hora exacta pasará el camión de inertes, etc.
Esta información contextual se administrará mediante un sistema de adquisición automática que no solo proveerá de información contextual, sino también de conocimiento semántico
que se irá incorporando en el dominio de conocimiento.
UDALBOT NLU
UDALBOT NLU se concibe como un servicio cognitivo que integrará diferentes componentes basados en aprendizaje automático (Machine Learning); datos, algoritmos y modelos entrenados, para crear una comprensión lingüística natural en
las aplicaciones de chatbots para ayuntamientos. La figura 3, muestra la arquitectura funcional de UDALBOT NLU.
Figura 3: Arquitectura funcional de UDALBOT NLU
Dicho servicio cognitivo será el que permita al sistema recibir las entradas de los usuarios en un lenguaje natural, predecir el significado global y extraer información pertinente y detallada.
La configuración de este servicio
se fundamenta en la definición de intenciones que pertenecen al dominio específico de servicios del ayuntamiento. Todas las intenciones definidas tienen sus declaraciones o expresiones que básicamente son oraciones que se relacionan con la intención definida. Por ejemplo, en el caso de los ayuntamientos, si se quiere obtener un certificado de empadronamiento, una expresión sería “Deseo obtener el certificado
de empadronamiento”.
Al crear una expresión, se podrán incluir Entidades que definirán una información específica y que ayudarán a que las expresiones empleadas sean más precisas. Tomando como dominio el pago de multas en
un ayuntamiento, un ejemplo de expresión con una entidad sería: “Quiero consultar el expediente número 1234”, en la cual el valor 1234 representa la entidad número. Este dato puede ser utilizado por la aplicación para realizar
algún tipo de operación concreta.
En el ejemplo anterior, la intención o el significado general de la frase es que el usuario está intentando encontrar un elemento. Los fragmentos de información detallados que UDALBOT NLU
extrae se denominan entidades. En este caso, las entidades son el nombre o el identificador del elemento que está buscando el usuario.
Las entidades son los datos que desea extraer de la
expresión, como nombres, fechas, nombres de producto o cualquier grupo de palabras significativo. Una expresión puede incluir varias o ninguna entidad.
El objetivo principal de las entidades es proporcionar a la aplicación
cliente la extracción predecible de los datos. Un propósito opcional y secundario es impulsar la predicción de la intención o de otras entidades con los descriptores. Existirán dos tipos de entidades:
- Con aprendizaje automático: desde el contexto (UDALBOT NLU)
- Sin aprendizaje automático: para buscar coincidencias de texto exactas, coincidencias de patrones o detecciones por entidades pregeneradas (UDALBOT QA)
Las entidades con aprendizaje automático de UDALBOT NLU, proporcionan la gama más amplia de opciones de extracción de datos. Las entidades sin aprendizaje automático funcionan por coincidencia de texto y se pueden usar de forma independiente o como restricción
en una entidad con aprendizaje automático.
Las aplicaciones cliente usarán el JSON devuelto de UDALBOT NLU, la intención (categoría) y las entidades (información detallada extraída), para impulsar
acciones en la aplicación cliente del ayuntamiento. Una aplicación cliente para UDALBOT NLU será la aplicación conversacional del ayuntamiento que se comunicará con un usuario en lenguaje natural para completar una tarea determinada.
La aplicación de UDALBOT NLU proporcionará la inteligencia para que la aplicación cliente pueda tomar decisiones inteligentes.
La aplicación de UDALBOT NLU, contendrá modelos de lenguaje natural específicos para ayuntamientos
asociados a los dominios de conocimiento establecidos (servicios, comunicación transversal, ciudadanía activa y comunicación interna), lo cual requerirá trabajar y generar de manera específica el CORPUS del lenguaje del ayuntamiento, para los 4 dominios, tanto en euskera como castellano, así como el desarrollo de los modelos asociados a dichos dominios, incluidas las intenciones y las entidades. Lo cual requerirá asimismo el desarrollo
e implantación de algoritmos de aprendizaje específicos, para el tratamiento del Euskera.
Todo ello se volcará en bases de datos específicas para cada dominio de conocimiento, que incorporen los modelos asociados a cada
dominio y sus correspondiente algoritmo de aprendizaje automático.
UDALBOT QA
UDALBOT QA, se concibe como el sistema de Inteligencia Artificial que albergará las entidades sin aprendizaje automático. La figura 4, muestra la arquitectura funcional de UDALBOT QA.
UDALBOT QA, es un servicio de procesamiento
de lenguaje natural (NLP) basado en un sistema de QA (Question/ Answering) con la capacidad de crear bases de conocimiento de una manera simple, ya que permitirá extraer pares de preguntas y respuestas de entradas como páginas
web y documentos fuera de línea (.docx, .pdf, .xlsx, etc. ) que contengan la estructura y semántica.
Figura 4: Arquitectura funcional de UDALBOT QA
UDALBOT QA permitirá crear con facilidad una capa natural de conversación con los datos. El sistema funcionará por coincidencia de texto y se podrá usar de forma independiente o como restricción en una entidad con aprendizaje automático, para responder
a las preguntas de los usuarios de una manera más natural y conversacional, buscando las respuestas en las bases de conocimiento específicas a cada dominio de conocimiento.
El usuario interactuará
con chatbot del ayuntamiento, y este enviará la pregunta al punto de conexión de la base de conocimiento, recibiendo la respuesta como un JSON. UDALBOT QA importará el contenido de la base de conocimientos (preguntas y respuestas)
del dominio determinado. El proceso de importación extraerá información sobre la relación entre las partes del contenido estructurado y semiestructurado para implicar relaciones entre los conjuntos de preguntas y respuestas.
Los
programadores tendrán herramientas (módulo de personalización), para editar conjuntos de preguntas y respuestas ya existentes en relación a los servicios de los ayuntamientos (conocimiento preestablecido), o agregar otros nuevos
(conocimiento no preestablecido). El contenido del conjunto de preguntas y respuestas incluirá:
- Todas las formas alternativas de la pregunta.
- Indexación mediante etiquetas con metadatos a ser utilizadas en el refinamiento de las opciones de respuesta durante la búsqueda.
- Indicaciones de seguimiento para continuar con el perfeccionamiento de la búsqueda.
Los ayuntamientos también podrán editar las respuestas (no las preguntas) mediante una herramienta de autor, personalizando su base de conocimiento preestablecido, y cambiando el contenido de algunas respuestas (horarios, ubicaciones, estilo, documentos
concretos, etc.)
UDALBOT QA, proporcionará también la posibilidad de realizar solicitudes “multiturno” y herramientas de aprendizaje activo supervisado, para mejorar
el nivel de aproximación de las preguntas y respuestas. Los mensajes multiturno ofrecerán la oportunidad de conectar pares de preguntas y respuestas.
Esta conexión permitirá a la aplicación cliente proporcionar una respuesta
superior y proporcionar más preguntas para refinar la búsqueda de una respuesta final. Por ejemplo a la pregunta del usuario: “Quiero hablar por teléfono con el Ayuntamiento, cual es el teléfono de contacto?, el sistema puede responder
con la siguiente pregunta, “Con que área concreta del Ayuntamiento desea hablar?. U otro ejemplo, en el caso de que el usuario quisiera presentar una queja; “Quiero presentar una queja”, la respuesta del sistema podría ser; “Sobre
que tema quiere presentar una queja, escoja alguno de los siguientes o indíquenoslo”.
Por otra parte, las herramientas de aprendizaje activo supervisado, plantean hacer al propio usuario parte activa del proceso de aprendizaje
del sistema, siguiendo el ejemplo anterior, después de que el sistema responda al usuario, indicándole el número de teléfono del área de urbanismo (era el área que el buscaba), el sistema le podría preguntar directamente, que valorará
el nivel de exactitud de la respuesta obtenida, y de esta manera el sistema iría aprendiendo de las propias interacciones con los usuarios.
¿Cómo funciona la plataforma?
El desarrollo del Sistema UDALBOT estará basado en el enfoque SOLOMO (Social, Local y Mobile). El funcionamiento del sistema se articula en torno al ciudadano, a su
dispositivo móvil (smartphone), y su interconexión con el catálogo de servicios del Ayuntamiento (Servicios, Comunicación transversal, Ciudadanía ACTIVA), así como la comunicación interna del municipio, todo ello mediante asistentes
cognitivos conversacionales. (Ver figura 5)
Figura 5: Interconexiones en UDALBOT
La plataforma UDALBOT, se compondrá de 4 capas de servicio (figura 5), totalmente modulares e independientes entre sí, que darán soporte a la interacción de los ciudadanos con los servicios del
ayuntamiento, y a los propios workflows dentro del municipio. El usuario final (ciudadano del municipio, visitante, turista, etc.,), podrá acceder al sistema UDALBOT del municipio mediante su dispositivo móvil. El sistema funcionará
en múltiples canales (telegram, web, sms, Facebook, etc.) a los que accederá el usuario mediante el navegador del dispositivo móvil.
El usuario establecerá una conversación con el sistema UDALBOT a través del canal que haya seleccionado, antes de contestar el sistema identificara el tipo de servicio requerido por el usuario (en uno o dos pasos), y en base a este establecerá la necesidad
de autenticarse en el sistema o no. A continuación se muestra figura con el proceso de interacción entre el ciudadano y el sistema UDALBOT (Figura 6)
Figura 6: Interacciones con UDALBOT
Una vez se ha recibido el mensaje y autenticado al usuario (o no, sino fuera necesario), el sistema empieza su funcionamiento. Se categoriza el mensaje, se interpreta la intención y se la da una respuesta, la cual se busca en la base de datos (dominio
de conocimiento) correspondiente. Dicha respuesta puede ser automática (UDALBOT QA), o puede ser necesario tener que identificar la intención exacta antes de ser respondida, todo ello teniendo en cuenta el contexto en el que se
realiza dicha pregunta.
En el caso de que no exista una respuesta, o la pregunta se quede sin responder, el personal del ayuntamiento puede intervenir dando una respuesta a la pregunta del ciudadano. En primera instancia, el chatbot podría indicarle al ciudadano, que en ese
mismo momento no hay una respuesta a su requerimiento (pregunta), pero que en breve se le daría una respuesta. Una vez que el personal del ayuntamiento ha respondido al ciudadano, mediante el Editor que dispondrá a tal efecto,
dicha nueva pregunta y nueva respuesta, automáticamente pasaría a formar parte del Dominio de Conocimiento del ayuntamiento (UDALBOT QA), y estaría en el sistema para nuevos ciudadanos que pregunten por el mismo tema.
