Un equipo multidisciplinar compuesto por expertos del Instituto Andaluz Interuniversitario en Ciencia de Datos e Inteligencia Computacional (DaSCI), del grupo ‘Soft Computing and Intelligent Information Systems (SCI2S)’ de la Universidad de Granada y la Fundación Andaluza para la Divulgación de la Innovación y el Conocimiento, Descubre, ha diseñado MonuMAI. Se trata de un sistema informático basado en IA, que aúna algoritmos matemáticos, descripciones artísticas y la participación ciudadana para identificar estilos arquitectónicos en monumentos.
MonuMAI (acrónimo que unifica los ámbitos de estudio sobre los que se basa el trabajo: monumentos, matemáticas e inteligencia artificial) es un sistema inteligente nacido en Andalucía y que ha recibido fondos de la Universidad de Granada y de la Fundación Descubre, que combina matemáticas, arte y ciencia ciudadana para identificar al instante los elementos de un monumento histórico y su estilo arquitectónico. En concreto, el equipo de investigadores al frente del proyecto ha configurado algoritmos que, con la colaboración de personas anónimas que envían fotografías al sistema desde sus teléfonos móviles, detecta la existencia de elementos arquitectónicos en las imágenes.
En primer lugar, el sistema hace una lectura general de la foto y la divide en distintas partes, para después procesar en cada una de ellas la información que contiene y rastrear en busca de objetos conocidos. En caso de detectarlos, señala, procesa e identifica esos datos.
Para la identificación de las partes estructurales y decorativas de una obra arquitectónica, los expertos han mostrado al sistema ejemplos de imágenes supervisadas. De esta manera, han creado una base de datos que dispone ya de más de 8.000 elementos. Se trata de un trabajo de campo que sigue activo, ya que es un banco de recursos abierto en el que los algoritmos diseñados por investigadores y divulgadores científicos van aprendiendo, mejorando y actualizándose a partir de nuevas imágenes enviadas por la ciudadanía.
Sistema basado en deep learning
El artículo titulado ‘MonuMAI: Dataset, deep learning pipeline and citizen science based app for monumental heritage taxonomy and classification’ (MonuMAI: Conjunto de datos, canalización del deep learning y app basada en ciencia ciudadana para la clasificación y taxonomía del patrimonio monumental), publicado en la revista Neurocomputing, detalla que MonuMAI se basa en el denominado deep learning o aprendizaje profundo.
Los algoritmos del sistema están programados para ofrecer información sobre el estilo arquitectónico detectado a partir del color, la estructura, la forma, el fondo o la textura, a la vez que aporta datos sobre proporción y simetrías. Sin embargo, su comportamiento depende de la definición previa que se le marque y del etiquetado establecido a priori por los expertos para proporcionar datos detallados y precisos.
Además, el tiempo estimado para procesar una imagen es de 0,15 segundos y el de espera hasta que recopila la información concreta del elemento arquitectónico detectado es menor a los dos segundos. En este sentido, Alberto Castillo, investigador de la Universidad de Granada, del DaSCI y coautor del estudio, ha explicado que el objetivo es reducir aún más estos tiempos para que los datos descriptivos de las imágenes lleguen al usuario en tiempo real.
En cuanto al papel de las matemáticas, por una parte dan soporte a los algoritmos de reconocimiento visual y a los métodos con los que se trabaja, y por otra, forman parte de los métodos de razonamiento que permiten clasificar los estilos. Así, este estudio multidisciplinar es el resultado de la combinación de cuatro áreas: matemáticas, arte, inteligencia artificial y colaboración ciudadana.
Aplicación para Android e iOS
Los investigadores han desarrollado una aplicación gratuita para teléfonos móviles Android e iOS denominada ‘MonuMAI’, así como la página web monumai.ugr.es, con el objetivo de comprobar la usabilidad y rendimiento de los algoritmos configurados.
Con la finalidad de compartir todos los conocimientos con la ciudadanía, el sitio web muestra las imágenes procesadas de los monumentos, información generada por la aplicación móvil gracias a las aportaciones de los usuarios. Por su parte, la app recaba todos los contenidos de la web relativos a cada rama de investigación, explicación sobre el proyecto y también las fotografías de los usuarios. De esta manera, ambas plataformas se retroalimentan entre sí.
En cuanto a la aplicación, que cuenta ya con más de 2.300 perfiles registrados, incluye una biblioteca que reúne todos los elementos que va registrando y dos algoritmos, cuyas funciones son detectar esos objetos y proporcionar información sobre los mismos -uno de ellos se dedica al estilo arquitectónico y el otro a los elementos que contenga la imagen-.
Una vez descargada la app, cualquier usuario interesado puede subir una foto propia de un monumento determinado. Así, participan activa y directamente en el proyecto colaborativo, donde actúan como ciudadanos-investigadores y contribuyen a mejorar el sistema, ya que proporcionan continuamente información actualizada y los algoritmos aprenden cada vez más. Tras recibir y procesar de forma automática una imagen, el servidor la devuelve con información detallada sobre los elementos arquitectónicos de los estilos que conoce.
Hasta ahora, el sistema es capaz de identificar elementos de estilos artísticos presentes en toda Europa, incluyendo los de la Andalucía Medieval y de la Edad Moderna, como el hispanomusulmán, renacentista, barroco o gótico. Asimismo, aporta información detallada acreditada por investigadores de arte y matemáticas andaluces. “A diferencia de otras app o programas con fines similares, no redirige a otras páginas web que ofrecen contenido explicativo, sino que los datos que presenta son propios. De hecho, son generados por una inteligencia artificial que ha aprendido del conocimiento experto que le hemos proporcionado”, aclara Alberto Castillo a este respecto.
De cara al futuro, el objetivo del equipo de investigadores es continuar haciendo mejoras en el sistema, así como introducir funciones adicionales, como la mencionada optimización del tiempo de procesamiento y de espera. De igual modo, están estudiando la incorporación de nuevos algoritmos que recomienden visitar monumentos situados en ubicaciones cercanas al usuario.