BrainPort: Monitorización de vertidos en Puertos y Playas

Comunicación presentada al V Congreso Ciudades Inteligentes

Autores

• Aitor Moreno Fdez. de Leceta, Director del Dpto. de Inteligencia Artificial, Ibermática
• Lorenzo Díaz de Apodaca, Director Técnico, Airestudio Geoinformation Technologies
• Alexeiw Martínez, Científico de Datos, Instituto Ibermática de Innovación
• Leire Ezquerro Insagurbe, Profesora, Universidad del País Vasco

Resumen

BrainPort (Ibermática y AirStudio) es una herramienta que permite alertar de forma temprana sobre vertidos de los buques en entornos portuarios. Utiliza técnicas de visión artificial sobre imágenes procedentes de vuelos no tripulados o imágenes satelitales. BrainPort chequea las imágenes, identificando posibles vertidos. La plataforma incorpora un sistema de visualización de las zonas de interés, alarmas, ubicación de navíos y vertidos, y una muestra de su avance en el tiempo, desde el momento cero del vertido.

Palabras clave

Inteligencia Artificial, Visión Artificial, Imágenes Satelitales, Drones, Vertidos

Introducción

Las mareas negras producidas por accidentes en buques petroleros y el vertido resultante de las operaciones rutinarias de buques y de actividades ilegales, como arrojar al mar los residuos oleosos de las sentinas o los restos de crudo del lavado de tanques, son fuentes importantes de la contaminación por hidrocarburos de los océanos. La falta de adecuadas instalaciones de recepción en puertos para recibir estos residuos, la gran cantidad de buques viejos y con sistemas deficientes para el tratamiento a bordo de estos productos o su mantenimiento hasta depositarlos en un punto de recepción, la falta de sistemas de vigilancia, la débil legislación y la carencia de escrúpulos de algunas personas y empresas provocan que cada año se viertan al mar millones de toneladas de hidrocarburos. En los últimos 30 años se ha producido una media anual de unos 50 accidentes de petroleros con vertidos de más de 7 toneladas de crudo y unos 250 de menores dimensiones, aportando un 12% del total de hidrocarburos que terminan en el medio marino, lo que puede llegar a suponer entre 240.000 y 960.000 toneladas. Pero estas cifras no contemplan la totalidad del aporte de hidrocarburos al mar desde buques, ya que las operaciones de rutina añaden un 33% más a éstas, entre 666.000 y 2.640.000 toneladas [1] Es decir, o entre 8 y 33 veces el vertido realizado por el buque Prestige. La mayoría de estos vertidos proceden del lavado ilegal de tanques en alta mar y de las operaciones rutinarias de carga, descarga, bunkering, etc. Algunos grandes petroleros pueden llegar a generar unas 800 toneladas de crudo de residuo por carga transportada. Uno de los principales problemas para atajar este problema es que es difícil obtener valores objetivos y fiables sobre el infractor, la cantidad de residuos generados, etc No existen estimas fiables sobre la generación y vertido de hidrocarburos y aguas oleosas, ya que en muchos de los casos el vertido se detecta muy tardíamente cuando este impacta contra la costa, dificultando el establecimiento del infractor. El objetivo de BrainPort es crear una herramienta que permita alertar de forma temprana a los técnicos para la generación de acciones reactivas inmediatas, sobre los estados iníciales de los vertidos en los buques, o prácticas no lícitas de limpieza que estén generando vertidos alrededor del puerto mediante la conjunción de diversos sistemas de predicción de corrientes marítimas, vigilancia on-line y proactiva de vertidos en base a imágenes aéreas tratadas con técnicas de visión artificial.

Descripción de la solución

Brainport se configura como una plataforma, que en base a vuelos no tripulados o imágenes satelitales, capaz de detectar vertidos e interpolar el origen de los mismos. El origen de la información del sistema es la recogida de información por medio de imágenes obtenidas bien por drones en puertos o por imágenes satelitales en alta mar. A partir de dichas imágenes, el sistema propuesto procesará la imagen recogida por el aparato, por medio de dos modos: en “streaming”, si la conexión inalámbrica lo permite, o en un proceso posterior, en el que el vídeo se procesa de manera desasistida en la detección de vertidos. En ambos casos, el sistema chequea las imágenes del video, con una cadencia determinada, parametrizable, en la detección de vertidos en el mar. Una vez identificada la hipótesis de vertido, en el caso de que existiera, el sistema valido la zona de interés encontrada para certificar, con una confianza determinada, si dicha mancha efectivamente se corresponde a un vertido. Una vez certificada la misma, el sistema chequea en el video la progresión de la misma, como una primera entrada al sistema de interpolación de origen de la misma, acotándose las variaciones de longitud, anchura, ángulo y vector de desplazamiento de la misma. Así mismo, la herramienta permite un aprendizaje automático de patrones (petróleo, crudo pesado o liguero, keroseno, gasoil, etc.) de vertidos por parte de los usuarios finales (módulo de aprendizaje de patrones), de forma que los usuarios finales del mismo sean autónomos a la hora de “enseñar” al sistema muestras de vertidos diferentes a los “usuales”. Por último, la plataforma contiene un sistema de visualización de las zonas de interés, alarmas, ubicación de navíos y vertidos, y una simulación de su avance en el tiempo, desde el momento cero del vertido.

Antecedentes

Existen muchas fuentes de contaminación en instalaciones portuarias, pero por citar algunas, estaríamos hablando del propio transporte marítimo, el transporte terrestre (camiones y vagones), las conducciones y los elementos de almacenamiento como por ejemplo los tanques. Respecto a las causas a las que puede achacarse esta contaminación, pueden ser operativas (carga y descarga; bunkering y trasiegos de elementos), accidentales (colisiones, encallamientos, varaduras, fallas estructurales, incendios y explosiones, rotura o fisura de conducciones, colapso o daño en tanques cisterna, daños o pérdida en contenedores) o fruto de operaciones ilegales. Además del cumplimiento de la legislación, la capacidad de disponer de un sistema de respuesta a estas eventualidades, organización, planificación, sistemas de vigilancia y notificación más efectivos y eficientes, posibilidad de organizar mejor las operaciones, orientar la formación y las simulaciones y depuración de responsabilidades, justifican la oportunidad de este proyecto. En muchos casos son infraestructuras delicadas que precisan disponer de planes de contingencias, unos rigurosos estudios de riesgos para tener previstas las medidas de protección adecuadas. A pesar de que la UE es una de las zonas de recepción con mayor número de instalaciones portuarias para cumplir con los requerimientos de los convenios internacionales, éstas aun distan mucho de poder ser consideradas óptimas dado su gran volumen de comercio de hidrocarburos. Diversos investigadores han denunciado esta situación y la falta de estudios coste/beneficio sobre la gestión (o no gestión) de dichos residuos: estaríamos hablando de unas 252.000 toneladas de hidrocarburos en España y entre 1,7 y 2,8 millones en Europa de residuos por este origen. Por otro lado, tal y como rezan la normativa Portuaria en general, es obligación del Operador que se encuentre manipulando una mercancía, suspender de inmediato la actividad cuando, por circunstancias meteorológicas u otras causas cualesquiera, se ocasionen daños a terceros o sobre el medio ambiente, debido a vertidos al mar, emisiones de partículas a la atmósfera y derrames sobre los suelos del Puerto, todo ello con independencia de que la actuación se ajuste a las disposiciones contenidas en las presentes normas. La implementación de las actuaciones derivadas de la aplicación de la Directiva Marco del Agua al ordenamiento jurídico estatal conllevará una mayor vigilancia de la calidad de las aguas y, por consiguiente, un incremento de los presupuestos destinados a tal fin. (G4-EN27, Bilbao Port). Sin embargo, la captación identificación y anotación de estos vertidos en base a imágenes recabadas de drones o satélites se procesa actualmente de manera manual en la mayoría de los casos. Sólo existe un proyecto similar en el Estado Español, como posible competencia, liderado por la Universidad de Alicante, que trabaja en un sistema de visión artificial que en tiempo real para detectar la presencia de vertidos contaminantes sobre la superficie del mar, que finaliza en el 2017, denominado “ON-TIME”. Esta situación no es exclusiva del sector marítimo, y es extrapolable a otros entornos/problemáticas  ya que  la anotación, análisis y diagnóstico de la información extractada por medio de sistemas de vuelo (tripulados y no tripulados), o sistemas terrestres, es procesada actualmente de manera semimanual, debido a las dificultades técnicas de automatizas los procesos de extracción de información relevante, anulación del ruido y falsos positivos, cotejo y “cosido” de imágenes, y evaluación de la identificación y calidad de los datos extraídos, tanto en sistemas 2D como en sistemas 3D. Todos los agentes que están trabajando en el sector, y así lo han expresado en el congreso CivilDron2016 [2], coinciden en que el valor añadido en las aplicaciones comerciales actuales es la obtención de conocimiento automático sobre los datos extraídos de los diferentes sensores de los drones (cámaras ip, térmicas, espectrales, lidar, etc.). Igualmente, en la jornada organizada sobre Drones y Seguridad Privada en Madrid donde se reunieron las principales empresas de Seguridad Privada, Policía Nacional y Guardia Civil, teniendo participación activa de Airestudio, una de las líneas principales de trabajo definida es la automatización en la interpretación de los datos procedentes de cámaras, y otros sensores para facilitar una rápida toma de decisiones prácticamente en tiempo real.

Metodología Funcional

De cara a cubrir la demanda de automatización de anotaciones en sistemas de análisis en vertidos, Brainport implementa distintos tipos de componentes para la gestión de la información, en los siguientes subsistemas:

• Recogida de información en vuelos de prueba e información satelital
• Integración de datos en tiempo real de los vuelos y satélites en la plataforma de analítica avanzada
• Agregación de datos en base de datos públicas (oleaje, corrientes, viento navíos, meteorología, históricos, calendarios del Puerto, etc.)
• Análisis, estudio y modelado de los algoritmos necesarios para la detección temprana de vertidos
• Detección del origen del vertido (navío u gestión terrestre) en base a técnicas de rastreo
• Visualización y aviso de alertas

El procesamiento de dichos subsistemas entra dentro del área denominada como Big Análisis, dada la volumetría, variabilidad que requieren los subsistemas anteriores. Big Análisis es todavía una disciplina incipiente que cuenta con el soporte de tecnologías maduras para el procesamiento y conocimiento científico-tecnológico previo de análisis de datos, reconocimiento de patrones, principalmente en la gestión de datos visuales, y enlaces a anotaciones semánticas, desde un punto de vista cuantitativamente menor y más homogéneo. En este sentido, existe todavía un largo recorrido en cuanto a aspectos tales como:

• Implementación concurrente (en términos de MapReduce) de los diferentes procesos, métodos y algoritmos
• Monitorización en tiempo real de casos en los que la dimensión de velocidad del conjunto de datos es muy elevada
• Procesamiento de información altamente heterogénea
• Estimación automática de la calidad del dato
• Adaptación ágil a las características de cada caso de uso
• Métodos de clasificación semi-supervisados

El Análisis de los datos implica extraer conclusiones basado en la revisión de los conjuntos de datos, en este caso, multiformato y gestión de la fusión de conclusiones multimódulos. Estas tareas pueden ser divididas en análisis estadístico y modelización avanzada. En Brainport la implantación de estos modelos se ha realizado en base a una metodología bien definida y probada denominada CRISP-DM. La metodología de CRISP-DM está descrita en términos de un modelo de proceso jerárquico, consistente en un conjunto de tareas descritas en cuatro niveles de abstracción (de lo general a lo específico): fase, tarea genérica, tarea especializada, e instancia de procesos. Ibermática, en base a su experiencia y conocimiento adquirido a partir de estar trabajando con estas técnicas hace más de 10 años, suministra al proyecto la utilización de modelos ya predefinidos, en base a su repositorio de métodos de análisis de la información, principalmente en el aprendizaje automático. El aprendizaje es el proceso por el cual un algoritmos o conjuntos de algoritmos, al cabo de un tiempo de entrenamiento o proceso, convergen hacía un modelo estable que satisface la relación intrínseca entre los datos en un determinado umbral o porcentaje de certeza. Así, existen dos métodos de aprendizaje, básicamente, el supervisado (el grupo de entrenamiento conoce el objetivo al que tiene que converger, es decir, las imágenes de entrenamiento que luego serán anotadas por el sistema), y el no supervisado, en dónde no se conoce “a priori”, ningún objetivo, que aplican en este proyecto en el filtrado de ruido y normalización previa de los datos. Con estos algoritmos, es posible realizar procesos de Segmentación de puntos de interés a seguir en los vídeos a chequear.

Metodología Algorítmica

En base a los objetivos tecnológicos y científicos, el Estado del Arte está relacionado con las técnicas de anotación multimedia de objetos e identificación de zonas de interés, tanto en vídeos como en “streaming”.  El procesamiento digital de imágenes, incluye un conjunto de técnicas que operan sobre la representación digital de una imagen, a objeto de destacar algunos de los elementos que conforman la escena, de modo que se facilite su posterior análisis, bien sea por parte de un usuario (humano) o un sistema de visión artificial. Las imágenes multimedia se caracterizan fundamentalmente por la dificultad que existe a la hora de generar información válida para ser procesada. Poseen gran cantidad de ruido y una enorme variabilidad en sus propiedades. Por ello es preciso un tratamiento para la clasificación de las imágenes. Pero antes de la clasificación existe un trabajo previo consistente en la normalización, y limpieza del posible “ruido” que haya en la imagen, y después, en la selección automática del área de interés dentro de la imagen que hay que clasificar. Existen múltiples técnicas de filtrado de las imágenes, básicas como normalizaciones de píxeles, la utilización de máscaras, y la ecualización de histogramas, o técnicas más complejas, como el Suavizado Gaussiano, Difusión Anisotrópica de Curvatura, o algoritmos de segmentación (Segmentación Mediante Umbrales (Thresholding) [3]. En general, el problema de la identificación de las zonas de interés dentro de la escena para su posterior clasificación es altamente sensible a la escala y a la luminosidad. Una vez seleccionado el área de interés concreto, hay que realizar la identificación de qué es lo que puede referenciar dicho área. Para ello, en la bibliografía se han empleado distintas técnicas de visión artificial, como “machine template”, correlación de histogramas, correlación de contornos, correlación entre características principales, árboles de decisión, redes neuronales, correspondencia de plantillas, autovectores, y en los últimos años, empiezan a surgir con fuerza las llamadas redes convolucionadas o “deep learning” y redes profundas recurrentes. Todos estos métodos toman como hipótesis de partida el hecho de que para un área de interés, los valores de las características que lo definen no varían mucho en diferentes imágenes. Los problemas anteriores en la selección de escenas de interés (escalabilidad, luminosidad y ruido), se traslada a la identificación, generándose numerosos falsos positivos cuando los sets de entrenamiento y la aplicación en vídeos reales tienen una diferencia de escala, o de aplicación en distintas condiciones de luz que actualmente son de difícil solución. Las últimas técnicas de aplicación de redes convolucionales sobre las características principales de las escenas relevantes (más invariables a escalas), así como técnicas de “podado” de conexiones neuronales (Dropout), y técnicas de hibridado de clasificadores parecen una buena estrategia de futuro para resolver estos problemas [4]. En BrainPort, se ha trabajado en la generación de redes neuronales profundas, pero con capacidad elástica, de forma que la generación de las capas intermedias sea generada en función de los sets de entrenamiento de forma autónoma, con estrategias de “podado” de conexiones sinápticas entres las capas (dropconnect),  y en una estrategia importante de “Ensembling” de clasificadores, y métodos de visión artificial, así como en la comparativa de estas redes con métodos de clasificación automática “machine learning” más clásicos, como SVM, árboles de decisión y Naives Bayes entre otros.

Implementación

El proyecto Brainport se ha nutrido de imágenes que proporcionan las diversas plataformas satelitales existentes en la actualidad, y que debido a su política de datos libres se encuentran al acceso de los usuarios. El proceso de investigación y análisis de las imágenes satelitales se ha dividido en tres metodologías. La primera de ellas se centra en imágenes satelitales ópticas (multiespectrales), la segunda metodología aplicada se basa en imágenes RADAR (SAR) y, finalmente, la tercera, tiene como origen sensores multiespectrales a bordo de RPAS o Drones. Las imágenes por satélite nos proporcionan diversos espectros electromagnéticos que son de gran utilidad cuando el objeto que queremos identificar es difícil de evaluar a simple vista. Sus diferentes bandas nos permiten entrenar un sistema basado en estos espectros, los cuales varían dependiendo del compuesto químico que reflectan. Aunque las imágenes por satélite multiespectrales nos aportan todos los datos necesarios para la identificación del vertido, estas no son suficientes en los casos en los que objetos reflectivos como nubes tapan a nuestro vertido objetivo. Para resolver esta problemática se ha optado trabajar con imágenes radar o SAR (Synthetic Aperture Radar). Este tipo de imágenes nos aportan los datos necesarios para que el sistema identifique los vertidos con buena tasa de acierto en caso de que factores medioambientales como las nubes no permitan la detección por imagen multiespectral. Las plataformas satelitales empleadas en esta fase han sido Landsat 5 TM, MODIS y Landsat 7 ETM+, Sentinel-2 y Landsat 8, siendo estas últimas las que se han establecido como óptimas en la detección de vertidos de hidrocarburos. A la hora de trabajar con imágenes satelitales y realizar procesamiento de las mismas, es necesario trabajar con valores de reflectancia. Por este motivo, resulta indispensable la realización de ciertas correcciones radiométricas. La corrección radiométrica se inicia con una transformación de los niveles digitales (ND) a Radiancia para después transformar los valores de radiancia a un mapa de reflectancia en el techo de la atmósfera TOA (no se considera ni el efecto de la atmósfera ni del relieve). Finalmente, por medio de una corrección atmosférica, se obtiene la reflectancia en superficie. Llegados a este punto las imágenes satelitales están preparadas para ser procesadas y analizadas en busca de los vertidos pertinentes. Para ello, como fase previa a la clasificación automática, el sistema aplica una serie de filtros de cara a la eliminación del ruido. En Brainport se ha utilizado una normalización basada en la técnica denominada “Convolución 2D”, que trabaja sobre matrices convolucionadas en el que cada matriz es usada para calcular el valor de cada pixel dentro de un kernel más general. De forma complementaria, y de cara a eliminar la variable “luminosidad”, se utiliza una ecualización en base al análisis de histogramas, en base a una segmentación analítica (con el algoritmo “k-means”) de los mismos. Un histograma es una medida de frecuencia en la ocurrencia de cada valor o rango de valores de nivel de intensidad de gris dentro de una imagen.

Aprendizaje automático de patrones de vertidos y detección de los mismos. Resultados obtenidos

En Brainport, el aprendizaje automático tiene el objetivo de etiquetar, de forma autónoma, los distintos objetos que aparecen en la imagen, tales como buques, navíos, costa, y vertidos. Para ello, en una fase previa, se han etiquetado de forma manual distintos objetos en un conjunto de entrenamiento, que posteriormente ha servido para entrenar un sistema supervisado de inteligencia artificial con el objetivo de que dicho sistema ínfera sobre nuevas imágenes los objetos entrenados. En Brainport se han usado una variedad de algoritmos de inteligencia artificial sobre las matrices de los diferentes espectros asociados a las imágenes tratadas según las técnicas previas, que nos devolverán una serie de resultados, que combinados y ponderados, nos proporcionaran una confianza sobre la zona detectada. Los Algoritmos utilizados han sido los siguientes: Support Vector Machine (SVM), Naïve Bayes, Decisión Tree (Gain Ratio), Gradient Boosted Tree (GBT), Redes Neuronales MultiPerceptron y Redes Neuronales Convolucionales. Los resultados muestran que los algoritmos basados en un análisis en redes (Naives y Redes Neuronales), mejoran la clasificación y predicción de las clases entrenadas, obteniéndose los resultados a través del método de Validación Cruzada (k-fold), probado en cada algoritmo 10 veces con conjuntos aleatorios de entrenamiento sobre el conjunto original. (Ver Figura 1).

Discusión

Se ha tratado un conjunto de 414 imágenes de entrenamiento, etiquetando en las mismas las zonas de interés en dónde se aprecian buques, costa y vertidos. Dichas imágenes han sido normalizadas en base a una matriz convolucional y una actualización de los histogramas. Para la validación de los métodos se ha utilizado un método de validación cruzada, en 10 iteraciones, seleccionando un 90% del conjunto de forma aleatoria, y aplicando el aprendizaje de los modelos sobre un 10% restante. El resultado o accuracy de los distintos modelos es la media de los errores cuadráticos (MSE) de los distintos métodos. Como se puede observar en la Figura 1, el mejor modelo a aplicar con el conjunto de entrenamientos se corresponde con la utilización de Redes Neuronales Convolucionadas (Deep Learning), aunque el coste computaciones el mucho mayo al modelo con segundo mejores resultados obtenidos, que es la utilización de una red neuronal con una generación de su topología interna óptima basa en la aplicación sobre la misma de algoritmos genéticos, y cuyo aprendizaje y modelado es mucho más rápido y con un coste computacional menor que las redes neuronales profundas. Esto significa que aún con conjuntos de datos de muestra pequeños, utilizando modelos de redes neuronales convolucionadas, podemos clasificar de forma autónoma, con una confianza cercana al 83% de seguridad, qué es lo que hay en los distintos “frames” o subconjuntos de datos que aparecen en las distintas imágenes o vídeos obtenidos a partir de imágenes satelitales.

Conclusiones

La vigilancia proactiva de vertidos en su momento más incipiente, y con este proyecto, hemos demostrado que, por medios automáticos, se permite atajar problemas medioambientales mediante sistema de chequeo automáticos preventivos. La necesidad no es únicamente saber que ha pasado sino ser capaces de prevenir los sucesos en base al análisis inteligente de la información disponible. BrainPort da solución a esta problemática en base a la unión, modelado e hibridación de distintos algoritmos ya existentes en el Estado del Arte, y la evolución de los mismos hacía procesos paralelizados enmarcados en el paradigma de BigAnalysis, que permiten automatizar todas las fases del análisis multimedia, y con el reto de realizarlo, en los contextos en los que sea necesario, en tiempo real. BrainPort se conforma como con una plataforma en la que los datos sobre la información de vídeo o imágenes devuelta por los distintos sensores satelitales o drones, sea puesta a disposición de un sistema avanzado, que, inmediatamente, reconoce cuáles son las partes de las escenas relevantes (filtración del suelo, de imágenes estáticas, filtrado de “ruido” y normalización de las mismas), y, en base a un sistema complejo de algoritmia ejecutada bajo el concepto de “Ensembling” (los falsos positivos de un sistema son enviados jerárquicamente a otro sistema para resolverlos mediante técnicas más granulares, resultando una solución completa y eficiente, con un componente de sensibilidad y especificidad cercano a la resolución humana: 83% de confianza en AUC), es capaz de realizar un seguimiento, identificación, y control orientado a su uso en puertos y mar abierto para ayudar al cumplimiento de los objetivos básicos en vigilancia y detección de contaminantes/vertidos en base a la normativa vigente. En resumen, facilita la disposición de información para toma de decisiones por las autoridades de manera efectiva. Como valor adicional, permite un análisis de los diferentes eventos registrados para fijar acciones de prevención y dimensionar mejor y de una manera más efectiva los recursos propios de la Instalación a monitorizar.

Agradecimientos

Agradecer al Gobierno Vasco el apoyo al Proyecto Brainport, que se enmarca dentro del Programa de apoyo a la realización de desarrollo de nuevos proyectos (Hazitek).

Referencias

• EL VERTIDO DE HIDROCARBUROS DESDE BUQUES A LOS MARES Y OCÉANOS DE EUROPA La otra cara de las mareas negras. (n.d.). Retrieved from CEIDA.
• Núñez A, García AM, Gutiérrez, AM, et ál. Incorporación del uso de los UAV para analizar la influencia de la altura en la calidad biológica del aire. Congreso CivilDRON’16, Madrid, 2016.
• Cortés-Martínez, K. V., & Mejía-Lavalle, M. (2017). Estado del arte y elementos del reconocimiento automático de imágenes del cerebro. Research in Computing Science, 140, 105-122.
• Paoletti, M. E., Haut, J. M., Plaza, J., & Plaza, A. (2019). Estudio Comparativo de Técnicas de Clasificación de Imágenes Hiperespectrales. Revista Iberoamericana de Automática e Informática industrial, 16(2), 129-137.