La herramienta CIVIS como soporte a la transparencia y evaluación del buen gobierno

Comunicación presentada al VI Congreso Ciudades Inteligentes

Autores

• Álvaro Samperio, Investigador Área de Smart Grid, Fundación CARTIF
• Francisco Javier Miguel, Investigador Área de Eficiencia Energética, Fundación CARTIF
• Paula Hernampérez, Investigador Área de Smart Grid, Fundación CARTIF
• Gema Hernández, Investigadora Área de Eficiencia Energética, Fundación CARTIF
• Estefanía Vallejo, Directora Área de Política de Energía y Clima, Fundación CARTIF

Resumen

El buen gobierno es aquel capaz de gestionar y proporcionar a los ciudadanos servicios y calidad de vida de forma eficiente y sostenible desde el punto de vista económico, político, social y medioambiental. CIVIS surge como una herramienta de evaluación del buen gobierno y de transparencia, para apoyar a los planificadores urbanos y políticos en la identificación de necesidades y oportunidades de la ciudad, y en la evaluación periódica para así lograr el modelo de ciudad deseado. Además, a través de la definición de un marco de evaluación basado en indicadores estandarizados (ISO 37120 Indicators for City Services & Quality of Life, e ISO 37122 Indicators for Smart Cities) se garantiza la seguridad, fiabilidad y calidad de los resultados.

Palabras clave

Servicios Urbanos, Índices, Evaluación, Aplicación Web, Estadística, Gestión de Datos

Introducción: Planificación estratégica y gobernanza

La planificación estratégica surge como un intento de abordar los fenómenos urbanos desde una óptica integral, ante la crisis del urbanismo tradicional para dar respuesta a nuevos fenómenos caracterizados por una gran complejidad, diversidad e incertidumbre. Tal y como ya definía el profesor Fernández Güell “… es un proceso sistemático, creativo y participativo que sienta las bases de una actuación integrada a largo plazo, que define el modelo futuro de desarrollo, que formula estrategias y cursos de acción para alcanzar dicho modelo, que establece un sistema continuo de toma de decisiones y que involucra a los agentes locales a lo largo del todo el proceso”.

Por otro lado, las ciudades inteligentes abordan este proceso de planificación estratégica en busca del desarrollo sostenible a través de la aplicación de soluciones innovadoras, apoyándose en las Tecnologías de la Información y la Comunicación (TIC) para mejorar el proceso de toma decisiones, así como para facilitar la gestión de los servicios ofrecidos a sus ciudadanos. Por tanto, una ciudad inteligente o smart city es aquella que gestiona y planifica de manera integral estrategias urbanas en áreas muy diversas como la gobernanza, economía, bienestar social, medio ambiente etc., permitiendo así ser más eficiente en el uso de recursos, a la vez que se ofrecen servicios de una mayor calidad.

Los términos gobernabilidad, gobernanza o buen gobierno están siendo cada vez más utilizados para evaluar la ejecución de tareas propias de cualquier administración pública. La Federación Española de Municipios y Provincias (FEMP, 2015), enumera los principios que debe perseguir un gobierno local para garantizar la transparencia, el acceso a la información y el buen gobierno y que pueden agruparse en tres grandes grupos o dimensiones: responsabilidad pública, democracia participativa y transparencia.

Con la premisa de dar soporte a las ciudades y planificadores urbanos en las distintas etapas de la planificación estratégica, haciendo uso de tecnologías innovadoras y estándares internacionales que garantizan una mayor responsabilidad en el uso de recursos y facilitan la transparencia y el buen gobierno, surge el proyecto TEC4ENERPLAN.

El proyecto TEC4ENERPLAN

El proyecto TEC4ENERPLAN es un proyecto ambicioso orientado al apoyo en todas las escalas relevantes de la planificación estratégica, principalmente en el ámbito energético, a través del desarrollo de métodos avanzados y algoritmos. Estos avances tecnológicos permiten gestionar datos de forma efectiva, automatizar la generación de modelos de simulación, tratar datos reales e información cartográfica de una forma amigable para el usuario, y todo con el objeto de apoyar la toma de decisiones a diferentes escalas de la planificación estratégica.

En este artículo se centra en uno de los resultados del proyecto TEC4ENERPLAN, la herramienta CIVIS (City Indicators Visualization and Information System) cuyo principal usuario son los planificadores urbanos durante las primeras fases de diagnóstico y posterior evaluación de las acciones incluidas en un plan estratégico.

Herramienta CIVIS

City Indicators Visualization and Information System (CIVIS) es una herramienta web, diseñada como herramienta de consultoría para planificación urbana, teniendo a las autoridades locales como usuario objetivo. Su meta es facilitar el proceso de toma de decisiones durante la identificación de necesidades y áreas prioritarias de la ciudad a la hora de definir estrategias que mejoren en definitiva la calidad de vida de los ciudadanos, mediante la mejora de sus servicios. Sus principales valores son la definición de un marco de evaluación robusto y estandarizado, un flujo de trabajo sencillo gracias a la herramienta web y un tratamiento de datos avanzado mediante la aplicación de métodos estadísticos para la extracción de conclusiones relevantes para las ciudades en el proceso de planificación y evaluación estratégica.

Marco de evaluación

En la actualidad existen numerosas iniciativas en la literatura en las que se definen marcos de evaluación basados en indicadores con diversos propósitos como, SCIS- EU Smart Cities Information System (EU Smart Cities Information System sitio web, 2020), o los indicadores para evaluar los Objetivos del Desarrollo Sostenible (ODS) (UN sitio web, 2020.). Sin embargo, es bien conocido que la aplicación de los estándares ISO garantiza la seguridad, confianza y calidad del resultado, gracias a la participación de expertos internacionales en su definición. Por ello y, en consecuencia, CIVIS propone un marco de evaluación de ciudad basado en indicadores estandarizados, ISO 37120 Indicators for City Services & Quality of Life (ISO sitio web, 2018.) y ISO 37122 Indicators for Smart Cities (ISO sitio web, 2019.)

De esta forma, el marco de marco de evaluación definido en TEC4ENERPLAN persigue los siguientes objetivos: (i) identificar las necesidades y retos de la ciudad, (ii) evaluar los diferentes aspectos de la ciudad para garantizar un desarrollo más sostenible, (iii) monitorizar el progreso de la ciudad, (iv) proporcionar información de manera comprensible para facilitar la comunicación de información a todos los agentes, e incluso a los ciudadanos, y (v) fijar una metodología de referencia para la evaluación comparativa entre ciudades y a lo largo del tiempo.

El marco de evaluación se organiza en cuatro niveles principales:

1. Pilares: áreas estratégicas (Economía, Gobernanza, Bienestar social, Entorno construido y Medioambiente y recursos) para la evaluación de las ciudades en busca de crear asentamientos más inclusivos, seguros, resilientes y sostenibles a través de la mejora de sus campos de aplicación.
2. Campos de aplicación: cada pilar se ha dividido en campos de aplicación que permiten agregar indicadores para una evaluación individualizada mediante la creación de un indicador compuesto para cada uno de ellos.
3. Indicadores: 262 indicadores. 110 están identificados como primarios y 152 como secundarios.
4. Variables: cada uno de los indicadores se ha dividido en variables para facilitar y automatizar el cálculo de indicadores.

Concepto y flujo de trabajo de la herramienta web

Con el objetivo de llegar a un mayor número de usuarios y garantizar la automatización de actualizaciones se propuso la realización de una aplicación web. El lenguaje empleado ha sido R, utilizando el paquete Shiny que permite la visualización y la interacción con elementos de R en un entorno web amigable y profesional. Shiny es compatible con Google Chrome, Mozilla Firefox, Safari (disponible a través del Apple Software Update) e Internet Explorer. El flujo de trabajo general de CIVIS se resume en la siguiente figura y consta de 5 pasos principales:

El proceso comienza con la introducción de los datos en forma de variables a través de la aplicación web (Paso 1: Entrada de Datos). Existen dos métodos de entrada de datos, i) subida directa mediante el uso de una plantilla Excel (formato .xlsx), ii) insertando los valores directamente en la aplicación. A continuación, los indicadores son calculados directamente mediante sus fórmulas correspondientes (Paso 2: Cálculo de Indicadores) y normalizados para su comparación (Paso 3: Normalización).

Una vez los indicadores está normalizados, se inicia el paso de construcción de los índices (Paso 4: Pesado y agregación), el cual consta de dos niveles de agregación. Primero, se agregan los indicadores incluidos en cada campo de aplicación, obteniendo así índices compuestos por indicadores agregados por nivel de importancia gracias a la asignación de pesos por indicador. En el segundo nivel de agregación, se obtiene un índice por cada pilar como resultado de la agregación de los índices a nivel campo de aplicación y la asignación de pesos a cada uno de ellos.

Una vez que se ha completado el proceso de agregación, la aplicación web guarda los índices en la base de datos, finalizando así el proceso de gestión y tratamiento de datos. El proceso completo se ejecuta a la vez que se lleva a cabo una imputación de datos, siempre que sea necesario estimar datos nos proporcionados por la ciudad para el cálculo de los indicadores en el Paso 1.

CIVIS ofrece muchas posibilidades para la visualización y extracción de los resultados (Paso 5: Salida de datos). Por un lado, se le ofrece a la ciudad la opción de visualizar los resultados gráficamente (gráficas de araña o de barras) en los tres niveles de agregación, o la posibilidad de descargar los resultados en un informe de evaluación en formato .pdf.

En la figura 3 se muestra un ejemplo de la visualización de los resultados de la evaluación, para el campo de aplicación “Vivienda” dentro del pilar o área estratégica de la ciudad “Entorno Construido”.

Por último, el usuario tiene la opción de comparar los resultados de evaluación de su ciudad con los de otras ciudades recogidos en la base de datos. Las cuales pueden ser filtradas por datos como el Producto Interior Bruto (PIB), población o clima. En este caso para que los resultados sean comparables los pesos aplicados a cada indicador son los mismos para todas las ciudades en todos los pasos de agregación (usando PCA como se verá en la próxima subsección). En la figura 4 se puede observar un ejemplo de la visualización de la funcionalidad de Comparación de ciudades, en este caso para las ciudades de Ahmedabad y Johannesburgo.

Gestión y tratamiento de los datos

La evaluación del desempeño de las ciudades requiere de la aplicación de técnicas de análisis multivariante y métodos estadísticos para el tratamiento de la gran cantidad de datos requeridos para conseguir una imagen precisa de los aspectos importantes que han de ser manejados por las ciudades en su camino hacia el desarrollo sostenible. A continuación, se detallan las técnicas matemáticas utilizadas con este propósito, inspiradas en la Guía de la Unión Europea para el cálculo de índices o indicadores compuestos (Langedijk, S., 2017.).

Normalización y tratamiento de outliers

Una vez que se han calculado los indicadores con sus fórmulas correspondientes, es crucial el poder detectar y tratar los outliers, los cuales son valores de un indicador que se encuentran lejos de los valores de ese indicador para la mayoría de las ciudades; pues pueden deberse a errores de medida o de unidades en los datos proporcionados a nivel de variable por parte de las ciudades, y pueden tener un impacto importante en los análisis estadísticos.

La detección de outliers utiliza el método modificado de variables estandarizadas sugerido en (Iglewicz, B., 1993.), el cual calcula los valores de umbral superior (respectivamente, inferior) para cada indicador como su mediana en todas las ciudades más (respectivamente, menos) 3/0.6745 veces su desviación absoluta de la mediana (MAD), y considera como un outlier a todo valor mayor (respectivamente, menor) que este umbral. El tratamiento de los outliers consiste en sustituir su valor por el del umbral. Este método tiene la ventaja sobre el método de variables estandarizadas basado en la media y la desviación estándar (SD) (Langedijk, S., 2017.), en que la mediana y el MAD son más robustos que la media y la SD, por lo que el método modificado se ve menos afectado por outliers, mejorando su comportamiento, sobre todo, cuando hay pocos datos disponibles.

Como ya se adelantó, es necesario normalizar los valores de cada indicador para poder compararlos y ser capaces de construir los indicadores compuestos o índices. El proceso de normalización consiste en una transformación lineal con imagen en el intervalo [0,1] utilizando los valores de umbral calculados en el paso anterior:

Agregación y estimación de datos

Una de las metas CIVIS es lograr que los resultados de las ciudades sean comparables entre sí, por lo que se hace necesario estimar el valor de aquellos indicadores para los que la ciudad no disponga de datos en forma de variable para su cálculo. En este punto la guía de la Comisión Europea (Langedijk, S., 2017.), propone, primeramente, encarar el problema de la estimación de datos con el objetivo de crear un marco común de indicadores y después asignar pesos en el conjunto de datos completo para calcular los índices como una media ponderada. Sin embargo, la novedad de la metodología de CIVIS es el tratamiento simultáneo de ambos problemas aplicando el Análisis de Componentes Principales (o PCA por sus siglas en inglés), determinando la estructura lineal de los datos a pesar de la falta de algunos de ellos para asignar los pesos, y obteniendo una estimación de los datos basada en la propia estructura lineal.

El PCA (Jolliffe, I. T., 2002.), es un procedimiento ampliamente utilizado para estimar la dimensión de los conjuntos de datos o para reducirlos. En cada campo de aplicación formado por p indicadores, cada ciudad es considerada como un punto en el espacio real p-dimensional ( ). De esa manera, hay un conjunto de puntos en p dimensiones, y la meta es encontrar los puntos para construir el índice compuesto para cada campo de aplicación que mejor represente el estado de la ciudad para cada uno de los indicadores incluidos, y por lo tanto, represente el mejor “resumen” de los puntos en una dimensión, minimizando la pérdida de información en el proceso de pasar de los valores de p indicadores al valor único del indicador de aplicación compuesto. El PCA calcula este índice compuesto a partir del autovector de la matriz de correlación de los datos correspondiente al mayor autovalor, usando sus componentes como los pesos con los que calcular los índices.

La correlación entre indicadores en el mismo campo de aplicación debe ser positiva (como recomienda Langedijk, S., 2017.). Esta condición garantiza que el autovector correspondiente al mayor autovalor puede ser elegido de forma única con todas las componentes no negativas y que sumen 1, tal y como indica el Teorema de Perron-Frobenius (Cheng, Y. et al., 2012.). Este hecho justifica el uso de sus componentes como pesos.

Por otro lado, para poder aplicar el método PCA con valores de indicadores faltantes, se usa el método NIPALS, que consiste en aplicar el Método de la Potencia sobre la matriz de correlación, pero sin construirla, de modo que se evita ampliar la cantidad de datos ausentes. El algoritmo computa los autovalores uno a uno, saltándose los valores ausentes, y lleva a una descomposición de la matriz como suma de sus proyecciones en cada autovector, que se puede usar para estimar los datos que faltan.

Antes de realizar la agregación de los resultados de la aplicación del PCA, CIVIS somete los resultados de cada campo de aplicación a un proceso de filtrado, eliminando valores de indicadores y/o ciudades siempre que no existan un mínimo de datos disponibles del 60% para cada ciudad, y del 20% para cada indicador. Esos porcentajes de filtrado han sido establecidos como consecuencia de un estudio de precisión de en la estimación de datos. Una vez que el paso de agregación de indicadores para construir índices o indicadores compuestos por campo de aplicación se ha completado, el usuario dispondrá de un resultado de evaluación (índice o indicador compuesto) expresado entre 0 y 1 por campo de aplicación, facilitando las identificaciones de aquellos campos con mayor potencial de mejora en la ciudad.

En el segundo nivel de agregación en el que se construyen indicadores compuestos a nivel pilar, CIVIS permite al usuario elegir entre dos opciones para llevarlo a cabo: i) usar la misma metodología (PCA), ii) asignar pesos a cada campo de aplicación aportados por el usuario. Estos pesos, deben reflejar el modelo de ciudad buscado y deben ser consensuados con los expertos de la ciudad a partir de dinámicas de participación durante el proceso de planificación estratégica. En ambos casos se realiza un filtrado y un estudio de correlación con cada pilar, con los mismos criterios utilizados en el paso previo de agregación.

Base de datos, diseño y estructura

La base de datos se ha realizado en PostgreSQL, y se divide en tres bloques donde la información se organiza de forma jerárquica y homóloga a la propia aplicación web:

El Bloque 1 contiene las tablas principales del sistema, la tabla de definiciones de los indicadores emparejada con la tabla con los indicadores de las ciudades, y los pares equivalentes de tablas para los campos de aplicación y los pilares. El Bloque 2 incluye a todos los usuarios, sus tipos, accesos al sistema y los elementos propios de las ciudades como imágenes y datos auxiliares. Se debe aclarar que las flechas verdes del gráfico representan los procesos para calcular los indicadores desde las variables. Finalmente, el Bloque 3 engloba los elementos restantes.

Todos estos bloques están interconectados y el resultado es una conectividad completa entre todas las tablas principales con un cierto grado de modularidad, y una estructura fácilmente ampliable y modificable.

Seguridad y gestión de usuarios

Se ha prestado especial atención a la gestión de la seguridad de la información almacenada en la base de datos, para ello se diseñaron varios tipos de perfiles de usuarios con diferentes niveles de autorización para asegurar la protección de datos a la vez que la trasparencia, otorgando funciones y valores concretos a administradores, ciudades y usuarios. La configuración de usuarios se completa con el administrador de ciudades, para que los usuarios del tipo “ciudad” sea únicamente asociado a una sola ciudad, asegurando la privacidad en la visualización de los datos sensibles entre ciudades al asegurar que se otorgan funcionalidades a los usuarios correctos.

Por otro lado, la flexibilidad en la gestión de los perfiles de usuarios genera la capacidad de que una ciudad, en un ejercicio de transparencia, tenga la posibilidad de exponer los resultados de su evaluación y de incluso ser objeto de comparación con otras ciudades.

Conclusiones y próximos pasos

La herramienta CIVIS ofrece a las ciudades una forma sencilla de visualizar los resultados de la evaluación y el diagnóstico de los servicios ofrecidos a los ciudadanos, la calidad de vida que estos otorgan, así como del nivel de “inteligencia” en su gestión mediante la evaluación de todos ellos en las distintas áreas estratégicas y de aplicación de las ciudades, a través de una metodología sencilla, robusta, y de resultados comparables.

Además, al tratarse de una herramienta de fácil utilización en la que los indicadores se calculan automáticamente a partir de sus variables, se agregan y tratan automáticamente para después visualizarlos en formato gráfico, permite al usuario obtener una evaluación integral y visual del desempeño actual de la ciudad.  Por último, la robustez de los resultados de evaluación se garantiza no solo por la utilización de estándares, sino por la implementación de diversos métodos estadísticos que mejoran la calidad de los resultados, identificando outliers, detectando correlaciones entre indicadores y aproximando valores que de otra forma no estarían disponibles.

TEC4ENERPLAN es un proyecto de dos años de duración, aún en desarrollo y que terminará en octubre de 2020. Hasta entonces se prevé continuar con diversas tareas de mejora de la herramienta CIVIS, entre ellas cabe destacar: el estudio detallado de correlación entre los resultados de los indicadores de ciudades; implementación de la funcionalidad para evaluar el progreso de las ciudades de forma temporal; el establecimiento de métodos más certeros para ajustar umbrales. Así como una validación final de la herramienta con datos de ciudades.

Agradecimientos

El proyecto TEC4ENERPLAN está financiado por el Instituto de Competitividad Empresarial de la Junta de Castilla y León con referencia CCTT1/17/VA/0001, y cofinanciado con fondos ERDF (European Regional Development Fund) de la Unión Europea,

Referencias

• Cheng, Y., Carson, T., Elgindi, M. B. M., 2012. A Note on the Proof of the Perron-Frobenius Theorem.
• Langedijk, S., COIN 2017 – 15th JRC Annual Training on Composite Indicators & Scoreboards 06-08/11/2017, Ispra (IT).
• Iglewicz, B., Hoaglin, D. C., 1993. How to Detect and Handle Outliers, vol 16 of ASQC basic references in quality control: statistical techniques, American Society for Quality Control, pp. 10-13.
• ISO 37120:2018 Sustainable cities and communities — Indicators for city services and quality of life.
• ISO 37122:2019 Sustainable cities and communities — Indicators for smart cities
• Jolliffe, I. T., 2002. Principal Component Analysis, 2ed., Springer.
• UN Sustainable Development Goals. Acceso en mayo de 2020.
• Universidad Nacional de Colombia Sitio web. Acceso en mayo de 2020.