Comunicación presentada al II Congreso Ciudades Inteligentes:
Autores
- Celestino García Arias, Profesor Contratado Doctor, Univ. de Santiago de Compostela / ISOPOLIS
- Benjamín Augusto López Rodríguez, PhD. Candidate & Consultor, Univ. de Santiago de Compostela / ISOPOLIS
Resumen
Ante la tendencia global de aumento y concentración de la población en las ciudades, la Smart City surge como una oportunidad de gestión y planificación urbana capaz de dar respuesta a los nuevos retos a través del uso de las TIC. Sin embargo, tanto su conceptualización como sus características continúan difusas, sobre todo, a la hora de evaluar y comparar el rendimiento entre ciudades e introducirlas en rankings o clasificaciones. Cuestión de vital importancia y que sin duda tiene un impacto económico de futuro muy grande sobre los sistemas de Smart City como política pública, a medida que se invierte en ellos.El objetivo de este paper es mostrar el resultado del análisis de diferentes sistemas de indicadores de rankings que se refieren específicamente a Smart City y cuyo objeto haya tenido alcance internacional, a fin de detectar limitaciones de dichos sistemas y poner de manifiesto la necesidad de búsqueda de un estándar. Para ello, se parte de la caracterización de la base semántica de cada ranking y de las dimensiones escogidas por cada uno y se analizan su dimensionalidad, la validez de los indicadores y la fiabilidad de las mediciones.
¿Por qué evaluar sistemas de indicadores de smart cities?
Las tendencias de aumento de población y su traslado a un mundo mayoritariamente urbano en las próximas décadas constituyen un axioma generalizado a la hora de introducir cualquier estudio o report sobre la situación de las ciudades a nivel global. Hechos, que las principales organizaciones internacionales, como el Banco Mundial o la ONU, alertan de la necesidad de afrontar a través de políticas integradas que mejoren la vida de los ciudadanos (UN, 2014).
Por tanto, si ante esta influencia del aumento y la concentración de la población, parece conveniente alcanzar una eficiencia máxima en la gestión de recursos en las ciudades y la Smart City puede ser una respuesta a estos retos, no debería pasar desapercibida la necesidad de clarificar en torno a qué parámetros se va a medir la consecución de esa eficiencia, esto es, cuáles serán los parámetros de medición que permitan dilucidar si se están cumpliendo los objetivos de smartness.
En este sentido, el objeto de este estudio radica en analizar la construcción del sistema de indicadores de los principales rankings internacionales de Smart Cities, a fin de evaluar la validez y fiabilidad del diseño escogido por cada uno.
Selección y análisis de la muestra
Existen muchos rankings internacionales que posicionan a las ciudades en base a un modelo de indicadores, si bien, para la selección los cuatro sistemas de indicadores analizados en este estudio, ha primado tanto su alcance internacional, como la alusión específica y concreta a la clasificación de las ciudades dentro del concepto de Smart City en todos ellos.
A lo largo de la exposición, tanto en el cuerpo principal del artículo como en los cuadros, se representarán tales iniciativas con, respectivamente, los siguientes acrónimos: SCREM, SCS, MSCEU y BC.
Los sistemas de indicadores que se analizarán son los siguientes:
A medida que las TIC se incorporan formalmente al city gateway, estamos asistiendo a un cambio en la forma de competencia tradicional entre las ciudades y, en consecuencia, en el potencial que la ciudad tiene para posicionarse con respecto a otras. El caso de las Smart Cities parece paradigmático de dicha afirmación. Por eso, conviene tener en cuenta que mientras en una red las ciudades son evaluadas e incorporadas en relación a diferentes características o dimensiones, para la existencia de un ranking se precisa de, al menos, dos ciudades que se estructuran en orden ascendente o descendente a raíz de su calificación por el uso de una combinación de al menos dos indicadores (Giffinger y Gudrun, 2010).
La base semántica de la Smart City en los rankings propuestos
Existen tantas definiciones de Smart City como proveedores de significado enuncien dicha definición e incluso podríamos afirmar que existen tantas definiciones como realidades empíricas se analicen o, -como veremos- sistemas de indicadores se construyan. Por tanto, no es un objetivo de este estudio delimitar de forma taxativa un concepto de Smart City, del que a estas alturas existen auténticos ejercicios de exégesis sobre su evolución desde lo que podríamos considerar la esfera digital de las ciudades (Cocchia A., 2013), pero sí es preciso detenerse en un primer momento en lo que sería la definición declarativa de cada clasificación evaluada:
Objetivos de los sistemas de indicadores
La Tabla III muestra los objetivos de los cuatros sistemas de indicadores analizados, descomponiendo esos objetivos en dos facetas: por una parte, el macro-atributo de las ciudades que se pretende medir y, por otra parte, los criterios de formación del conjunto de las ciudades a las que se puntuará respecto de ese atributo. La heterogeneidad de los cuatros sistemas, que impide ordenarlos en función de su calidad, se manifiesta en las dos facetas.
Macro-atributo
Por una parte, SCREM y BC, fruto, respectivamente, de una iniciativa privada y de una iniciativa individual, se centran en los resultados [performance] de las ciudades. En ambos casos, se carece de un standard de comparación prefijado, de modo que la posición de las ciudades en el ránking revela sus posiciones relativas, pero no el nivel de sus logros respecto de metas establecidas previamente. Por el contrario, los otros dos sistemas (SCS y MSCEU) pretenden medir ciertos estados de cosas en referencia a un standard pre-establecido en el marco de directrices para las políticas públicas locales: para SCS, se trata de los objetivos fijados en la Cumbre Mundial de Autoridades Locales sobre la Sociedad de la Información, celebrada, como parte de un proceso impulsado por la ONU, en Bilbao en 2005, mientras que, para MSCEU, se trata de los Objetivos Europa 2020 de la Unión Europea.
Conjunto de ciudades
Es evidente la heterogeneidad tanto en los conjuntos de ciudades como en los procedimientos de muestreo de los cuales tales conjuntos son resultados. Lo que interesa destacar es que los cuatros sistemas de indicadores están (deliberadamente) condicionados por la información o los datos disponibles: se mide lo que se puede, y no necesariamente lo que se quiere o se debe medir.
Delineación del contenido conceptual
Modalidad de construcción de la relación de indicación
De acuerdo con Vardanega, es posible representar la construcción de indicadores en función de si se procede ex ante (sin atender a la preexistencia de datos) o ex post (partiendo de datos preexistentes) y si se manejan datos primarios o bien secundarios (o terciarios, añadimos nosotros).
Aun cuando la lectura de los informes respectivos no arroja demasiadas pistas acerca del proceso exacto de construcción de los sistemas de indicadores analizados, su lectura lleva a inferir que SCREM se encuentra en un terreno intermedio: a partir de una determinación ex ante de las dimensiones, parece que se los factores y dimensiones reagrupan datos terciarios (preexistentes), adoptando, así, una perspectiva ex post. Los demás sistemas parecen dar por buena acríticamente, como si se tratara del producto de un análisis semántico riguroso, y no del resultado pragmático del manejo de los datos existentes, la descomposición del constructo en las seis dimensiones propuestas por SCREM. Sin embargo, los niveles restantes de la estructura conceptual parecen construirse ex post y con datos terciarios, que se van agrupando ascendentemente hasta encajar en esa estructura de un constructo con seis dimensiones. Ese proceder parece manifestarse indiscutiblemente en BC y menos patentemente en MSCEU y SCS.
Naturaleza de la relación de indicación
Es posible diferenciar dos tipos de indicadores: los indicadores reflexivos y los indicadores formativos (Diamantopoulos,2001, Diamantopoulos,2008, Edwards,2000, Jarvis,2003). A los efectos que aquí nos conciernen, la diferencia principal entre ellos es la dirección de la relación de causalidad entre (el fenómeno designado con) el constructo y (las conductas o sucesos que son) sus indicadores. La inteligencia de las ciudades es causada por cada una de sus dimensiones, causadas cada una, a su vez, por sus indicadores. La prueba más clara de ello es la terminología de Cohen, quien denomina a sus indicadores, precisamente, key drivers hacia sus dimensiones o aspirational goals. Además, la estructura conceptual para todos es similar: economía, personas, gobernanza, movilidad, medio ambiente y vida.
Cada dimensión se descompone, a su vez, en elementos de segundo nivel: 31 factores, para SCREM; 24 factores, para SCS: componentes, para MSCEU; y 12 motores clave [key drivers], para BC. Finalmente, cada uno de esos factores se descompone, a su vez, en indicadores: 75, para SCREM; 51, para SCS; y un número indeterminado, tanto para MSCEU como para BC.
Diseño de la medición
Fuentes de datos
Sólo dos de los sistemas usan datos primarios: SCS, porque recaba la información a través de un cuestionario expresamente diseñado a tal fin; y MSCEU, porque emplea las iniciativas de las ciudades relativas a las seis características. Por lo tanto, sólo estos dos sistemas tienen el control completo del manejo de datos. Los otros dos sistemas emplean datos terciarios, sin controlar, por lo tanto, ni su recolección ni su análisis, lo que arroja dudas sobre la validez y la fiabilidad de los sistemas de indicadores.
Niveles de medición
A excepción de SCS, se usa, en general, el nivel de medición de razón o intervalo (al menos, a falta de otra información. SCS usa muy a menudo el nivel de medición nominal, puesto que una buena parte (29) de los ítems del cuestionario son preguntas cuya opción de respuesta es dicotómica: sí o no. El mayor problema de esta opción es la crudeza de la información obtenida con tales respuestas, sobre todo, cuando se trata de puesta en marcha de iniciativas, programas, infraestructuras, etc., cuyo estado de desarrollo probablemente se capte mejor con ítems que faciliten la graduación de las propiedades evaluadas. En términos de agregación de indicadores, SCS tendría más dificultades que los demás para la construcción de un índice con un valor sintético para cada ciudad.
Agregación de indicadores
Cuando se construyen sistemas de indicadores, es posible optar por su uso según dos principios: la maximización del nivel de información sobre los objetos puntuados, o bien la maximización de la síntesis informativa, tratando de reducir a un único valor sintético la información proporcionada:
Validez y fiabilidad
Ninguno de los sistemas de indicadores presenta prueba alguna de validación: no se aporta información acerca de su posible realización ni sobre los resultados, en su caso. A la vista del número de características, factores e indicadores, parece fundada la afirmación de que la validez de contenido está presente en un alto grado. Sin embargo, una serie de aspectos cuestionan la validez y la fiabilidad.
Aspectos semánticos
Si entrar en detalles que razones de espacio obligan a omitir, baste un ejemplo de las dudas suscitadas por la lectura de estos índices: SCREM define Smart City como cierta capacidad [ability], pero usa indicadores de resultados, no de capacidad, algunos tan sorprendentes como el número de horas de sol en 2001, para el factor, igualmente sorprendente pensando en la smartness, atractivo de las condiciones naturales, de la característica smart environment. La promiscua y no explicada combinación de indicadores de impacto, recursos, realizaciones, proceso, etc., dificulta saber con certeza qué es exactamente lo que se pretende medir y, por lo tanto, la utilidad de los índices para la toma de decisiones.
Tiempo
Estos sistemas de indicadores están condicionados por la disponibilidad de información. Esa disponibilidad afecta a los puntos temporales de las observaciones. Si bien SCS no está limitado en este punto, BC y, sobre todo, SCREM lo están. El primero ha de limitarse a usar los índices al nivel de actualización que se encuentren. SCREM tiene dificultades mayores: aunque se suponga que se miden los resultados de las Smart Cities en 2007, su repertorio de indicadores se basa en observaciones que van desde al año 2001 hasta el año 2007. A menos que haya evidencia empírica o razones teóricas de peso para argumentar la estabilidad de los valores durante ese lapso, la validez de la medición queda comprometida.
Nivel de agregación
Se trata de un elemento vinculado, en parte, con el anterior, y derivado también de la dependencia de la información disponible. De BC, salvo que emprendamos un estudio de cada una de sus fuentes, nada puede decirse; SCS queda, de nuevo, a salvo; pero tanto SCREM como MSCEU presentan problemas de validez. SCREM usa 35 (es decir, el 47.3%) indicadores de nivel local, 13 (es decir, el 17.6%) de nivel regional y 26 (es decir, 35.1%) de nivel nacional. Esto implica que ligeramente más de la mitad de los indicadores son variables contextuales, de un nivel de agregación territorial que podría ser inadecuado: se imputan a las ciudades valores de sus regiones y, sobre todo, de sus países. El riesgo de falacia ecológica es evidente. Agrava la situación la circunstancia de que son del nivel local precisamente los indicadores con los valores menos actualizados, es decir, aquellos con observaciones sólo para el año 2001. En cuanto a MSCEU, este sistema usa datos nacionales para medir la posición de cada ciudad respecto de los Objetivos Europa 2020, justificando esta opción (pág. 69) en el supuesto de los efectos derrame [spill-over] y demostración, y para medir la situación base de cada ciudad en términos de TIC’s. Por muy conveniente y operativo que sea el supuesto, la validez resultante es en extremo cuestionable.
Conclusiones
No obstante la similitud aparente de las dimensiones y de la concepción de la relación de indicación, los sistemas revisados difieren en los objetivos, en el contenido semántico, en las ciudades puntuadas, en las fuentes de datos, en los niveles de medición, en los procedimientos de agregación y en detalles operativos. Presentan todos deficiencias de control de validez y fiabilidad riguroso, e incluso la validez aparente de los indicadores queda en entredicho en términos de intensión conceptual, de alcance longitudinal y de atribución de valores de variables contextuales.
Referencias
- Cocchia A. 2013 in R. P. Dameri and C. Rosenthal-Sabroux (eds.), Smart City, Progress in IS, DOI: 10.1007/978-3-319-06160-3_2, © Springer International Publishing Switzerland 2014
- Edwards, J. R., y Bagozzi, R. P. (2000). On the Nature and Direction of Relations between Constructs and Measures. Psychological Methods, 5(2), pp. 155-174.
- Giffinger, R. & Gudrun, H. 2010. Smart cities ranking: an effective instrument for the positioning of the cities?. «ACE: Architecture, City and Environment», 25 Febrer 2010, vol. 4, núm. 12, p. 7-26.
- United Nations, Department of Economic and Social Affairs, Population Division (2014). World Urbanization Prospects: The 2014 Revision, Highlights (ST/ESA/SER.A/352).
- The World Bank Data [Acceso: 22 Enero 2016].
- Vardanega, A. (2010). Costruire indicatori per la valutazione. Costruzionismo e principio di realtà. En C. Bezzi, L. Cannavò, y M. Palumbo, ed., Costruire e usare indicatori nella ricerca sociale e nella valutazione. Milán: Franco Angeli, pp. 58-79.