La Raiz del Problema

En el libro “La sabiduría de la multitud” (The wisdom of crowds), James Surowieki presenta un análisis profundo e inteligente de los fenómenos de decisión colectiva: tanto los que producen resultados positivos como los que los producen de signo contrario. Toda la difusión pública sobre las encuestas y las encuestadoras, parecería caer dentro de esta última categoría, como si nos encontráramos dentro de una gran pompa de jabón que se retroalimenta de sus propios sesgos y distorsiones, al estilo de las burbujas financieras.

Los valores, los resultados, las series históricas, las explicaciones, no resisten ni por un instante el análisis estadístico detallado. Pero la magia de la burbuja es así: un encuestador puede decir con tranquilidad que jamás se equivocó y el periodista que tiene al lado, contrariamente a lo que indica su código de ética y el sentido común, jamás verificará que esa afirmación no tiene fundamento alguno.

De ponderaciones y pulidos

Tal vez el tema más relevante, escondido delante de nuestros ojos, es el de la ponderación de los datos. El relato es el siguiente: la encuesta cruda tiene sesgo y eso se corrige con ponderaciones. Todas las encuestas se ponderan.

Bueno, ni muy muy, ni tan tan.

Ponderar es modificar en el resultado final la influencia o peso del grupo de individuos que tienen una característica particular. Supongamos que sabemos por el censo que Uruguay tiene un X% de mayores de 60 años. Y supongamos también que los mayores de 60 años se comportan electoralmente de forma distinta a los menores de 60 años. Y supongamos también que mi encuesta refleja correctamente la intención de voto tanto de los mayores de 60 como de los menores. Entonces si mi encuesta tiene Y% de mayores de 60 años, la pondero multiplicando las respuestas de los mayores de 60 años por X / Y, a la vez que multiplico las respuestas de los menores por (100-X)/(100-Y).

Este tipo de ponderación, cuando está bien hecha, debe ser determinada en forma simultánea a la definición de la muestra, es decir antes de realizar el trabajo de campo. Y luego cuando se cargan los datos se realiza sola, “a ciegas”. Eso no es lo que sucede con las encuestas de las elecciones, o al menos, no es lo único que sucede.

En Uruguay las encuestadoras cambian los pronósticos con los resultados del trabajo de campo a la vista. Me niego rotundamente a llamar ponderación a este proceso, por lo que voy a adoptar el término que utilizó Mariana Pomiez (Cifra) en canal 12: “pulir”.

Con los resultados a la vista, el encuestador jefe y sus allegados cercanos van puliendo el resultado multiplicando a los distintos grupos hasta que el valor les resulta razonable. Yo no lo vi, tampoco me lo contó ningún encuestador, ni tengo una primicia de buena fuente: es una deducción lógica de la serie historia de pronósticos, reforzada por la negativa cerrada y unánime a mostrar los datos en crudo.

Ponderar no debería hacer converger los resultados

Es importantísimo señalar que la famosa ponderación mejora los resultados cuando la presunción (el “supongamos que”) es acertada. Cuando es errada la empeora, y cada ponderación se basa en un “supongamos que”.

Según dicen las encuestadoras en la prensa, los ponderadores se cuentan por decenas. Si los aplicaran “a ciegas” como se debe, las encuestas darían solo basura, porque es imposible que no tengan 4 o 5 ponderadores “malos” y dos o tres “muy malos”. Es matemática pura. Cada error muestral, cada sesgo de las respuestas es amplificado hasta que la distorsión borra todo lo que pueda haber de certeza. Es como ir grabando de cassette en cassete decenas de veces aumentando y bajando el volumen: al final se escucha más ruido que otra cosa.

Pero además, según el discurso de las encuestadoras, la ponderación es una receta mágica aprendida durante décadas de experiencia certera. Y debe ser resguardada como el secreto del santo grial. Por lo tanto, cada encuestadora ponderaría a su manera, haciendo que los resultados diverjan, y no lo contrario como sucede en la realidad.

No importa si el censo es el mismo, ni si la elección anterior es la misma. La partición de la encuesta cruda en decenas de micro segmentos por criterios múltiples y la ponderación masiva debe necesariamente arrojar valores divergentes.

Para que un pronóstico electoral pueda diferir en apenas dos décimas de punto para tres encuestadoras, como en el balotaje 2009 para ambos candidatos, lo único que puede pasar es que para pulir los resultados el insumo principal sea el valor que publican las demás encuestadoras.

Desde la raíz

Quiero dejar por escrito que siento un profundo respeto y cierta admiración por Luis Eduardo González. Lo conocí cuando yo trabajaba en OCA y Cifra nos hacía los estudios de mercado. Creo que es terriblemente capaz y me parece además que el mérito de haber llegado a los espacios centrales de la TV con su dificultad para escuchar y hablar es un ejemplo que impulsa a seguir luchando por la inclusión.

Y creo que es honesto. Pienso que si le aplicaran el suero de la verdad juraría una y mil veces que su trabajo es absolutamente científico, que él no introduce sesgos arbitrarios, y que en 2014 es la primera vez que se equivocó en una elección obligatoria. Esto le suma puntos, porque son muy valiosos los individuos que defienden sus convicciones, teniendo como única frontera la ética y la ley.

Sin embargo está equivocado, desde la raíz.

Comencemos por el final que es el más fácil. Nacionales 1999, el PC ganó con 31.9%, Cifra pronosticó 26%. Balotaje 1999, un mes después, Batlle tuvo 51.6% de los votos, cifra pronosticó 46%.

Ahora vayamos al nudo de la cuestión: en una encuesta lo último que importa es la opinión del encuestador. Cuando González pide disculpas en canal 12 explica que no supieron evaluar tal o cual cambio en la opinión de tales o cuales grupos. Y allí reside todo el problema.

La magia de una encuesta está en que es una herramienta que nos permite conocer una población con independencia absoluta de nuestra opinión sobre esa población. No da un resultado 100% certero, pero permite apuntar para el lado correcto independientemente de lo que piense, crea o estime el encuestador. Desde el momento que asumimos que puede haber un error introducido porque no vimos tal cambio de opinión automáticamente sabemos que no estamos frente a una encuesta de verdad, sino a una opinión que tiene como insumo una encuesta, que fue arbitrariamente modificada en un proceso de pulido de los datos.

La vacuna contra este mal es la transparencia y es por eso que precisamos una Ley de Encuestas que la garantice.