¿Cómo podemos evaluar las encuestas electorales?

Este artículo es la “cara B” de este otro sobre quién hace las mejores encuestas en España basándome en el nuevo ranking que publico en 1dato+. El objetivo de todas estas entradas es intentar evaluar las encuestas electorales para saber de cuáles podemos fiarnos más de cara a las siguientes citas electorales.

Esta entrada igual es un poco “dura” en cuanto al contenido que tiene, pero la idea es que el ranking sea lo más transparente posible. Si sólo buscas una descripción general del mismo, te recomiendo que vayas mejor esta otra entrada. Aquí describo lo más detalladamente posible como hago para evaluar las encuestas electorales basándome en las últimas citas electorales.

Compensar el error de la muestra

A la hora de determinar el error de una encuesta, no es lo mismo cometer un error de un 1% con una muestra de 1.000 personas que con una muestra de 10.000. Tampoco es lo mismo cometer un error de dos puntos en un partido que obtiene el 50% de los votos que en otro que sólo obtiene el 2%.

El error que se puede cometer al preguntar a N personas a qué partido van a votar, depende de a cuantas personas se les pregunte y de la probabilidad de que una persona vaya a votar a ese partido. Este error se puede modelar como una variable aleatoria normal de desviación típica:

\sigma = \sqrt{\frac{p\cdot (1-p)}{N}}

Donde p es la probabilidad de votar al partido y N la muestra de la encuesta. Antes de la celebración de unas elecciones, para estimar el error de una encuesta, se desconoce p, y por ello siempre se supone 50% (la mayor incertidumbre). El error muestral que publican las encuestas es utilizar 2 veces \sigma, lo que representa el 95,5% de las situaciones.

Tras la celebración de las elecciones, sabemos el porcentaje de votantes de cada partido, por lo que podemos normalizar el error de cada encuesta según el error que cometió en cada partido y la muestra que utilizó dividiendo por \sigma.

Del error por partido al error total

Una vez que se tiene normalizado el error que ha cometido cada encuesta en el porcentaje de voto de los diferentes partidos es necesario agrupar esos errores en un único valor que represente a la encuesta.

En el caso del ranking he utilizado dos valores: el valor absoluto máximo y el valor cuadrático medio. El error máximo da información de dentro de qué intervalo están todos los errores de esa encuesta. El error cuadrático medio ayuda a ver el comportamiento general penalizando más cuanto mayor es el error. Para que los valores de los dos errores fueran comparables, al error cuadrático medio se le calcula la raíz cuadrada para que vuelva a estar en las mismas unidades.

Compensar el error de la distancia y del escenario electoral

Una vez calculados estos dos errores, se puede ver cómo ambos se reducen cuando las encuestas se realizan más cerca de la fecha de las elecciones. Por ejemplo, en el caso de las elecciones Andaluzas, el error evolucionó así:


En esta evolución se pueden ver dos valores importante, hay una pendiente que muestra como el error decrece, y la recta se cruza en un punto con el día de las elecciones. Este último valor muestra cómo han funcionado las encuestas en esta cita electoral en concreto. Si el error de las encuestas solamente fuera causado por el hecho de coger una muestra, y el error en cada partido fuera independiente de los otros, este error tendría que tender a 1 (por la normalización que se ha hecho de las variables aleatorias).

Dado que estos supuestos no se cumplen, no tienden a 1, pero este valor nos puede servir como punto de referencia. Podemos anular la tendencia del escenario haciendo que todas las encuestas queden normalizadas por la distancia de las elecciones y la dificultad del escenario electoral. Esta segunda normalización consiste en dividir el error de una encuesta por el valor que tiene la recta azul en esa misma fecha.

En el caso del error máximo, este siempre tenderá a ser más grande que el error cuadrático medio, pero podemos aplicar la misma normalización para seguir manteniendo magnitudes comparables en ambos errores y que ambos puedan servir para evaluar las encuestas electorales.


En la página del índice de encuestas se puede ver cómo evolucionan ambos errores en las citas electorales utilizadas para calcularlos.

Calcular el punto medio

Una vez que se tienen normalizados ambos valores y que por tanto se ha compensado en la medida de lo posible la muestra, la distancia y la dificultad del escenario electoral, podemos hacer un gráfico en dos dimensiones y representar dónde está cada encuestadora.

En la imagen, se muestra cada encuesta con línea más fina y con línea gruesa se marca el punto medio de cada encuestadora. Este ejemplo es de las elecciones andaluzas, pero dado que se ha normalizado también por escenario electoral, se pueden agregar los resultados de todas las citas electorales de las que se disponga y ver dónde está el punto medio para cada encuestadora. Cuanto más cerca esté de la esquina inferior izquierda mejor habrá sido el resultado.

Añadir la incertidumbre que generan

Uno de los problemas de utilizar valores medios es que ocultan información. Por ejemplo, si tenemos dos encuestadoras, una que tienda a estar en el 1 y otra que unas veces en el 0.5 y otras veces en el 1.5. A la hora de fiarnos de una encuesta, aunque ambas estarán en media situadas en el 1, la que es más constante nos genera menos dudas de cuál será su error. La otra puede tener un error muy pequeño, o muy grande; no lo sabemos.

Es por ello, que para ubicar a cada encuestadora en el cuadro, se le añade una pequeña penalización: su desviación típica. Si los resultados son muy estables no se notará, pero si es muy variable, su error aumentará. La desviación típica se calculara para cada uno de los errores y se añade a cada coordenada.

Para calcularla, dado que se utiliza una muestra, después de sumar la diferencia al cuadrado de cada punto con la media, en vez de dividir por N, se divide por N-1, lo que penaliza a las empresas o institutos que tengan pocas encuestas y hace que al menos sea necesario tener 2 encuestas para entrar al índice. Cuando el número de encuestas crece, N-1 y N tienden a ser muy similares y este “truco” no afecta.

Distancia como índice

Finalmente, una vez que se tienen las coordenadas de cada encuestadora, para evaluar las encuestas electorales con un único índice, se calcula la distancia del punto al (0,0): cuanto más cerca se esté, mejor será esa empresa demoscópica.

Selección de los escenarios electorales

Una de las limitaciones de este sistema de evaluación es la dependencia con los escenarios electorales. Al normalizar según la tendencia general, si en unas elecciones no ha habido muchas encuestadoras, o si la mayoría eran malas encuestadoras, o muchas buenas; se podría penalizar o beneficiar erróneamente.

Por ello, los escenarios elegidos cuentan con multitud de encuestas (al menos 20) y con variedad de encuestadoras (al menos 10) para garantizar que se puedan encontrar todas las situaciones.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Pin It on Pinterest