III. Análisis pedagógico de los
reactivos de pisa: algunos ejemplos

En este capítulo se incluyen ejemplos de análisis pedagógico de tres unidades de reactivos, uno por dominio.

Las unidades analizadas son:

• “Zapatos deportivos” (R110) de lectura

• “Crecimiento” (M150) de matemáticas

• “Luz diurna” (S129) de ciencias

Con estos ejemplos se ilustra una manera de analizar los reactivos para que usted la pueda replicar con las demás unidades de reactivos.
El análisis se realiza en tres etapas: identificación de las dimensiones de cada dominio de evaluación, aplicación e interpretación e integración y comparación.

a) Identificación de las dimensiones de cada dominio de evaluación

Para identificar las dimensiones, primero se realiza una lectura de la unidad con el propósito de tener una visión de conjunto del estímulo y los reactivos o preguntas correspondientes. Una vez leída la unidad y tomando en cuenta su experiencia docente y perspectiva disciplinaria se resuelve cada uno de los reactivos. Al llevar a cabo esta actividad es necesario reflexionar en cada uno de los procedimientos realizados para identificar la dificultad que tienen los reactivos para un alumno de 15 años. Después de estas actividades se revisa el capítulo 1 de este documento para identificar las características de los reactivos por cada una de las dimensiones del área de la prueba (procesos, contenidos y contexto).

b) Interpretación

Antes de aplicar a su grupo las unidades de reactivos se sugiere consultar detenidamente el capítulo 1 de este documento. Para realizar la interpretación del análisis pedagógico de los reactivos aplicados, se realizan las siguientes actividades.

• Descripción del tipo de estímulo. Esta descripción es básica, sobre todo cuando se trata de las unidades de reactivos de lectura, ya que PISA define con claridad el tipo de texto que se debe introducir. En este caso es necesario remitirse al citado capítulo para revisar la información sobre la dimensión del “contenido” del área de lectura. Para los estímulos de ciencias y matemáticas, si bien PISA no establece tipos de estímulos usted podrá inferir sus características a partir de la misma dimensión de contenido de lectura.

• Descripción de la clase de información contenida en el estímulo. La información de los estímulos es importante para derivar las preguntas. Algunos de los criterios que se sugieren para su análisis son: correspondencia con el dominio que se evalúa definido por PISA, relevancia de la información, interés que pueda despertar en los estudiantes, congruencia con las dimensiones definidas por PISA para cada dominio: procesos, contenidos y contexto o situación, la claridad de la redacción y sintaxis (manera en la que se enlazan y ordenan las palabras), complejidad del lenguaje, familiaridad y pertinencia de la información para alumnos de 15 años.

• Descripción de la clase de tarea contenida en las preguntas o reactivos. Esta descripción se elabora a partir del análisis sistemático de cada uno de los reactivos con base en las habilidades y niveles de desempeño por subescala de cada uno de los dominios (lectura, matemáticas y ciencias) definidos por PISA y descritos en el capítulo 1. Algunos de los criterios que se sugieren para este análisis son: correspondencia entre las respuestas y las habilidades implicadas en el dominio que se evalúa, relevancia de la información, interés que pueda despertar en los estudiantes la tarea propuesta en los reactivos, congruencia con las dimensiones definidas por PISA para cada dominio: procesos, contenidos y contexto o situación, la claridad de la redacción y sintaxis (manera en cómo se enlazan y ordenan las palabras), complejidad del lenguaje, familiaridad y pertinencia de la información para alumnos de 15 años; relación entre lo evaluado en cada reactivo y lo enseñado en el aula.

c) Integración y comparación

Una vez concluida la revisión y el análisis sistemático de cada reactivo, se elabora una síntesis de la unidad de reactivos que incluya:

• Caracterización general de la unidad de reactivo

• Caracterización de los reactivos en cuanto a sus dimensiones, niveles de desempeño y habilidades implicadas

• Comparación de los porcentajes de aciertos de sus estudiantes con los porcentajes obtenidos por PISA.

Es altamente recomendable que si usted aplica las unidades a sus estudiantes realice el análisis con los mismos. No se trata sólo de aplicar los reactivos, calificarlos e informarles qué tan bien o mal salieron. Se trata de que en conjunto sean revisados y analizados para potenciar una de las funciones olvidadas de la evaluación, la función educativa.

La función educativa de la evaluación va más allá de los resultados de la aplicación de una prueba en el aula, significa dinamizar los roles del profesor y del estudiante, fortaleciendo con ello los procesos implicados tanto en la enseñanza como en el aprendizaje. Es importante considerar que la evaluación en el aula cobra mayor sentido cuando se le usa para mejorar los procesos de enseñanza y aprendizaje. Usar la evaluación para mejorar el aprendizaje de los estudiantes lleva implícito que los profesores puedan ampliar su visión respecto a la función pedagógica de la evaluación como un poderoso recurso para mejorar sus estrategias de enseñanza, lo cual impactará el desempeño de sus alumnos.