INFORMACION GENERAL SOBRE PISA
¿QUÉ ES PISA?
PISA es un proyecto comparativo de evaluación impulsado por la OCDE (Organización para la Cooperación y Desarrollo Económicos). 1 Un rasgo característico de PISA es su vocación integradora, ya que se basa en la colaboración de los países participantes y es dirigido de manera conjunta a partir de intereses comunes en política educativa.
PISA es un programa diseñado específicamente para incidir en la política educativa (policy-oriented) y aportar sistemáticamente datos, informes, análisis y reportes dirigidos a la sociedad en general y a quienes toman las decisiones respecto a los asuntos más relevantes de la política educativa.
El objetivo principal de PISA es la evaluación de las aptitudes o competencias que los estudiantes necesitarán a lo largo de la vida. Su grupo objetivo es la población de 15 años que se encuentra en el momento de ingresar a la educación postsecundaria o están a punto de incorporarse a la vida laboral.
Con el fin de garantizar que los resultados del desempeño educativo sean comparables, PISA evalúa poblaciones semejantes. Dado que existen diferencias entre países en cuanto a la naturaleza y duración de la educación, la edad de entrada a la escolaridad formal y la estructura del sistema educativo; los grados escolares no son comparables internacionalmente, así se decidió optar por definir la población objetivo con referencia a una edad determinada. De esta forma, PISA incluye a los estudiantes de entre 15 años tres meses y 16 años dos meses al momento de la evaluación, sin importar el grado o tipo de institución que estén cursando. En México es a partir del nivel secundaria y quedan excluidos, por tanto, los estudiantes de 15 años que aún se encuentran en algún grado de la primaria, además de quienes no asisten a la escuela.
Se utilizan muestras representativas que oscilan entre 4 mil 500 y diez mil estudiantes de un mínimo de 150 escuelas por cada país, 2 de manera que es posible realizar inferencias para el país en su conjunto, no así para regiones o estados. Los estudiantes son seleccionados de un conjunto de escuelas por país. Es permitido que algún país solicite una sobremuestra con el propósito de disponer de una mayor representatividad con respecto a cierto estrato de la población. Este fue el caso de México en el ciclo de 2003, que solicitó una sobremuestra para poder inferir resultados no sólo a nivel nacional, sino también por entidad federativa. En ese año se evaluaron 29 mil 983 estudiantes de mil 124 escuelas, de un total de más de 46 mil escuelas con jóvenes de 15 años que hay en el país.
El contenido de la evaluación de PISA abarca áreas o dominios que tradicionalmente se han considerado clave para el aprendizaje en todos los sistemas educativos, pero el rasgo característico de PISA es que la evaluación no es curricular, sino basada en competencias. Esto es, las habilidades y conocimientos no se definen en términos de los currículos de los países participantes o de un currículo común acordado internacionalmente, sino en términos de las destrezas y conocimientos importantes o necesarios para responder a situaciones reales que se plantean en la vida y los cuales se encontrarán en la vida adulta.
El estudio de PISA se basa en dos conceptos clave: alfabetización ( literacy ) y competencia .
El concepto de alfabetización sobrepasa el uso dado habitualmente en el sentido de saber leer y escribir para referirse de manera más amplia a un tipo de formación que dota a los estudiantes de un bagaje intelectual suficiente para afrontar los retos de la vida real y de la edad adulta. La alfabetización, entonces, abarca conocimientos y habilidades necesarias para una participación social plena.
En diferentes países se ha traducido el término literacy como cultura, formación, alfabetización, aptitudes, etcétera. En México se acepta como alfabetización, pero con la extensión de su significado habitual.
El concepto de competencia se refiere a un sistema de acción complejo que abarca las habilidades intelectuales, las actitudes y otros elementos no cognitivos, como motivación, valores y emociones, que son adquiridos y desarrollados por los individuos a lo largo de su vida y son indispensables para participar eficazmente en diferentes contextos sociales. Es decir, la competencia apunta a la capacidad para poner en práctica de manera integrada habilidades, conocimientos y actitudes para enfrentar y resolver problemas y situaciones. Además, es importante considerar que la adquisición de competencias es un proceso que dura toda la vida, y no sólo se obtiene a través de la escuela o el aprendizaje formal, sino mediante la interacción con los demás. Las competencias también se identifican como habilidades complejas.
PISA tiene un carácter cíclico que permite a los países monitorear su sistema educativo. La evaluación se repite cada tres años y en cada ciclo se evalúan las tres áreas o dominios, pero se enfatiza uno de ellos; durante el 2000 el dominio principal fue lectura; en el 2003, matemáticas, y en el 2006 será ciencias.
Adicionalmente, PISA recaba información sobre factores contextuales del estudiante y de la escuela. Los ámbitos correspondientes a los factores contextuales del estudiante incluyen características de éste y su familia, hábitos de estudio y condiciones en las que se desarrolla el aprendizaje en la escuela. Esta información se obtiene a partir de un cuestionario aplicado al alumno. Los factores contextuales de la escuela abarcan datos sobre los recursos y características de la escuela, profesorado, ambiente escolar y prácticas pedagógicas. Esta información se recaba con el cuestionario dirigido al responsable de la escuela. Los factores contextuales tienen una función primordial, pues sirven para relacionar los resultados con las características del entorno inmediato de los estudiantes y las escuelas.
¿QUÉ EVALÚA PISA?
PISA evalúa tres dominios o áreas.
• Lectura
• Matemáticas
• Ciencias
Éstos se organizan, a su vez, en tres dimensiones: procesos, contenido y contexto o situación, cuya función es permitir el diseño de los reactivos o preguntas que conforman la medición de PISA. Los procesos se refieren a las tareas o actividades que se necesitan realizar en el momento de la evaluación. El contenido es el conocimiento que los estudiantes requieren para cada dominio de evaluación. El contexto incluye las circunstancias de aplicación relevantes.
Alfabetización o competencia lectora
Definición
Es la capacidad de comprender, emplear información y reflexionar a partir de textos escritos, con el fin de lograr las metas individuales, desarrollar el conocimiento y el potencial personal, y participar eficazmente en la sociedad. La lectura, desde la perspectiva de PISA, es vista como un proceso “activo” que implica no sólo la capacidad para comprender un texto sino la de reflexionar sobre el mismo a partir de las ideas y experiencias propias.
Dimensiones
En el siguiente cuadro se puede apreciar la organización de las dimensiones de lectura.
Dimensiones del dominio de lectura
Procesos
1. Recuperación de información
Este aspecto requiere que el lector considere el texto como un todo o desde una perspectiva global. Se puede pedir a los alumnos, por ejemplo, demuestren haber comprendido el texto identificando su tema principal, expliquen el propósito de un mapa o gráfico, relacionen un fragmento de texto con una pregunta relacionada con la intención global del texto o se centren en más de una referencia específica del texto deduciendo el tema central a partir de la repetición de una categoría específica de información.
Para obtener información de forma efectiva, los lectores deben revisar, buscar, localizar y seleccionar la información relevante.
En las tareas de evaluación que requieren obtener información, los estudiantes tienen que identificar los elementos esenciales de un mensaje: su carácter, el momento, la situación, etcétera. Deben cotejar la información proporcionada en la pregunta con información literal o similar en el texto y utilizarla para encontrar la nueva información que se les pida.
Este proceso puede requerir la discriminación entre dos fragmentos similares de información.
2. Interpretación de textos
Este aspecto requiere que los lectores amplíen sus impresiones iniciales procesando lógicamente la información, y así, conseguir una comprensión más completa y específica de lo leído. Entre las tareas que pueden usarse para evaluar este aspecto se incluyen la comparación y el contraste de información —integrando dos o más fragmentos de información del texto, haciendo deducciones acerca de la relación entre distintas fuentes de información e identificando y enumerando las fuentes de evidencia con objeto de deducir la intención del autor.
3. Reflexión y evaluación de textos
Este aspecto requiere que el lector relacione la información que se encuentra en un texto con conocimientos procedentes de otras fuentes. Los lectores deben valorar las afirmaciones del texto teniendo en cuenta su propio conocimiento del mundo, o bien frente a la información obtenida de otros textos. En muchos casos, los lectores deben ser capaces de justificar su propio punto de vista. Las tareas típicas para la evaluación de este proceso incluyen la aportación de evidencias o argumentos externos al texto, la evaluación de la relevancia de determinados fragmentos de información o de evidencia, la realización de comparaciones con reglas morales o estéticas (estándares), la identificación de información que pueda reforzar los argumentos del autor y la evaluación de la validez de las evidencias o de la información proporcionada por el texto.
El conocimiento de elementos tales como la estructura textual, el género y el tono, juegan un papel importante en la reflexión y evaluación. Se pide a los estudiantes que detecten matices en el lenguaje —por ejemplo, comprender la importancia de la elección de un adjetivo al momento de matizar una interpretación—. Las tareas de evaluación incluyen la determinación de la utilidad de un texto concreto para conseguir un propósito determinado, la valoración del uso que hace un autor de determinadas estructuras textuales para conseguir un objetivo preciso y la identificación o comentario del estilo personal del autor y de sus propósitos o actitudes.
Contenido
Uno de los elementos cruciales de PISA es la distinción entre los tipos de texto. Los textos continuos están compuestos normalmente por frases que están a su vez organizadas en párrafos y pueden encuadrarse en estructuras más amplias, tales como secciones, capítulos o libros. Los textos discontinuos , o documentos, como se les denomina en otros modelos, presentan la información de diversas formas, como impresos, gráficos o mapas.
Textos continuos
Los textos continuos se presentan en forma de «prosa» estándar. Se clasifican según el propósito del autor en los siguientes cinco tipos que se utilizan en el proyecto PISA:
1. Descripción . Se refiere a las propiedades de los objetos situados en el espacio y responde a preguntas del tipo «qué» .
2. Narración . Se refiere a las propiedades de los objetos situados en el tiempo y responde habitualmente a preguntas del tipo «cuándo» o «en qué orden» .
3. Exposición . Presenta la información de conceptos complejos, de construcciones mentales o de elementos en los que se pueden analizar los conceptos y los constructos mentales. El texto proporciona una interpretación sobre la manera en que los elementos constitutivos se interrelacionan en un todo unitario y generalmente responden a preguntas del tipo «cómo» .
4. Argumentación . Presenta propuestas sobre relaciones entre conceptos o proposiciones. Los textos argumentativos frecuentemente responden a preguntas del tipo «por qué» .
5. Prescripción o instrucción. Algunas veces denominada mandato, proporciona instrucciones sobre qué hacer e incluye procedimientos, reglas, regulaciones y normas que especifican determinados comportamientos.
Textos discontinuos
A diferencia de los textos continuos, los discontinuos varían mucho en cuanto a la forma y, por tanto, son clasificados teniendo en cuenta más su estructura que la intención del autor. En el proyecto PISA se emplean los seis tipos siguientes:
1. Los formatos . Son textos estructurados y formalizados que requieren del lector la respuesta a cuestiones específicas de forma determinada. Ejemplos típicos son impresos de declaración de la renta, de inmigración, los visados, las solicitudes, los cuestionarios estadísticos, etcétera.
2. Los avisos y anuncios . Son documentos diseñados para exhortar al lector a hacer algo, por ejemplo, comprar mercancías o servicios, acudir a reuniones o asambleas, elegir a una persona para un cargo público, etcétera. La intención de estos documentos es persuadir al lector. Ofrecen algo y exigen atención y respuesta al mismo tiempo. Los anuncios, las invitaciones, las participaciones, las advertencias y los carteles son ejemplos de este tipo de documentos.
3. Los cuadros y gráficos . Son representaciones icónicas de datos. Se utilizan en la argumentación científica y en las revistas y periódicos para mostrar información numérica general e información tabulada en un formato visual.
4. Los diagramas . Acompañan frecuentemente a las descripciones técnicas (p. ej., la descripción de las partes de un aparato electrodoméstico), a los textos expositivos, y a las instrucciones (p. ej., la instrucciones para instalar ese electrodoméstico). A menudo resulta útil distinguir entre diagramas de procedimiento (cómo hacer) y diagramas de proceso (cómo funciona algo).
5. Las tablas y matrices. Las tablas son matrices formadas por filas y columnas. Es típico en ellas que las entradas de cada fila y columna compartan propiedades y, de ese modo, las entradas de fila y columna formen parte de la estructura informativa del texto. Ejemplos de tablas habituales son los horarios, las hojas de cálculo, los formularios de pedidos y los índices.
6. Los mapas son textos discontinuos que indican la relación geográfica entre lugares. Existe una gran variedad de tipos de mapas. Los de carreteras marcan las distancias y los itinerarios entre lugares determinados. Los mapas temáticos indican las relaciones entre las localidades y sus características físicas o sociales.
Contexto o situación
El proyecto PISA distingue entre cuatro tipos de situación lectora: lectura para uso personal, para uso público, para el trabajo y para la educación.
Como la evaluación de la competencia lectora en el proyecto PISA intenta valorar los distintos tipos de lectura que se dan tanto dentro como fuera del aula, el modo de definir las situaciones lectoras no puede basarse simplemente en el lugar en que se produce la lectura. Por ejemplo, los libros de texto se leen tanto en casa como en la escuela, y los procesos y propósitos de la lectura de estos textos difieren poco dependiendo del lugar en que se lean.
En PISA, las situaciones lectoras pueden ser entendidas como una categorización genérica de los textos basada en la intención de su uso, en la relación explícita o implícita con otros y en su contenido general. Por tanto, se ha prestado gran atención al origen y al contenido de los textos. El objetivo que se pretende es conseguir un equilibrio entre la definición genérica de competencia lectora usada en el proyecto PISA y la representación de la diversidad lingüística y cultural de los países participantes. Esta diversidad contribuirá a asegurar que ningún grupo resulte beneficiado ni perjudicado por el contenido de la evaluación.
1. La lectura para uso privado (personal) se lleva a cabo para satisfacer los intereses de los individuos, tanto intelectuales como de tipo práctico. Incluye también la lectura orientada a mantener y desarrollar relaciones con otras personas. Sus contenidos típicos incluyen las cartas personales y los textos de ficción, biográficos e informativos que se leen por curiosidad o como parte de actividades recreativas o de ocio.
2. La lectura para uso público se lleva a cabo para participar en las actividades de la sociedad en general. Incluye el uso de documentos oficiales y de información acerca de acontecimientos públicos. En general, estas tareas están asociadas con relaciones más o menos anónimas con otras personas.
3. La lectura para uso laboral (profesional) puede no ser necesaria para la mayor parte de los jóvenes de 15 años, pero hay dos razones importantes para incluir estas situaciones en el proyecto PISA. En primer lugar, la lectura en tales situaciones está habitualmente relacionada con el desarrollo de una tarea inmediata. En segundo lugar, algunas capacidades lectoras contribuirán a formar a los estudiantes para el mundo laboral, al cual la población objeto del proyecto PISA se incorporará en breve.
4. La lectura para uso educativo suele estar relacionada con la adquisición de información como parte de una tarea de aprendizaje más amplia. En general, los materiales no son elegidos por el lector, sino asignados por un profesor. El contenido normalmente está diseñado específicamente con un propósito instructivo.
ALFABETIZACIÓN O COMPETENCIA MATEMÁTICA
Definición
La alfabetización o competencia matemática se refiere a la capacidad para analizar, razonar y comunicar eficazmente cuando se enuncian, formulan y resuelven problemas matemáticos. La competencia matemática no se limita al conocimiento de la terminología, datos y procedimientos matemáticos, aunque lógicamente se incluyen, ni a las destrezas para realizar ciertas operaciones y cumplir con ciertos métodos. La competencia matemática implica la combinación de estos elementos para satisfacer las necesidades de la vida del individuo como ciudadano constructivo, comprometido y reflexivo.
Dimensiones
En el siguiente cuadro se puede apreciar la organización de las dimensiones de matemáticas.
Dimensiones del dominio de matemáticas
Procesos
Reproducción
Este tipo de proceso comprende el conocimiento de los hechos, la representación, el reconocimiento de equivalencias, la retención memorística de objetos y propiedades matemáticas, el desarrollo de procedimientos de rutina, la aplicación de algoritmos estándar y el desarrollo de destrezas técnicas.
El pensamiento matemático en este proceso plantea preguntas matemáticas tales como: ¿Existe...?, Si es así, ¿cuántos?, ¿cómo hallamos?; conocer los tipos de respuestas que las matemáticas ofrecen a tales preguntas; distinguir entre varios tipos de afirmaciones (definiciones, teoremas, conjeturas, hipótesis, ejemplos, aserciones condicionadas); comprender y manejar la extensión y límites de los conceptos matemáticos.
Conexión
Con el propósito de resolver problemas sencillos se establecen conexiones e integración de información entre las diferentes ramas y campos en las matemáticas. A pesar de que se supone que los problemas no son rutinarios, éstos requieren grados de conceptualización o matematización relativamente bajos.
En este tipo de competencias se espera que los estudiantes manejen diferentes métodos de representación, de acuerdo con la situación y el objetivo. El establecimiento de conexiones requiere también que los estudiantes sean capaces de distinguir y relacionar diferentes definiciones, afirmaciones, ejemplos, afirmaciones condicionadas y demostraciones. Decodificar e interpretar el lenguaje simbólico y formal, así como entender su relación con el lenguaje natural. Los problemas de este tipo se establecen frecuentemente dentro de un contexto y obligan a los estudiantes a tomar decisiones matemáticas.
Reflexión
En las competencias de este tipo se espera que el estudiante sepa qué es una demostración matemática y en qué difiere de otros tipos de razonamiento matemático; comprenda y evalúe cadenas de diferentes tipos de razonamiento matemático; tenga un cierto sentido de la heurística («qué puede ocurrir y por qué») y logre crear argumentos matemáticos.
En estas competencias se requiere que los estudiantes matematicen o conceptualicen situaciones, es decir, reconozcan y extraigan las matemáticas incluidas en la situación y las empleen para resolver el problema, analizar, e interpretar, para desarrollar sus propios modelos y estrategias, así como para presentar argumentos matemáticos incluyendo demostraciones y generalizaciones.
Estos procesos suponen el pensamiento crítico, el análisis y la reflexión. Los estudiantes no sólo deberían ser capaces de resolver problemas, sino también de plantearlos, expresar las soluciones adecuadamente y conocer la naturaleza de las matemáticas como ciencia. El proyecto PISA no utiliza preguntas para evaluar de modo separado las destrezas anteriores. Cuando «realmente se aplican las matemáticas», es necesario usar simultáneamente muchas de estas destrezas.
Contenido
Cantidad
Esta idea principal del proyecto PISA se centra en la necesidad de cuantificar para organizar el mundo. Las características importantes engloban la comprensión del tamaño relativo, el reconocimiento de las regularidades numéricas y la utilización de los números para representar cantidades y atributos cuantificables de los objetos del mundo real (recuentos y medidas). Además, la cantidad tiene que ver con el procesamiento y comprensión de los números que de diferentes maneras se nos presentan.
Un aspecto importante al tratar con la cantidad es el razonamiento cuantitativo. Los componentes esenciales del razonamiento cuantitativo son el sentido para los números, la representación de los números de diferentes maneras, la comprensión del significado de las operaciones, la percepción de la magnitud de los números, los cálculos matemáticamente elegantes, la estimación y el cálculo mental.
Espacio y forma
Los modelos se encuentran en cualquier sitio que nos rodea: las palabras habladas, la música, el video, el tráfico, las construcciones y el arte. Las formas son modelos: las casas, las iglesias, los puentes, las estrellas de mar, los copos de nieve, los planos de ciudades, las hojas de trébol, los cristales y las sombras.
Para la comprensión del espacio y de la forma, los estudiantes necesitan buscar semejanzas y diferencias a partir del análisis de los componentes de la estructura y reconocimiento de las formas en representaciones y dimensiones diferentes. Esto significa ser capaz de entender la posición relativa de los objetos. Ser conscientes de cómo vemos las cosas y de por qué las vemos así. Aprender a moverse a través del espacio y a través de las construcciones y las formas.
En consecuencia, los estudiantes deberán ser capaces de comprender las relaciones entre las formas y las imágenes o representaciones visuales, como las que existen entre una ciudad real y las fotografías y mapas de la misma. Deberán también comprender cómo se pueden representar en dos dimensiones los objetos tridimensionales, cómo se forman e interpretan las sombras, qué se entiende por perspectiva y cómo funciona.
Cambio y relaciones
Todo fenómeno natural es una manifestación de cambio. Ejemplos de cambio son el crecimiento de los organismos, el ciclo de las estaciones, la subida y bajada de las mareas, los ciclos de los niveles de desempleo y los índices de la bolsa de valores. Algunos procesos de crecimiento pueden describirse o modelarse mediante funciones matemáticas sencillas: lineales, exponenciales, periódicas, logísticas, tanto discretas como continuas. Pero muchos procesos pueden ser clasificados en diferentes categorías y el análisis de los datos es a menudo imprescindible.
El proyecto PISA evalúa la capacidad para representar cambios de una forma comprensible; comprender los tipos fundamentales de cambio ; reconocer tipos de cambios concretos cuando suceden; aplicar estas técnicas al mundo exterior; y controlar un universo cambiante para nuestro máximo beneficio.
Probabilidad
Actualmente, la “sociedad de la información” proporciona gran cantidad de informaciones que a menudo se presentan como precisas, científicas y en diverso grado ciertas. No obstante, en la vida diaria nos enfrentamos a resultados de elecciones inciertos, puentes que se desmoronan, caídas de la bolsa, predicciones del tiempo poco fidedignas, predicciones desafortunadas del crecimiento de la población, modelos económicos que no funcionan bien y muchas otras demostraciones de probabilidad del mundo en donde vivimos.
La probabilidad está pensada para sugerir dos temas relacionados: los datos y el azar. Estos dos fenómenos son objeto de estudio matemático por parte de la estadística y de la probabilidad, respectivamente. Las recientes recomendaciones relativas a los currículos escolares son unánimes al sugerir que la estadística y la probabilidad deberían ocupar un lugar más importante del que han tenido en el pasado. Actividades y conceptos matemáticos importantes de esta área son la recolección de datos, el análisis y la presentación-visualización de los mismos, la probabilidad y la deducción.
La intuición y comprensión matemáticas de los estudiantes necesitan ser evaluadas en situaciones diversas. Se puede pensar que una situación está a cierta distancia del estudiante. La más próxima es la vida personal (vida diaria), la siguiente es la vida en la escuela ( educativa ), en el trabajo ( laboral ), seguida por la vida en la comunidad local y en la sociedad ( pública ) que nos encontramos cotidianamente, y más lejanos están los contextos científicos.
El proyecto PISA pretende asegurar que las tareas estén basadas en contextos reales . Si la educación matemática ha de servir para formar a los estudiantes como ciudadanos activos e informados, tiene que trabajar con contextos «reales», tales como los problemas de economía, la seguridad vial y el crecimiento de la población. Sin esto no excluye contextos ficticios basados en representaciones esquemáticas de problemas, tal como una situación de tráfico en una ciudad inexistente.
Alfabetización o competencia en ciencias
Definición
La competencia científica se entiende como la capacidad de emplear el conocimiento científico para identificar preguntas y extraer conclusiones basadas en hechos o evidencias con el fin de comprender y poder tomar decisiones sobre el mundo natural y los cambios realizados en él mediante la actividad humana.
Dimensiones
En el siguiente cuadro se puede apreciar la organización de las dimensiones del dominio de ciencias.
Dimensiones del dominio de ciencias
Procesos
Describir, explicar y predecir fenómenos científicos
En este proceso los estudiantes deben demostrar su comprensión a través de la aplicación a una situación dada del conocimiento científico. Deben ser capaces de describir o explicar los fenómenos y predecir los cambios y, en algunos casos, reconocer o identificar las descripciones, explicaciones o predicciones que resulten pertinentes.
Comprender la naturaleza de la investigación científica
La comprensión de la investigación científica implica la habilidad para reconocer y comunicar preguntas que pueden ser investigadas científicamente, así como identificar lo que forma parte de tales investigaciones. Abarca la capacidad de identificación o el reconocimiento de los hechos involucrados en una investigación científica; por ejemplo: los datos que deben compararse, las variables que deben ser modificadas o controladas, la información adicional necesaria o las acciones que deben realizarse para poder recopilar los datos relevantes.
Interpretar las evidencias y conclusiones científicas
Este proceso significa darle sentido a los hallazgos científicos de modo que se puedan probar afirmaciones o conclusiones. Implica la capacidad para evaluar la información científica y la obtención de conclusiones basadas en pruebas científicas, y su posterior comunicación. Además, abarca la habilidad de elegir una conclusión alternativa en relación con las evidencias disponibles y comunicarla, dar argumentos a favor o en contra de una conclusión dada a través de los datos proporcionados, identificar los supuestos de los que se ha partido para llegar a una conclusión o reflexionar sobre las implicaciones sociales de las conclusiones científicas.
Contenido
Los contenidos de evaluación de ciencias se han seleccionado a partir de las ideas integradoras de la física, química, biología y ciencias de la Tierra y el espacio; de acuerdo con los tres criterios siguientes: utilidad del conocimiento científico en la vida diaria; relevancia de las ciencias y la política educativa durante un número significativo de años y la necesidad de combinar el conocimiento con algunos procesos científicos.
La selección de contenidos se realiza a partir del muestreo de conocimientos incluidos en los siguientes temas:
1. Estructura y propiedades de la materia
2. Cambio atmosférico
3. Cambios físicos y químicos
4. Transformaciones de la energía
5. Fuerzas y movimiento
6. Forma y función
7. Biología humana
8. Cambio fisiológico
9. Biodiversidad
10. Control genético
11. Ecosistemas
12. La Tierra y su lugar en el Universo
13. Cambio geológico
Contexto o situación
La competencia científica contempla la capacidad para utilizar los conocimientos científicos en situaciones que reflejan el mundo real y estimulan las ideas científicas.
Las áreas de aplicación que evalúan los procesos y conocimientos científicos son:
Ciencias de la vida y la salud
• Salud, enfermedad y nutrición
• Preservación y uso sostenido de las especies
• Interdependencia de los sistemas físicos y biológicos
Ciencias de la Tierra y el ambiente
• Contaminación
• Producción y pérdida de suelo
• Tiempo y clima
Ciencias en la tecnología
• Biotecnología
• Empleo de materiales y eliminación de residuos
• Utilización de la energía
• Transporte
La prueba que PISA diseña para la evaluación se caracteriza por contar con una variedad de reactivos en diferentes formatos, y por tener una cobertura amplia en los dominios de evaluación.
Los estudiantes son evaluados durante dos horas, mediante instrumentos de lápiz y papel, pero no todos contestan los mismos reactivos. Para lograr la cobertura de contenidos, PISA diseña una amplia gama de reactivos, que en total suman el equivalente a siete horas de evaluación, sin embargo, una evaluación con esa duración se extendería a lo largo de varios días, lo que traería consigo serios problemas prácticos, además de costos muy elevados. Para evitar esto, PISA, como hacen hoy los sistemas de evaluación en gran escala más avanzados, utiliza la metodología de pruebas matriciales.
El diseño matricial consiste en tener distintas combinaciones de reactivos agrupados (módulos) en diferentes versiones de cuadernillos, de tal forma que cada reactivo se presenta en varios cuadernillos, con lo cual se garantiza que cada uno de ellos sea respondido por una muestra representativa de estudiantes.
Con este diseño de pruebas, los resultados de cada estudiante, según sus respuestas a los reactivos del cuadernillo que le correspondió tienen un margen de error considerable, que impide obtener conclusiones confiables sobre la medida en que cada estudiante maneja los contenidos de toda la prueba . Sin embargo, si estas pruebas se diseñan y aplican correctamente, sus resultados permiten ofrecer información sobre el grado en que el conjunto de los estudiantes maneja de los contenidos de evaluación, con una precisión y márgenes de error controlados.
Con el propósito de ilustrar la cobertura, en la prueba del 2003 se aplicaron un total de 167 reactivos integrados en 85 unidades, la distribución por dominio se presenta a continuación. Durante ese ciclo se incluyó, de manera experimental, el área de solución de problemas.
Distribución de unidades y reactivos
por dominio de PISA 2003
La cobertura de los reactivos se extiende hasta las subescalas por dominio, como puede apreciarse en el siguiente cuadro, correspondiente a PISA 2003.
Distribución de reactivos
por dominio y subescalas
Los cuadernillos de evaluación están integrados por cuatro módulos que incluyen a su vez diversas unidades de reactivos. En PISA 2003, hubo 13 versiones de cuadernillos, siete módulos de matemáticas y dos módulos para cada uno de los otros dominios, en total 13 módulos.
Las unidades de reactivos están organizadas por un estímulo introductorio (texto, tabla, gráfica, figura, etcétera), seguido por reactivos asociados a éste. En cada unidad se pueden integrar entre tres y cinco reactivos de diferente formato. Los formatos de los reactivos pueden ser de:
• Opción múltiple (en PISA este formato incluye cuatro opciones de respuesta).
• Opción múltiple compleja (es un formato que incluye diferentes oraciones a las que el estudiante debe responder eligiendo entre opciones tales como: sí/no, acuerdo/desacuerdo, falso/verdadero).
• Respuesta breve o corta.
• Respuesta abierta construida.
De acuerdo con PISA, cada reactivo requiere dos minutos máximo en promedio para resolverse, en tanto que cada unidad debe ser resuelta en un máximo de diez minutos.
Debido a que PISA evalúa competencias más complejas que la memorización, existe una alta proporción de reactivos de respuesta abierta construida. Cada uno de los reactivos incluidos en las unidades se asocia a las tres dimensiones explicadas anteriormente:
• Las habilidades y competencias que se deben activar o demostrar para resolver el reactivo ( procesos ).
• Las áreas, ideas o temas de referencia subyacentes en cada reactivo ( contenido ).
• La situación que contextualiza y dota de significado a cada reactivo ( contexto o situación ).
LOS CRITERIOS DE CALIFICACIÓN:
¿CÓMO CODIFICA PISA?
Los instrumentos de evaluación de PISA integran una alta proporción de reactivos de respuesta abierta construida, en los cuales se pide a los estudiantes que escriban sus respuestas. Estas respuestas abiertas deben ser revisadas por personal entrenado ex profeso para realizar la asignación de códigos (proceso de codificación o, en términos más comunes, calificación).
El proceso de codificación o calificación definido por PISA, es una tarea compleja que requiere una capacitación rigurosa de personal para llevar a cabo de manera homogénea esta actividad, a fin de tratar de minimizar la subjetividad y aplicar consistentemente los códigos (créditos) a las respuestas abiertas. Este proceso es crucial para lograr la comparabilidad de resultados entre los países participantes, ya que es requisito que las respuestas abiertas construidas sean uniforme y consistentemente calificadas por los codificadores de todos los países.
De acuerdo con PISA, la codificación involucra tres tipos de créditos para asignar a una respuesta dada:
• Crédito total, para respuestas completamente aceptables. Corresponde al puntaje más alto.
• Crédito parcial , para respuestas que incumplen con la totalidad de los elementos para ser aceptables, pero sí tienen algunos de ellos.
• Sin crédito , para las respuestas no aceptables.
Reactivos PISA aplicados en el aula
La idea del presente material es que los docentes apliquen los reactivos a sus estudiantes y luego califiquen las respuestas y comparen los porcentajes de respuesta correcta con los porcentajes de México, las entidades, las modalidades de enseñanza o de otros países. Para la aplicación, se debe dar un máximo de diez minutos para responder cada unidad, según lo define PISA.
Para los propósitos de este material de difusión y para facilitarle a los docentes la tarea de revisión y calificación de los reactivos de PISA en su aula, se presentan aquí de manera simplificada los puntos que podría emplear. Estos puntos se complementarán con la información presentada en cada reactivo, puesto que se incluirán las descripciones que definen las respuestas correctas, las parcialmente correctas o las incorrectas en los casos de respuestas abiertas construidas. En los reactivos cerrados (opción múltiple, opción múltiple compleja y respuesta corta o breve) se indicará cuál o cuáles son las respuestas correctas.
Puntos para ser usados por el docente al calificar los reactivos PISA en el aula
Para calificar los reactivos aplicados a los alumnos se deben asignar unidades enteras, sin decimales. La asignación de puntos se regirá por los siguientes esquemas, según el formato del reactivo.
Esquema para reactivos cerrados
Esquema para reactivos abiertos
Escalas y niveles de desempeño
Para facilitar la interpretación de los resultados de los estudiantes evaluados, PISA ha establecido para cada dominio o área de evaluación varios niveles de desempeño, basados en la clasificación de los puntajes asociada a las habilidades que deben realizar los estudiantes para lograr el puntaje correspondiente. La clasificación tiene dos objetivos: permite catalogar el desempeño de los estudiantes y describir lo que son capaces de hacer.
Dado que los dominios centrales durante 2000 y 2003 fueron lectura y matemáticas, respectivamente, ya se cuenta con los niveles de desempeño en estas áreas; los correspondientes al área de ciencias se darán a conocer en el 2006.
Esta información le será de utilidad para saber qué significa el nivel en cada reactivo y el cual corresponde a los niveles de desempeño obtenidos por los estudiantes evaluados por PISA.
Nota importante sobre los puntajes o calificaciones y la escala en PISA
El proyecto PISA no está dirigido a calificar y clasificar individuos, sino en producir puntajes agregados de estudiantes que se convierten en el puntaje de un país. La idea principal de la evaluación de PISA es saber cómo está el sistema educativo de un país y no evaluar individuos en lo particular. La manera como se califica y finalmente se llega al puntaje nacional es un proceso complejo que rebasa con mucho a este documento, sin embargo, es importante señalar que los países, los estudiantes y los reactivos se clasifican en una misma escala que va de doscientos a ochocientos puntos con una media cercana a los quinientos puntos. Así pues, decir que un reactivo se clasifica en más de seiscientos puntos, significa que es difícil y, por el contrario, si un reactivo tiene clasificación inferior a quinientos tiende a ser fácil.
LECTURA Y SUS NIVELES DE DESEMPEÑO
Niveles de competencia o desempeño en lectura
La descripción de las habilidades para lectura conforme a los niveles se muestra a continuación.
Nivel 5 (más de 625 puntos)
Los estudiantes que dominan el nivel 5 de la escala, son capaces de completar reactivos de lectura sofisticados, tales como los relacionados con el manejo de información difícil de encontrar en textos con los que no están familiarizados; mostrar una comprensión detallada de dichos textos e inferir qué información del texto es relevante para el reactivo; ser capaces de evaluar críticamente y establecer hipótesis, recurrir a conocimiento especializado e incluir conceptos que puedan ser contrarios a las expectativas.
Nivel 4 (de 553 a 625 puntos)
Los estudiantes que dominan el nivel 4 de la escala, son capaces de responder reactivos de lectura difíciles, tales como ubicar información anidada, interpretar significados a partir de sutilezas del lenguaje y evaluar críticamente un texto.
Nivel 3 (de 481 a 552 puntos)
Los estudiantes que dominan el nivel 3 de la escala, son capaces de manipular reactivos de lectura de complejidad moderada, tales como ubicar fragmentos múltiples de información, vincular distintas partes de un texto y relacionarlo con conocimientos familiares cotidianos.
Nivel 2 (de 408 a 480 puntos)
Los estudiantes que dominan el nivel 2 de la escala, son capaces de responder reactivos básicos de lectura, tales como ubicar información directa, realizar inferencias sencillas de distintos tipos, determinar lo que significa una parte bien definida de un texto y emplear cierto nivel de conocimientos externos para comprenderla.
Nivel 1 (de 335 a 407 puntos) o menor (menos de 335 puntos)
Los estudiantes que dominan este nivel, son capaces de realizar sólo los reactivos de lectura menos complejos desarrollados para PISA, como ubicar un fragmento de información, identificar el tema principal de un texto o establecer una conexión sencilla con el conocimiento cotidiano.
Por debajo del nivel 1
Los estudiantes cuyo desempeño se sitúa por debajo de los 335 puntos, son incapaces de realizar el tipo de lectura más básico que PISA busca medir. Esto no significa que no tengan aptitudes para lectura. De hecho, la mayoría de estos estudiantes puede probablemente leer en el sentido técnico de la palabra. Tienen serias dificultades para emplear la lectura como una herramienta eficaz para ampliar, y aumentar sus conocimientos y destrezas en otras áreas; podrían, entonces, estar corriendo el riesgo no sólo para enfrentar dificultades en su transición inicial de la educación hacia el trabajo, sino también de fracasar en beneficiarse de una educación más amplia y de las oportunidades para aprender durante toda su vida.
A continuación, se presenta la descripción de las tareas por subescala y nivel de competencia. Recuerde que las subescalas en lectura corresponden a la dimensión de procesos.
Descripción de las tareas por subescala y niveles de competencia en lectura
MATEMÁTICAS Y SUS NIVELES DE DESEMPEÑO
Niveles de competencia o desempeño en matemáticas
La descripción resumida de las habilidades para matemáticas conforme a los niveles de competencia se muestra a continuación.
Descripción de los niveles de competencia o desempeño en matemáticas
A continuación se presenta la descripción de las tareas por subescala y nivel de competencia o desempeño. Recuerde que las subescalas en matemáticas corresponden a la dimensión de contenido.
Descripción de las tareas por subescala y niveles de competencia o desempeño en matemáticas
CIENCIAS Y SUS NIVELES DE DESEMPEÑO
Para este dominio, PISA sólo cuenta con una clasificación limitada, caracterizada por tres niveles: máximo, medio y mínimo. Será hasta 2006 cuando este dominio sea el principal y PISA pueda evaluar con mayor amplitud todas las áreas de conocimiento y habilidades, para disponer de una clasificación más extensa por subescalas y niveles de competencia.
