Silvia Montoya, Directora del Instituto de Estadística de la UNESCO (IEU), y la profesora Hrushikesh Senapaty, Directora del Consejo Nacional de Investigación y Formación Educativa de la India (NCERT)
La presentación de informes internacionales sobre los resultados del aprendizaje es una tarea crítica pero compleja a nivel mundial, regional y nacional. Sin embargo, en solo unos años, hemos logrado un progreso notable en la resolución de los desafíos de medición asociados con el Indicador 4.1.1 de los ODS: “proporción de niños y jóvenes: (a) en los grados 2/3; (b) al final de la primaria; y (c) al final de la secundaria inferior que logran un nivel mínimo de competencia en (i) lectura y (ii) matemáticas, por sexo”.
Esta es la razón por la cual el Grupo Interinstitucional y de Expertos sobre los Indicadores de los ODS (IAEG-ODS) recientemente decidió promover el indicador 4.1.1. a un indicador de nivel 1: el Grupo reconoció que el indicador es “claro conceptualmente, tiene una metodología establecida internacionalmente y hay estándares disponibles, y los países producen regularmente datos sobre al menos el 50 por ciento de los países y de la población en cada región donde el indicador es de relevancia”.
Esta promoción no fue tarea fácil. Hace apenas un año, pasamos por la primera fase del proceso, presentando una metodología y unos estándares nuevos. Esto implicó negociaciones minuciosas con los países y casi todas las iniciativas de evaluación transnacionales con el fin de construir un consenso en torno a un conjunto de niveles mínimos de competencia a nivel mundial.
Aumentar el uso de evaluaciones nacionales para el seguimiento de la educación de calidad
Para el seguimiento del aprendizaje a nivel mundial, debemos superar tres desafíos principales para comparar datos de países con diferentes evaluaciones. En primer lugar, las evaluaciones a veces usan diferentes definiciones de competencia. En segundo lugar, necesitamos una calidad uniforme, basada en estándares técnicos compartidos, para garantizar que los datos nacionales y regionales sean adecuados para su propósito. En tercer lugar, debemos incluir múltiples perspectivas, lo que significa: identificar áreas relevantes de aprendizaje que puedan y deban medirse mundialmente; conceptualizar cómo los datos nacionales y regionales pueden informar la medición mundial; y lograr un equilibrio entre las perspectivas mundiales sobre la educación y las influencias y objetivos locales.
La mejor manera de abordar estos desafíos es vincular las evaluaciones nacionales para expresarlas a una escala común. Esto se puede hacer principalmente de dos maneras: estadística y no estadística. La vinculación estadística es generalmente más precisa, pero también más complicada y costosa de aplicar (por ejemplo, o bien los mismos estudiantes realizan dos o más evaluaciones o bien se incorporan elementos comunes en dos o más evaluaciones en diferentes países a través de una nueva recopilación de datos).
Por el contrario, la vinculación no estadística permite utilizar los datos nacionales existentes y evitar la necesidad de una nueva recopilación de datos. Si bien este enfoque es, en general, menos preciso, los expertos sostienen que es aceptable cuando la vinculación estadística no es factible debido a limitaciones metodológicas, operativas o financieras. En particular, la vinculación de políticas (que es uno de los enfoques no estadísticos) nos permite vincular una evaluación con otra utilizando el mismo conjunto de descripciones de los niveles de rendimiento.
Estamos convencidos de que la nueva metodología de vinculación de políticas involucrará a los países y ayudará a crear capacidad estadística. También sabemos que toda herramienta nueva puede ser refinada. Al probar la metodología, podemos aprender más acerca de cómo las condiciones preexistentes pueden impactar la implementación, qué métodos de referencia se pueden utilizar, y cuán sensatos son los resultados para reducir el riesgo de cualquier posible sesgo en las comparaciones y reportes internacionales.
Por ello, el IEU, con el apoyo financiero de la Fundación Bill y Melinda Gates y el Departamento para el Desarrollo Internacional del Reino Unido (DFID), está organizando una serie de pruebas piloto en países como Bangladesh y la India, donde millones de niños se abren paso a través de los vastos sistemas educativos de esos países.
El trabajo con maestros y expertos curriculares en India
La India está comprometida con la reforma de la educación basada en pruebas concretas y desea contribuir a la labor de la Alianza Mundial para el Seguimiento del Aprendizaje (GAML). Hoy, el IEU y el Consejo Nacional de Investigación y Formación Educativa de la India (NCERT) están trabajando, en el primero de dos talleres, para aplicar la nueva metodología de vinculación de políticas a las evaluaciones nacionales para los grados 3 y 5, que abarcan a 1,4 millones de niños de diversos grupos lingüísticos y contextos educativos. Los talleres involucran a unos 10 expertos curriculares y de evaluación, la mayoría del NCERT, y a 36 maestros de idiomas y matemáticas.
Hay dos pasos principales en los talleres. Primero, los maestros mapearán cada ítem usado en las evaluaciones de los grados 3 y 5 con base en los niveles de competencia a nivel mundial expresados en el Marco de Contenido Mundial (GCF, por sus siglas en inglés). Elaborado por el IEU, el GCF se basa en los marcos de evaluación de más de 100 países y proporciona normas de rendimiento coherentes para los alumnos de 2º a 6º grado en lectura y matemáticas.
En el segundo paso, el panel del taller (que incluye a maestros y expertos curriculares y de evaluación) evaluará los conocimientos, habilidades y destrezas que se necesitan para resolver cada ítem de las evaluaciones nacionales. Con base en esta evaluación, luego emparejarán cada ítem con los niveles de competencia a nivel mundial para determinar las puntuaciones de delimitación que utilizarán para la elaboración de informes internacionales.
Finalmente, el grupo revisará cada ítem de la evaluación nuevamente y determinará si se calificaría como correcto o incorrecto el ítem para los educandos en cada categoría de competencia. A continuación, los facilitadores recopilarán y promediarán las puntuaciones identificadas por los panelistas y formularán recomendaciones al NCERT y al Ministerio de Desarrollo de Recursos Humanos, que a su vez tomarán una decisión final sobre los referentes y las puntuaciones de delimitación a nivel nacional que sean coherentes con los niveles mínimos de competencia a nivel mundial.
Al final de este proceso, la India podrá evaluar hasta qué punto y en qué medida sus normas nacionales captan los conocimientos, las aptitudes y la comprensión contenidos en la definición mundial de los niveles mínimos de competencia. El país podrá equiparar estos niveles con el contexto local y establecer la definición más relevante de competencia a nivel nacional. En resumen, el país obtendrá un valioso insumo para la formulación de políticas y, al mismo tiempo, se beneficiará de la presentación de informes coherentes para el ODS 4.
El IEU está elaborando, con el apoyo de la Agencia para el Desarrollo Internacional de los Estados Unidos (USAID), un conjunto de instrumentos de vinculación de políticas que estará disponible en breve y que proporcionará una guía detallada para que los países y sus organizaciones de evaluación utilicen la metodología.
Requisitos para una vinculación efectiva de las políticas
La vinculación de políticas es un método prometedor de bajo costo, relativamente rápido y suficientemente riguroso para comparar y agregar los resultados de diferentes evaluaciones. Puede proporcionar lecciones aprendidas en todos los países para orientar la programación futura y mejorar los resultados del aprendizaje. Además, las autoridades nacionales pueden utilizar sus resultados para la elaboración de informes globales sobre los estudiantes que cumplen con los estándares mínimos de competencia por grado y materia.
Sin embargo, la vinculación de las políticas requiere la participación y el compromiso de los gobiernos. Con la celebración de estos talleres de vanguardia, la India confirma su propio compromiso y da ejemplo a los demás.
