Silvia Montoya, Directora, Instituto de Estadística de la UNESCO (IEU) y Luis Crouch, Economista Sénior, RTI International [1]
En un blog anterior, argumentamos que el mercado para la evaluación del aprendizaje es muy ineficiente y, por lo tanto, requiere acción pública. Actualmente:
- Más de la mitad de los países no participan en una evaluación transnacional. Esto hace que sea difícil para ellos y para la comunidad internacional evaluar su progreso hacia los indicadores para los resultados del aprendizaje del ODS 4.
- Tanto los países que quieren participar en una evaluación transnacional, como las agencias que podrían cubrir el costo correspondiente, enfrentan obstáculos que se interponen a soluciones eficaces y eficiente
Hoy, queremos contribuir más al proponer una serie de soluciones posibles a cinco formas de ineficiencia y al problema de la inequidad. Si bien las soluciones tienen diferentes costos políticos y monetarios, todas son relativamente fáciles de adoptar. Y, en un mundo ideal, todas se llevarían a cabo de forma más o menos simultánea, ya que son altamente complementarias entre sí.
Ineficiencia 1: Los países no tienen toda la información para tomar una decisión informada sobre el producto de evaluación que necesitan
Solución: Producir una guía para el consumidor sobre los diferentes tipos de evaluaciones. La actual falta de información significa que los países deben hacer su propia investigación para evaluar las opciones. Como mínimo, deben entender cómo se pueden utilizar las evaluaciones internacionales para: apoyar la agenda nacional; informar sobre los ODS; y ayudar a sus ministerios a tomar decisiones administrativas.
Idealmente, los países quieren una evaluación que cubra todas estas necesidades. Pero encontrar la evaluación adecuada puede ser difícil, por lo que necesitan una mejor orientación. Por ejemplo, un país podría estar pensando en participar en una evaluación internacional aunque tenga una evaluación nacional para el mismo nivel educativo. Para evaluar las opciones, debe comparar los costos y beneficios generales, así como información más técnica, para decidir cuestiones específicas, como los ítems y los constructos. Al igual que con cualquier producto costoso, los países necesitan una guía para el consumidor que brinde información precisa y objetiva para comparar las opciones.
Ineficiencia 2: El costo de participación en las evaluaciones transnacionales no es transparente ni uniforme
Solución: Proporcionar información más transparente sobre los precios. En el mercado actual, los consumidores a menudo tienen que regatear, como en un puesto de verduras en la carretera, en lugar de elegir sus productos en un mercado con precios claramente definidos. Si bien el regateo puede resultar en mejores precios para algunos, suelen haber gastos ocultos y costos de transacción más elevados, y quizás precios más elevados para otros. Todos estamos a favor de las negociaciones, pero deben basarse en información transparente sobre los precios. Un organismo oficial podría producir información precisa, completa y actualizada sobre los costos actuales de las evaluaciones, al tiempo que documenta los pasos o las condiciones que pueden ayudar a los países a negociar.
La información sobre los precios debe incluir, como mínimo, los honorarios pagados a la organización de evaluación internacional; los costos de oportunidad del conocimiento técnico requerido dentro de las agencias nacionales; los costos financieros de aplicación sobre el terreno; los costos de oportunidad de aplicación sobre el terreno si se usa el personal existente. Actualmente, no hay claridad sobre cuánto cuesta desarrollar un ítem de evaluación, por ejemplo, o realizar una prueba piloto. Y, de hecho, hay información contradictoria. Por ejemplo, a los países a menudo se les hace creer que al unirse a una evaluación internacional se beneficiarán de economías de escala. Sin embargo, ¿por qué los honorarios nunca disminuyen a medida que crece el número de participantes?
Ineficiencia 3: Los países no necesariamente tienen las herramientas que utilizan las evaluaciones para la presentación de informes globales
Solución: Desarrollar metodologías para vincular las evaluaciones a un nivel de competencia mínimo global. Si los países y las agencias de desarrollo supieran más sobre cómo una evaluación se “traduce” a otra, no se sentirían tan obligados a “comprar” todas las pruebas posibles, además de su propia evaluación nacional. Los países pueden evaluar más adecuadamente las opciones y su relevancia para la formulación de políticas si pueden ver el nivel de vinculación de una evaluación con un criterio global. Si uno sabe cómo convertir metros en yardas, uno no necesita dos palos de medición. Esta información también ayudará a mejorar las capacidades técnicas del personal nacional, al mismo tiempo que apoyará a los socios de desarrollo que financian las evaluaciones como parte de su contribución al ODS 4.
Ineficiencia 4: Las barreras técnicas impiden que los productores (incluidos los propios países) ingresen al mercado
Solución: Crear bancos de ítems para ayudar a crear evaluaciones sensatas que puedan usarse para informes internacionales.
Uno anticiparía que, con 25 años de experiencia intensiva en la preparación de evaluaciones transnacionales, sería sencillo copiar este proceso. Nadie argumenta que absolutamente toda la información debe estar en el dominio público, ya que es importante garantizar que las evaluaciones sean válidas y mantener la confidencialidad de ciertas cosas. Pero el proceso de producción de las evaluaciones, y el conocimiento de los antecedentes necesario, se ha estandarizado lo suficiente como para que los altos costos actuales no se justifiquen.
Un paso hacia la generación de capacidad en los países y la reducción de costos es el uso de inteligencia artificial aplicada a un banco de ítems debidamente alineados con los diferentes ciclos educativos de los países. La plataforma incluiría un banco de preguntas con propiedades técnicas conocidas y probadas. El enfoque también sugeriría formas de combinar ítems de manera adecuada, según lo necesario para la presentación de informes. Los países podrían obtener y contribuir ítems, para construir toda la evaluación si fuera necesario, para ejecutar la modelización que produce los resultados sin tener que comprometerse con los paquetes donde se reduce su propiedad y voz. Un motor de aprendizaje de máquina permitiría, en un supuesto ambicioso, realizar pruebas adaptativas a bajo costo. De igual manera, una forma de avanzar sería desarrollar un conjunto de ítems de evaluaciones existentes, como un bien público global gratuito que permitiría a las autoridades nacionales desarrollar sus propias evaluaciones.
Vale la pena pensar en términos de un medicamento genérico que solo es ligeramente diferente a una alternativa de marca costosa. El banco de ítems y las herramientas de software asociadas podrían ayudar a los nuevos proveedores, o a los países que se auto-suministrarían, de manera similar a como la comunidad global ha ayudado a los fabricantes de medicamentos genéricos a desarrollar productos.
Ineficiencia 5: Los procesos a través de los cuales los consumidores y los productores interactúan son una caja negra y no se pueden replicar
Solución: Crear más mercados físicos. A la mayoría de nosotros nos gusta tocar y sentir las cosas que compramos. Si vamos a comprar una bicicleta o un automóvil, es sensato probarlo, incluso si terminamos haciendo la compra final en línea. El mercado de evaluación del aprendizaje debe ofrecer la misma experiencia: un lugar donde los usuarios, productores y organizaciones internacionales puedan reunirse y hacer propuestas de venta. Algo de esto ya ocurre en conferencias, con eventos paralelos organizados por productores que intentan educar a los consumidores (pero pocos donde los consumidores intentan educar a los productores, en sí una causa de fallas de mercado). Pero tal vez se necesitan más espacios físicos en el mercado para permitir no solo las compras comparativas, sino también los intercambios donde los consumidores desarrollan su conocimiento de cómo se producen las evaluaciones y por qué las buenas no tienen que ser tan caras como se podría pensar.
Inequidad: Los recursos disponibles para participar en evaluaciones transnacionales y desarrollar capacidades nacionales se asignan de manera desigual.
Solución: Transferir poder adquisitivo y capacidades técnicas a los países. Como se señaló en el blog anterior, incluso a los mercados más eficientes no les importa si los consumidores tienen un producto adaptado a sus necesidades. Los costos de evaluación son altos, en relación con otros mecanismos de garantía de calidad discrecionales, para los países más pobres. Es posible que necesiten subsidios para cubrir el costo de participación y de desarrollo de capacidades técnicas, o para incitar un cambio de comportamiento. A medida que el precio de las evaluaciones transnacionales se estandariza y se vuelve transparente, las agencias internacionales deben garantizar que las subvenciones se pongan a disposición de los países con una perspectiva a largo plazo, para garantizar que todos los países se beneficien por igual de acuerdo con sus necesidades. El diseño de un esquema de este tipo no es trivial y debe pensarse con cuidado para no crear más desigualdades o incentivos perversos (por ejemplo, pretender una falta de interés para merecer la incitación a un cambio de comportamiento).
Esperamos que estos dos blogs hayan proporcionado algunas opciones para mejorar el mercado de las evaluaciones. Hicimos lo posible pare ser moderados y no polemizar. Sin embargo, al mismo tiempo, queremos estimular un debate. Así que dígannos qué piensan en los comentarios de este blog y participen en la conversación en #LearningMarket.
[1] N.B.: El segundo autor está asociado con los orígenes de las evaluaciones EGRA y EGMA.
