Evaluación, TICs y competencias del Siglo 21


En el articulo anterior discutimos respecto de la efectividad de las tecnologías, pero también esto conlleva a plantearse una pregunta fundamental: ¿Para qué queremos introducir las TICs en el sistema educativo? En términos concretos, debemos definir para qué queremos usarlas: ¿para mejorar los aprendizajes curriculares de los alumnos? ¿para mejorar la gestión de las escuelas? ¿para desarrollar otro tipo de competencias en los estudiantes? ¿preparar a los educandos para un mundo laboral informatizado?  ¿para evaluar a los estudiantes y obtener diagnósticos personalizados? ¿todas las anteriores? ¿con qué énfasis?

Las TICs no fueron concebidas para la educación, no aparecieron naturalmente en los sistemas de enseñanza, ni fueron demandadas por la comunidad docente porque responden a un modelo (con sus conceptos, sus discursos y sus prácticas) originado al exterior de los sistemas de educativos (Sunkel, 2006). Pero esto no es exclusivo de la tecnología, otro ejemplo son las denominadas "mejores prácticas", como discute Larry Cuban (autor de "Oversold and Underused: Computers in the Classroom") en su blog.

La evidencia científica por ahora nos indica que el impacto en el aprendizaje de los alumnos depende fuertemente del tipo de recurso TIC, cómo se usa y la asignatura en la cuál es usado (McFarlane, 2001; Cox & Marshall, 2007). Esto tiene como consecuencia que el estudiar agregadamente los efectos del uso de tecnologías muy distintas entre sí, no revelará efectos generales en el sistema educativo, medidos en términos de pruebas estandarizadas (McFarlane, 2001).

También, muchos de los estudios previos respecto al impacto de usos específicos de las TICs en educación, muestran que los instrumentos y los métodos utilizados no miden realmente los objetivos y resultados de aprendizajes promovidos por ellas (Trucano, 2005; Cox & Marshall, 2007). Se buscan mejoras en procesos y conocimientos tradicionales en vez de nuevas formas de conocimiento y razonamiento que podrían resultar del uso de las TICs (Penuel, 2005; Cox & Marshall, 2007).

Por lo tanto, estamos cayendo en un circulo vicioso. No encontramos impactos porque usamos métodos e instrumentos inadecuados y no definimos operacionalmente qué esperamos encontrar. Esto sin olvidarnos que se ha puesto la instalación de tecnología por sobre el uso pedagógico, sin considerar mecanismos de seguimientos de los proyectos:  y como no aparecen los ansiados resultados no perseveramos en como integrar adecuadamente las TICs.

La evidencia de impacto es más robusta y confiable cuando las pruebas de evaluación de los resultados están relacionadas directamente con los efectos probables de las TICs en el aprendizaje (Cox & Abbot, 2004). Esto significa que debemos operacionalizar las definiciones de lass competencias que se esperan desarrollar a través de las TICs. Un ejemplo de ellas son las denominadas competencias del siglo 21 (CS21), que no están todas relacionadas directamente con las tecnologías, pero sin duda es posible apoyar su desarrollo a través de ellas (aunque nuevamente pongo la mirada escéptica de Larry Cuban al respecto)

Existen muchas agencias e instituciones internacionales que están trabajando en como enseñar y evaluar las CS21, como  por ejemplo la Universidad de Melbourne (www.atc21s.org),  el CERI de la OECD (www.oecd.org/edu/nml) e ITL Research. En Chile, por encargo Enlaces, el Centro de Estudios de Políticas y Prácticas en Educación (CEPPE) en colaboración con MideUC desarrolló instrumentos para medir la capacidad para resolver problemas de información y comunicación de los alumnos chilenos de 15 años. Como presentaron Ignacio Jara y Magdalena Claro en el seminario "De la Tiza al Clic" (ver presentación), se utilizaron ambientes digitales que permitieron medir estas capacidades. Esto nos da una idea de la dificultad de evaluar de las CS21 y porque no es tan fácil medirlas a través de pruebas tradicionales. En este caso para medir la competencia requiere una operacionalización específica para implementar el ambiente digital.

Por lo tanto, retomando las preguntas iniciales, es clave poder definir objetivos para intencionar el uso de las TIC en educación. Esto significa articular con una serie de departamentos dentro del mismo ministerios, otras agencias gubernamentales, universidades, centros de investigación, el sector privada, para la evaluación, integración de los programas de estudio, diseño y desarrollo de programas educativos en base a diagnósticos de las necesidades de las escuelas, dotación de infraestructura y conectividad y una larga lista de otras cosas.

¿Cómo llevar a cabo estas tareas? Se necesita desarrollar una agenda en función de un plan al que hacerle seguimiento y evaluación que provea evidencia de los avances o del estado del arte del desarrollo en el tema de la informática educativa. Algunos países como han institucionalizado dicha función, pero recientemente el Reino Unido anunció el cierre de su agencia de tecnología y educación: BECTA. ¿Qué impactos tendrá dentro del mismo Reino Unido? ¿Qué rumbo tomarán otros países? ¿Qué hará el nuevo gobierno chileno en estas materias y en específico con Enlaces?

Bueno, eso será materia de otro artículo.

Referencias
Cox, M., & Abbot, C. (2004). ICT and attainment: A review of the research literature. ICT in Schools Research and Evaluation Series – No.17, DfES-Becta.

Cox, M., & Marshall, G. (2007). Effects of ICT: Do we know what we should know? Education and Information Technologies, 12(2), 59-70.

McFarlane, A. (2001). Perspectives on the relationships between ICT and assessment. Journal of Computer Assisted Learning, 17(3), 227-23.

Penuel, W. R. (2005). Recommendations for Evaluation Research within Educational Innovations. Center for Technology in learning, SRI International

Sunkel, G. (2006). Las Tecnologías de La Información y la Comunicación (Tic) en la educación en América Latina. Una exploración de indicadores. CEPAL - Politicas sociales (Division de Desarrollo Social, CEPAL, Naciones Unidas)

Trucano, M. (2005). Knowledge Maps: ICTs in Education. ICT and Education Series. Washington, DC: infoDev / World Bank.

Como citar este artículo:

Rodríguez, P. (2010) Evaluación, TICs y competencias del Siglo 21. Disponible en http://www.intelectivo.com/2010/06/evaluacion-tics-y-competencias-del.html

"Con Videojuegos también se aprende"

Entrevista a Lioubov Dombrovskaia en el suplemento Domingo de "El Mercurio" de Valparaíso publicada el 13 de junio de 2010.

Educación, tecnología y efectividad

Por Patricio Rodríguez

Desde hace más 5 años, comenzó un debate sobre la efectividad de los programas que se aplican en educación. Estados Unidos incluso incorporó el tema de la evaluación en sus prolíticas publicas, al incorporar en el acta de 2001 "No Child Left Behind" el uso de "evidencia científica" para verificar la efectividad de los programas educativos, para orientar el financiamiento público programas que provean dichas pruebas. En la práctica, esto ha significado el desarrollo de estándares de evidencia rigurosa respecto a la efectividad, como por ejemplo Best Evidence Encyclopedia (BEE) y What Works Clearing House (WWC) y la aplicación sistemática de dichos estándares para la evaluación de programas específicos.

En paralelo, esta discusión también se ha instalado en el ámbito de las TICs en relación a la cuantiosa inversión realizada en dotar a las escuelas de computadores y conectividad a Internet. Ya es un clásico es el debate entre John Daniel y Robert Kozma en "The Economist" y ahora el tema surge nuevamente en mayo de 2010 en Educational Technology Debate" de InfoDev/UNESCO. Más aún, existen algunos indicios de que las TICs podrían estar relacionadas con el desempeño del aprendizaje, pero en su uso fuera y no dentro de la escuela, como podría esperarse, como lo revela un reciente estudio de la OCDE titulado "Are New Millennium Learners Making the Grade?". Por lo tanto el tema todavía está lejos de zanjarse.

Tampoco la tecnología educativa ha salido bien parada de evaluaciones basadas en evidencia rigurosa. Los resultados de estudios del uso de software para lectura y matemática en primero y cuarto básico en Estados Unidos, publicados en 2007 y 2009 arrojan que no existió un impacto significativo en el aprendizaje.

Pero lamentablemente el problema no se circunscribe solamente al software educativo. Otros dos estudios respecto a programas curriculares comerciales (con y sin uso de software) complementarios para lectura publicados en 2009 y 2010 tampoco pasan la prueba de la evidencia rigurosa, llegando incluso algunos a tener efectos negativos. Los reportes de programas evaluados por WWC respecto a Matemáticas en enseñanza básica, muestran níngún o discreto impacto en el aprendizaje.

¿Pero que conexión tiene todo eso con nuestro país? En Chile tenemos la Ley de Subvención Escolar Preferencial (SEP) que entrega una cantidad significativa de recursos para apoyar a las escuelas que trabajan con alumnos prioritarios (menor rendimiento y mayor vulnerabilidad). La ley faculta a estos establecimientos a contratar con la subvención servicios de apoyo de instituciones y personas que formen parte de un registro (Asistencia Técnica Educativa, ATE). Esto significa que se incentiva la producción de una oferta de servicios para las demandas educativas de las escuelas. Estos servicios pueden ser programas educativos como los que se discutieron anteriormente.

Naturalmente en un escenario de estancamiento de mejora educativa en las pruebas estandarizadas, un aumento de la brecha de los establecimientos más ricos con los más pobres y el éxodo de alumnos del sistema municipal es ¿cómo garantizamos que los programas educativos que se aplican en el marco de la Ley SEP son efectivos? Más aun, ¿cómo lo hacemos con todas las iniciativas que el propio Ministerio de Educación impulsa?

Lo que nos está mostrando la experiencia externa es que tenemos un gran vacío en ese tema. No podemos esperar mejoras en el sistema educativo si es que los instrumentos que disponemos para hacerlo (los programas) no están basados en envidencias de efectividad.

Por lo tanto, el desafío país es cómo desarrollamos un sistema que permita proveer de dicha evidencia, en educación y cómo lo operacionalizamos, extendiéndo ojalá su accionar al de las políticas públicas en general.

Como citar este artículo:

Rodríguez, P. (2010) Educación, tecnología y efectividad. Disponible en http://www.intelectivo.com/2010/06/educacion-tecnologia-y-efectividad.html .

Chile: visualización de resultados pruebas de medición

Recientemente el Ministerio de Educación de Chile implementó los denominados "Mapas SIMCE" que permiten visualizar geolocalizadamente los resultados de las escuelas en la versión 2009 de las pruebas del Sistema de Medición de la Calidad de la Educación , que se aplican en forma censal en el país desde hace más de 25 años. En los mapas publicados por el Mineduc los colegios se califican con un código de colores si están sobre, en o bajo el promedio nacional de los resultados del SIMCE.

Sin embargo la iniciativa no es nueva. Ya otros sitios habían recogido este "vacío" en la forma de visualizar información, con los datos que provee el mismo ministerio a través de la propia página del SIMCE.

El primero de ellos es EligeColegio.cl, que califica los establecimientos utilizando además los resultados de las Pruebas de Selección Universitaria (PSU). Como su nombre lo indica, el objetivo del sitio es informar a padres y apoderados para ayudarlos a tomar la decisión en qué colegio ponen a su hijo. Cada colegio recibe un código de colores y una nota (1-7). Es posible visualizar en gráfico de barras la evolución del SIMCE y PSY del establecimiento y además el valor de la mensualidad para comparar también por costo-efectividad.

La otra iniciativa es de TIDE, a través de su sitio Visualiza.cl que entrega herramientas de ánalisis de los resultados SIMCE 2008 a nivel georeferencial (como Elige.cl y Mapas SIMCE), pero también a nivel local y regional, en términos de la relación vulnerabilidad y puntaje de la escuela y estadísticas de los mejores resultados y las escuelas de las que más subieron.

Esperemos que en los próximos años surjan nuevas iniciativas como estás que entreguen más información a la ciudadanía respecto de nuestras escuelas, combinando la mayor cantidad de datos y fuentes posibles. Esta es una herramienta poderosa que bien utilizada puede impulsar desde la demanda, el mejoramiento de la calidad de nuestro sistema educativo.