MATERIAL PARA DOCENTES DEL CURSO- EVALUACIÓN

Uso de la informática en el proceso de evaluación de aprendizajes

Cuando realizamos una búsqueda de estos términos en las bases de datos y revistas especializadas, nos encontramos con una variedad de expresiones que nos llevan a matices diferenciales para conceptos afines (Stephens, 2001). Computer Assisted Assessment (CAA), Computer Based Assessment (CBA), Computer Aided Instruction (CAI), Computer Based Testing (CBT), Computer Assissted Testing (CAT), etc.

Para aclarar estos términos, vamos a diferencir sobre todo entre Computer-based assessment y Computer-assisted assessment, en el siguiente sentido:
1. Computer-based assessment: Hace referencia al uso del ordenador en alguna de las fases del proceso de evaluación. Por ejemplo, en la elaboración de pruebas objetivas con programas ad hoc, al uso de lectora óptica para la informatización de datos, o al uso de programas estadísticos o psicométricos para el análisis de las puntuaciones y valoración de fiabilidad y validez de la prueba, o al informe que se emite a partir de la evaluación a través de internet (gestión de actas, visualización de expedientes, etc.), etc.
2. Computer-assisted assessment: Se refiere a la total automatización del proceso de evaluación del aprendizaje de los alumnos, en cuanto a las tareas que ha de realizar el profesor y a las respuestas que solicitamos de los estudiantes, como se puede ver en el cuadro adjunto.

Cuadro 1. Proceso de evaluación totalmente automatizado (Computer-assisted assessment)

Fases en el proceso de evaluación automatizado	Implicado
1. Elaboración del banco de preguntas, en función de los criterios de evaluación, para: pruebas objetivas, de respuesta abierta, elaboración de trabajos, resolución de problemas, proyectos, etc.	Profesor
2.   Construcción de las pruebas (normativas, partir de niveles de dificultad, criteriales, con bloques de preguntas específicas para cada objetivo; o personalizadas o pruebas adaptativas)	Profesor
3.   Programación de los criterios de corrección (eliminación del azar, ponderación, etc.) y elaboración de informes de evaluación-tipo	Profesor
4.   Aplicación de las pruebas (objetivas, respuesta abierta, envío de trabajos, etc.)	Alumno
5.   Corrección de pruebas objetivas o de respuesta cerrada	-Automatizado-
6.   Corrección de pruebas de respuesta abierta (tipo ensayo, trabajos, proyectos, etc.)	Profesor
7.   Análisis de las puntuaciones y valoración e informe final	-Automatizado-
8.   Transferencia de la información de la evaluación a través de internet al profesor y al alumno (Informes de evaluación)	-Automatizado-

Aquí, por lo tanto, no nos estamos refiriendo al uso de tests informatizados, tan de moda en la última década, por ejemplo, en psicología (Renom, 1993) para evaluar capacidades en los sujetos de tipo aptitudinal y donde el ordenador se utiliza para la presentación de preguntas, la entrada de respuestas y el análisis de las mismas en vista a una interpretación de resultados en forma de nivel de capacidad demostrada.

La evaluación del rendimiento de los alumnos, del aprendizaje, en los sistemas basados en teleformación es uno de los temas claves como en cualquier programa de formación. Sin embargo, la mayor parte de los esfuerzos que se realizan sobre evaluación en línea del aprendizaje se centran en desarrollar herramientas informáticas como Jquiz, Test Creator, Web Work-Shett, WebTest, Question Mark Perception, etc., donde los planteamientos sobre evaluación están totalmente desligados del diseño general del programa de formación, salvo en algunos casos específicos ligados a sistemas de autor. En este sentido podemos afirmar que estas herramientas de evaluación están constituidas por software diseñados para la creación de pruebas tipo test , de respuesta cerrada, generalmente, desarrolladas desde planteamientos tecnológicos, sin bases pedagógicas en s u concepción. A esta conclusión también llegan García, Pérez, Rodríguez y Sánchez (2002) cuando señalan que se han desarrollado una serie de entornos, pero centrados casi exclusivamente en la presentación de contenidos. No consideran todo el proceso enseñanza - aprendizaje, y, en caso de incluir un módulo de evaluación, éste prácticamente se limita a los tests como único instrumento de evaluación. Además, carecen de base pedagógica, y no se adaptan al alumno.

Si, como empezamos señalando, nos situamos en una concepción del aprendizaje, siguiendo corrientes actuales de psicología procedentes del constructivismo, hemos de tener en cuenta en la recogida de información, en vista a una evaluación, distintos ámbitos de conocimiento. Así, de acuerdo con los objetivos del programa de formación, y en función de las características y nivel del curso, la información del aprendizaje puede referirse a tres grandes ámbitos: conceptuales (conocimientos, comprensión, aplicación, análisis, síntesis y valoración); competencias o habilidades y actitudes. En este artículo intentaremos sugerir qué estrategias de recogida de información que nos ofrecen las plataformas de formación en línea son más adecuadas para cada tipo de contenido a evaluar.

Los indicadores de evaluación de aprendizajes estarán ligados al objetivo que se pretende evaluar, por ejemplo, en el siguiente cuadro asociamos dimensiones a evaluar en el estudiante con indicadores o procedimientos más adecuados.

Cuadro 2. Dimensiones e indicadores de evaluación de aprendizajes

Dimensiones a evaluar: ejemplos	Indicadores: ejemplos
Adquisición de contenidos conceptuales	- Respuestas correctas en pruebas objetivos, de respuesta abierta, etc. - Producción de trabajos, proyectos, etc. vía en línea
Adquisición de contenidos procedimentales	- Producción de trabajos vía en línea, proyectos, trabajos en grupo, etc.
Adquisición de actitudes	- Formularios, encuestas en línea, chats, foros de discusión, etc.

Además de todas estas consideraciones, existen una serie de peculiaridades que hay tener en cuenta en los entornos virtuales de formación, como son las siguientes:

· En un programa de formación, en el que además que consiga algún tipo de acreditación de los aprendizajes logrados, para el estudiante, la evaluación de su rendimiento va a constituir la primera preocupación al enfrentarse ante el proceso de enseñanza-aprendizaje. Y si lo que además le interesa es adquirir conceptos o estrategias nuevas, los proceso de autoevaluación o de evaluación formativa le van a ser muy útiles.

· En programas de teleformación es fundamental evaluar la participación y contrastar si los alumnos han alcanzado determinados aprendizajes y por tanto si han alcanzado los objetivos del curso.

· En los cursos en línea es esencial que el alumno reciba feedback de cómo está siendo su aprovechamiento de curso. Sirve además como elemento motivador.

· En la enseñanza en línea, aunque pueda parecer lo contrario, se dispone de muchos materiales para llevar a cabo la evaluación de alumnos, dado que gran parte de la comunicación se realiza por escrito.

· Por lo tanto, el proceso de evaluación ha de estar planificado, las estrategias de evaluación han de ser coherentes con los materiales aportados en línea y se han de presentar los criterios o referentes de evaluación de forma explícita. De tal manera que el alumno, a distancia, conozca sobre qué se le va a evaluar, cómo, cuando y bajo qué criterios será valorado su trabajo.

En resumen, algunas reflexiones en torno a las peculiaridades de la evaluación en entornos virtuales de formación:

· La interacción es la base de los entornos virtuales de aprendizaje. Interacción entre docentes, estudiantes, materiales, y con la propia institución en su conjunto. Difícilmente encontraremos un único emisor. Hablamos de un marco en el que la construcción del conocimiento compartido es la base del aprendizaje.

· La acción docente en los modelos educativos que usan de forma intensiva las TICs no es tarea de una persona, sino que es, esencialmente, tarea de la institución. La organización educativa debe decidir y definir los programas formativos, sus objetivos, su estructura, los materiales que los desarrollarán y el sistema de evaluación.

· Diferentes figuras responsables de la actividad docente en entornos virtuales de enseñanza-aprendizaje:

- Responsable académico del programa

- Autor de contenidos

- Coordinador del programa

- Docente/mediador

· Es fundamental evaluar la participación y contrastar si los alumnos han alcanzado determinados aprendizajes y por tanto si se han alcanzado los objetivos del curso.

· En los cursos en línea es esencial que el alumno reciba feedback inmediato de cómo esta siendo su aprovechamiento del curso. Sirve además como elemento motivador: la autoevaluación.

· En la enseñanza en línea, aunque pueda parecer lo contrario, se dispone de muchos materiales para realizar la evaluación de los alumnos, ya que gran parte de la comunicación se realiza por escrito.

Como señalan García Carrasco y otros (2002), la evaluación es una parte imprescindible dentro del proceso enseñanza-aprendizaje, como medida de la consecución de los objetivos de aprendizaje por parte del alumno, y, también, como control de la calidad de dicho proceso. Sin embargo, los instrumentos de evaluación actuales presentan muchas limitaciones en el contexto lecto-escritor, que pueden ser superadas, en parte, por las nuevas tecnologías de la información y la comunicación. Están surgiendo nuevas tecnologías que permiten la construcción de modelos más completos que se aproximan más a los criterios de evaluación. De igual forma, el Web está evolucionando hacia una estructura modular. El Web es un espacio universal de información, pero se trata de convertirlo en un espacio universal de conocimiento.

3. Estrategias e instrumentos de evaluación de aprendizajes asociadas a la teleformación

Una de las aplicaciones en informática que más se está utilizando en el tratamiento de la evaluación de alumnos es el software dedicado al diseño de pruebas objetivas (de respuesta cerrada) con posibilidad de autocorrección. Esto no quiere decir que Internet no ofrezca otros recursos de alto valor pedagógico, aunque la utilización de la tecnología no sea sencilla. En este apartado pretendemos exponer, de forma resumida, distintos procedimientos de evaluación del nivel de competencia adquirido por el estudiante y que podemos emplear a través de la red. En el siguiente cuadro presentamos una clasificación general de ellos, asociado al grado de uso potencial de la tecnología.

Cuadro 3. Instrumentos de evaluación de aprendizaje y uso potencial de la tecnología

Instrumentos de evaluación	Uso potencial de la tecnología
a) Pruebas objetivas (exámenes cerrados)	ALTO: el sistema de evaluación puede ser completamente informatizado (desde el diseño de la prueba, a su corrección y elaboración de informes)
b) Pruebas de respuesta abierta (exámenes de ensayo, de respuesta corta, etc...)	BAJO: exigiría reconocimiento de palabras clave, frases, etc. (procedimientos de análisis de contenido)
c) Exámenes prácticos (tareas experimentales, simulaciones, observación, etc...)	MEDIO: la tecnología puede guardar datos, analizar, emplear reconocedor de caracteres.
d) Exámenes orales (ante tribunal)	BAJO: podría ayudar la tecnología video-streaming
e) Proyectos o trabajos (investigaciones, estudios de caso, diagnósticos, etc.)	BAJO/MEDIO/ALTO. depende del tipo de contenido para emplear la tecnología.
f) Autoevaluaciones	ALTO: Puede ser completamente informatizado el proceso, con la incorporación de feedback inmediato.
g) Portafolios	BAJO/ALTO: depende de la organización de contenidos a evaluar y el procedimiento de corrección del tipo de contenidos.

El empleo de diferentes estrategias de evaluación a través de la red, depende principalmente del tipo de aprendizaje que queramos evaluar y cómo queramos utilizar la evaluación. En el caso de que el objetivo de ésta sea meramente sumativo y el nivel de aprendizaje versa sobre conocimientos adquiridos, tendremos que deducir que la forma más idónea será la utilización de pruebas objetivas. En cambio, si pretendemos evaluar con finalidad formativa, en un contexto de aprendizaje constructivista, que permitan incluir la motivación como factor importante, tendremos que acudir a algún sistema de autoevaluación, con el necesario feedback inmediato.

Dentro de todas estas estrategias de evaluación observamos dos categorías, aquellos procedimientos que ya son usualmente utilizados en la enseñanza presencial (pruebas tradicionales) y otro grupo de pruebas que se están incorporando a la práctica de la evaluación más recientemente (pruebas alternativas). Parece evidente que algunos recursos tecnológicos incorporados al uso de los ordenadores abren nuevas posibilidades para estos nuevos enfoques de registro de información. Esto es evidente en el caso de la estrategia del portafolios o portfolios, incorporados ya en numerosos paquetes de software educativo y cuyo uso comienza a demostrar un mayor compromiso de los estudiantes en la autoevaluación y el autoaprendizaje (Agra, Gewerc y Montero, 2003; Klenowski, 2002). El correo electrónico, las bases de datos y las listas de discusión, por su parte, permiten almacenar e intercambiar el trabajo de los alumnos en su proceso y en sus productos, así como acelerar en ambas direcciones los mecanismos de feedback. Pero una vez más, también en el caso de la evaluación, la tecnología puede servir para hacer operativa una determinada concepción del aprendizaje.

4. Software para la evaluación de aprendizajes a través de Internet: el caso de Perception

A partir de una extensa revisión de bibliografía, Internet y de listas de correo electrónico (Lara, 2001, 2003) se han encontrado gran cantidad de investigaciones y de herramientas, en continuo desarrollo, para gestionar la evaluación a través de tecnología web. A nivel superficial, se pudo observar que estos programas informáticos que sirven para evaluar el rendimiento de los alumnos a través de Internet se pueden clasificar en tres categorías básicas:

1. Entornos virtuales de formación (web-based trining), que ayudan al profesor a gestionar un módulo o curso de enseñanza completo a través de la red (distribución de contenidos, intercambios con los alumnos a través de correo electrónico, foros de discusión o chats y evaluación de los alumnos). Ejemplos de este tipo: WebCT, Learning Space, Edustance, etc.
2. Herramientas de autor, consisten en software destinado a su vez a la creación de programas a modo de ejercicios o tareas. Ejemplos de este tipo son: Hot Potatoes, Quia!, Clic, etc.
3. Software específico más complejo (requiere manejo de servidor), que permite poner en la red a toda la institución, tanto para la creación y publicación de los exámenes, como para recoger los resultados de los estudiantes. Ejemplos de este software son: Perception y Quiz Factory.

Entre el software que existe en el mercado actualmente, después de realizar una evaluación del mismo a través de la modalidad de demostración por un periodo de tiempo, nos parece que las posibilidades que ofrece Perception (http://www.questionmark.com) frente a otros programas, como uno de los más adecuados para poder realizar una evaluación en contexto formativo, al modo que señalamos con anterioridad.

4.1. Perception, software específico de evaluación a través de internet

Se trata de un software creado por una compañía inglesa que lleva más de diez años en uso, con sus correspondientes versiones. Perception es un programa para la elaboración, aplicación y corrección de pruebas o exámenes, creado por Question Mark. Debemos considerar la existencia de unos requisitos imprescindibles tanto para el software de autor, como para el software del servidor:

• Software de autor (c:/perception3/author.), comprende Question Manager y Assessment Manager (en versiones anteriores identificado como -Session Manager-).

• Software de servidor (c:/perception3/server/em.), almacena toda la información desde las preguntas hasta los resultados de la evaluación.

En este momento disponemos de la licencia para la versión 3 de Perception para uso en Internet. Las novedades que afectan al programa de autor están vinculadas al tipo de preguntas, así permite utilizar gran variedad de preguntas, añadiendo a la versión anterior: preguntas de emparejar, ordenar por categorías, rellenar espacios, preguntas propias de la escala de Likert, preguntas de Macromedia Flash, de verdadero/falso, de sí/no. Además posibilita poder etiquetar las preguntas, facilitando con ello su clasificación dentro del banco de elementos; mejorar en la puntuación de los temas, establecer el estado [2] de las preguntas: normal, pasada e incompleta; añadir notas y comentarios a las preguntas, establecer límite en la puntuación de las preguntas y cuenta con apoyo Oracle lo que ofrece la posibilidad de editar una base de datos de preguntas o una evaluación directa, facilitando la importación y exportación de preguntas desde un fichero o base de datos externa.

Las mejoras en la entrega de las evaluaciones recaen en: disposición de una estructura flexible de la base de datos, supervisión de la evaluación, gestión del límite de tiempo, apoyo MathML, casillas de comentarios, presentación flexible con una entrega pregunta por pregunta.

 Cuadro 4. Fases para el desarrollo de una prueba de evaluación a través de Perception

Etapas	Software	Tareas
1	AUTOR	·     Elaboración de un banco preguntas (gestor preguntas) ·     Selección de preguntas para componer una prueba de evaluación (gestor evaluación)
2	PUBLICACIÓN	·     Prepara la distribución de las preguntas, por servidor web
3	ENTREGA	·     Los participantes responden a las pruebas de evaluación: - acceso a URL (open.dll o perception.dll).
4	INFORMES	·     Herramientas que los administradores pueden utilizar para informe: -Enterprise Reporter (evaluaciones basadas en la web)

Las prestaciones de este programa se resumen sobre todo en tres aspectos:

a)      Los tipos de preguntas que pueden ser diseñadas a través de su última versión son: elección múltiple, respuesta múltiple, rellenar espacios en blanco, preguntas sobre imagen interactiva, matriz, selección, introducir número, explicación y pregunta de desarrollo. Además permite ofrecer un tipo de feedback de elaboración en el que se ofrecen explicaciones más exhaustivas y personalizadas, en función de la respuesta del alumno.

b)      Además permite adaptar el examen a modo de Test adaptativos informatizados, a través del concepto de "bloques" dentro de un examen. Este sistema permite dividir la prueba en partes, con diferentes preguntas, y da la posibilidad de crear condiciones entre los distintos bloques, de tal forma que cuando el alumno acaba un bloque, en función de la puntuación obtenida, se le presenta la posibilidad de repetir, o enviarle otras preguntas o dar por concluido el examen.

c)      La gran variedad de tipos de informes que presenta a partir de los exámenes realizados por los alumnos de un grupo. De modo que podemos obtener a través de internet resultados tanto individuales como de grupo, presentando las estadísticas adecuadas.

En definitiva, se trata de un producto que reúne muchas posibilidades para incentivar procesos de autoevaluación del aprendizaje, en función de los niveles de competencia manifestados, y que a la vez permite a los docentes realizar un seguimiento de los progresos que va realizando cada alumno. Sin embargo, en todos estos sistemas es evidente, la necesidad de contar con un soporte técnico que facilite y gestione el buen funcionamiento de la herramienta, sobre todo por la necesidad de uso de un servidor cuyo mantenimiento esté garantizado.

---