Archivos por Etiqueta: Psicometría

La detección de respuestas copiadas en exámenes de selección múltiple

Todos los profesores conocemos la ardua tarea de preparar exámenes para medir el aprendizaje de los alumnos. Hacer un buen examen implica elaborar preguntas de calidad, renovar el banco de preguntas cada cierto tiempo, seleccionar y crear distractores adecuados, que las preguntas no sean demasiado difíciles (o fáciles), elegir los contenidos adecuados, y un largo etcétera. También es necesario vigilar la correcta aplicación de las pruebas, evitando la copia entre los examinados pues entonces todo ese esfuerzo al construir un buen test se pierde por un tema de seguridad en la aplicación. Ahora bien, ¿se puede hacer algo para facilitar la seguridad en la aplicación de las pruebas?. La respuesta es si.

El problema del fraude en el proceso de medición es de una gravedad considerable. En su libro, Cizek (1999) resume 17 estudios, que a través de encuestas, revelan que el 50% de los estudiantes admiten alguna forma de copia y más de las dos terceras partes de estudiantes universitarios admiten haber copiado alguna vez, este mismo autor reporta 62 métodos individuales (sin tener en cuenta las tecnologías modernas) para hacer fraude. Está claro que cualquier tipo de fraude invalida las respuestas de una prueba, es por ello que resulta fundamental que las personas que aplican pruebas tengan instrumentos para detectarlo y prevenirlo. Actualmente se han desarrollado servicios profesionales que buscan brindar ese apoyo necesario para atajar el fraude. Assessment System Coorporation ha desarrollado dos aplicaciones
que permiten detectar a los posibles copiadores: Scrutiny! e Integrity. También existe la empresa Caveon especializada en detectar y prevenir el fraude en los procesos de medición.

Existen un conjunto de procedimientos que pueden permitir mejorar la aplicación de las pruebas. Entre ellas se encuentran: ajustarse lo mejor posible a las normas de aplicación que se han diseñado para la prueba, la distribución aleatoria de los estudiantes en el aula tener distintas formas de pruebas para evitar la copia de respuestas, veeduría de los procesos de aplicación, emplear estadísticos para la detección de copiadores, establecer un conjunto de sanciones a los copiadores, modificar el sistema de
investigación para detectar infractores e implementar un código de honor. Uno de los grandes retos frente al fraude es la detección de copiadores. Pero, ¿Cómo poder establecer que el patrón de respuestas de un sujeto contiene un número considerable de respuestas similares de otra persona después de haberse llevado a cabo la aplicación de una prueba?. Se han diseñado distintos tipos de procedimientos que tienen como objetivo detectar de manera fiable y válida qué patrones de respuestas pueden ser considerados como resultados de una copia. Ordóñez y Romero (2011) han propuesto recientemente el Ksc un índice estadístico para detectar parejas de copiadores en pruebas de elección múltiple. Si quieres saber más te invitamos a consultar el siguiente vínculo:
http://eprints.ucm.es/13293/1/T33095.pdf

Modelos de Diagnóstico Cognitivo, ¿son el futuro de la psicometría?

Los modelos de la Teoría de la Respuesta al Ítem más conocidos proporcionan el nivel de la persona en uno o más rasgos psicológicos. Tal información permite saber en términos absolutos y relativos la posición de la persona en el rasgo que se evalúa. Un déficit de estos modelos es que no informan de los procesos específicos que cada evaluado domina. Los modelos de diagnóstico cognitivo (MDC) sí lo hacen. En estos modelos hay que especificar qué procesos, tareas o atributos requiere cada ítem del test. Aplicado el test se puede saber cuáles de esos procesos domina el evaluado. Tienen por tanto un mayor valor diagnóstico y pueden ser más útiles para guiar las intervenciones y los siguientes contenidos a estudiar o profundizar.

El Dr. Jimmy de la Torre, profesor de la Rutgers’ Graduate School of Education e investigador de reconocido prestigio (ha recibido uno de los premios más importantes otorgados por la Casa Blanca a investigadores, el Presidential Early Career Award for Scientists and Engineers -PECASE) nos visita en Madrid desde el pasado septiembre, va a impartir un curso corto en MDC, que es su especialidad. El curso se realizará los días 15, 17, 22 y 24 de Noviembre en el Seminario 3 de la Universidad Autónoma de Madrid, los interesados en asistir pueden escribir a master.metodologia@uam.es