Empirical foundations for automated quality assessment of learning objects inside repositories

Abstract

Los Objetos de Aprendizaje pueden ser definidos como pequeñas unidades de Conocimiento que son utilizadas y reutilizadas en el proceso de enseñanza y aprendizaje. Ellos son considerados por muchos cómo las piedras angulares para la amplia diseminación y adopción de las iniciativas de e-learning por todo el globo. Gran parte de los repositorios de objetos de aprendizaje (sistemas donde los objetos de aprendizaje son publicados para que los usuarios puedan buscar y recuperarlos fácilmente) han adoptado estrategias para la evaluación de la calidad de sus recursos que están normalmente basadas en la opinión de la comunidad de expertos y usuarios del repositorio. Aunque dichas estrategias pueden de algún modo ser consideradas exitosas, ellas dependen solamente del trabajo humano y no son suficientes para encargarse de la enorme cantidad de recursos existentes hoy en día. Esa situación ha hecho aumentar la preocupación sobre el desarrollo de métodos para la evaluación automática de la calidad dentro de los repositorios. La presente disertación aborda ese problema proponiendo una metodología para el desarrollo de modelos capaces de clasificar automáticamente los objetos de aprendizaje disponibles en repositorios en distintos grupos de calidad. La idea básica es utilizar las evaluaciones on-line existentes (metadatos evaluativos) en los repositorios para dividir los objetos de aprendizaje en grupos de calidad (e.g., buenos y no-buenos), permitiéndonos así obtener medidas intrínsecas de los recursos que presenten diferencias significativas entre esos grupos. Denominaremos a esas características (medidas) “perfiles de objetos deaprendizaje altamente puntuados” que son consideradas como potenciales indicadores de calidad y por tanto pueden ser utilizados cómo variables de entrada por algoritmos de clasificación enfocados en la creación de modelos de evaluación automática de la calidad. Con el fin de examinar nuestra propuesta, hemos analizado35 medidas de una muestra de objetos de aprendizaje referenciados por el repositorio Multimedia Educational Resource for Learning and Online Teaching (MERLOT) y elaboramos perfiles para esos recursos teniendo en cuenta las distintas categorías temáticas así como los tipos de materiales disponibles. Durante nuestra investigación, descubrimos que algunas de las medidas intrínsecas presentan diferencias significativas entre los recursos con puntuaciones altas y el resto y que esas diferencias son dependientes de la categoría temática a la que el recurso pertenece, así como del tipo de recurso. Además, nosotros observamos que los diferentes perfiles deben ser identificados teniendo en cuenta el grupo que realizó la evaluación (expertos o usuarios). Basándonos en esos hallados, decidimos restringir la generación y la evaluación de los modelos para los tres subconjuntos cruzados (considerando las categorías tema, tipo de material y perspectiva de calidad de los expertos) pues son éstas las que contienen el mayor número de ocurrencias en el repositorio. Para esos subconjuntos generamos y evaluamos modelos a través de la utilización de Análisis Discriminante Lineal y Algoritmos de Minería de Datos para Clasificación, y encontramos resultados preliminares que indican la viabilidad de tal enfoque para esos subconjuntos específicos. La disertación finaliza presentando dos posibles escenarios de utilización de los modelos desarrollados una vez que estén implementados en un repositorio. Los resultados iniciales de ese trabajo son prometedores, por lo que esperamos que los mismos sean utilizados como fundamentos para el futuro desarrollo de una herramienta automática para la evaluación contextualizada de la calidad de los objetos de aprendizaje dentro de repositorios.