Desarrollando una Nueva Herramienta de Evaluación para la Educación en Física
Presentando una evaluación diagnóstica cognitiva para mejorar la comprensión de la educación en física.
― 9 minilectura
Tabla de contenidos
- Propósito del Estudio
- Antecedentes
- ¿Qué es la Evaluación Diagnóstica Cognitiva?
- Desarrollo de la Evaluación Diagnóstica Cognitiva de Mecánica
- Evaluaciones Existentes
- Comprensión de Habilidades y Áreas de Contenido
- Análisis de Evaluaciones Basadas en Investigaciones
- Hallazgos e Implicaciones
- Conclusión
- Direcciones Futuras de Investigación
- Fuente original
En la educación en física, a menudo se utilizan pruebas para ver qué tan bien los estudiantes entienden los conceptos. Estas pruebas ayudan a los profesores a saber lo que los estudiantes conocen y lo que aún necesitan aprender. Sin embargo, muchas de estas pruebas solo dan una puntuación general, que no le dice a los profesores qué habilidades específicas les faltan a los estudiantes. Para mejorar esto, estamos trabajando en un nuevo tipo de prueba llamada diagnóstico cognitivo de mecánica (MCD). El MCD permitirá a los docentes ver no solo qué tan bien lo están haciendo los estudiantes en general, sino también qué habilidades específicas necesitan trabajar.
Propósito del Estudio
El objetivo principal de este estudio es desarrollar la evaluación diagnóstica cognitiva de mecánica. Nos enfocamos en probar diferentes habilidades que los estudiantes necesitan en física, especialmente en cursos introductorios. Queremos saber qué habilidades están cubiertas en las pruebas existentes y cómo podemos usar esa información para crear una mejor herramienta de evaluación. El MCD dará a los docentes una visión clara de las fortalezas y debilidades de cada estudiante.
Antecedentes
Durante mucho tiempo, las evaluaciones en la educación en física han ayudado a los instructores a entender cómo aprenden los estudiantes. Estas evaluaciones, como el Inventario de Conceptos de Fuerza (FCI), han mostrado lo que los estudiantes saben y en qué áreas tienen dificultades. Sin embargo, muchas evaluaciones no proporcionan retroalimentación detallada.
Cuando los profesores utilizan evaluaciones, a menudo miran las puntuaciones generales. Esto les ayuda a ver qué tan bien está yendo una clase, pero no muestra con qué necesitan ayuda los estudiantes individuales. Para hacer que las evaluaciones sean más útiles, planeamos crear una evaluación diagnóstica cognitiva que se pueda adaptar a lo que cada estudiante sabe.
¿Qué es la Evaluación Diagnóstica Cognitiva?
La Evaluación Diagnóstica Cognitiva (CDA) es un tipo de evaluación que ayuda a los profesores a ver qué habilidades específicas han dominado los estudiantes y qué es lo que aún necesitan aprender. A diferencia de las pruebas tradicionales, que dan una única puntuación, las CDA desglosan el rendimiento del estudiante en varias habilidades. Esto permite una comprensión más detallada de las capacidades de un estudiante.
Para crear CDAs efectivas, necesitamos establecer conexiones claras entre habilidades específicas y elementos de evaluación. Esto significa que cada pregunta del examen debería estar vinculada a ciertas habilidades que los estudiantes necesitan dominar. Este enfoque ayuda a los profesores a ajustar su instrucción para satisfacer mejor las necesidades de sus estudiantes.
Desarrollo de la Evaluación Diagnóstica Cognitiva de Mecánica
Para desarrollar el MCD, nos centramos en cuatro habilidades principales que son importantes en física:
- Aplicar vectores
- Entender relaciones conceptuales
- Habilidades algebraicas
- Habilidades de visualización
Estas habilidades abarcan diferentes áreas de la física y son esenciales para que los estudiantes comprendan la materia por completo. Basamos nuestro marco en elementos de evaluación existentes y examinamos qué habilidades se midieron en evaluaciones comúnmente utilizadas como el FCI, la Evaluación Conceptual de Fuerza y Movimiento (FMCE) y la Encuesta Conceptual de Energía y Momentum (EMCS).
Pasos en el Desarrollo
Identificar Objetivos de Aprendizaje: Comenzamos con los objetivos de aprendizaje que los profesores establecen para sus estudiantes. Esto ayuda a asegurar que nuestra evaluación esté alineada con lo que se supone que deben aprender los estudiantes.
Codificación de Elementos de Evaluación: Revisamos los elementos de evaluación existentes y los codificamos en función de las habilidades identificadas previamente. Este paso nos permite ver qué tan bien las evaluaciones actuales cubren las habilidades importantes.
Pruebas con Modelos: Finalmente, utilizamos un modelo específico llamado modelo DINA para probar nuestra codificación de ítems. Este modelo nos ayuda a entender si los elementos están midiendo con precisión las habilidades que pretendíamos.
Evaluaciones Existentes
Hay muchas evaluaciones basadas en investigaciones que se utilizan en la educación en física. Estas pruebas proporcionan información sobre la comprensión de los estudiantes, pero a menudo se quedan cortas en cuanto a retroalimentación específica.
El Papel de las Evaluaciones Basadas en Investigaciones
Las evaluaciones basadas en investigaciones están diseñadas para medir la comprensión de los estudiantes sobre conceptos clave en física. Proporcionan a los instructores datos sobre cómo aprenden los estudiantes a lo largo de un curso. Sin embargo, muchas de estas evaluaciones se utilizan principalmente como evaluaciones finales en lugar de herramientas para la instrucción continua.
Limitaciones de las Evaluaciones Tradicionales
Dos limitaciones principales afectan la utilidad de las evaluaciones tradicionales:
Falta de Información Accionable: Las puntuaciones generales no señalan qué habilidades específicas les cuesta a los estudiantes.
Oportunidad de la Información: Las evaluaciones a menudo ocurren al final de un curso, lo que dificulta que los profesores ajusten su instrucción en función de la comprensión actual de los estudiantes.
Para abordar estos problemas, el nuevo MCD proporcionará retroalimentación en tiempo real que permitirá a los profesores ajustar sus métodos de instrucción mientras el curso sigue en marcha.
Comprensión de Habilidades y Áreas de Contenido
En nuestro estudio, buscamos determinar qué tan bien las evaluaciones existentes cubren las habilidades y áreas de contenido importantes en los cursos introductorios de mecánica. Queríamos resaltar las fortalezas y debilidades de las evaluaciones actuales en base a las habilidades específicas que los estudiantes necesitan dominar.
Habilidades Identificadas en Evaluaciones Existentes
A partir de nuestro análisis, identificamos cuatro habilidades principales que se evalúan comúnmente:
- Aplicar Vectores: Esta habilidad implica manipular cantidades vectoriales en problemas.
- Relaciones Conceptuales: Entender cómo diferentes conceptos de física se relacionan entre sí.
- Álgebra: Esto incluye reorganizar ecuaciones y resolverlas, lo que es esencial para abordar problemas de física.
- Visualizaciones: Esta habilidad requiere que los estudiantes interpreten y creen representaciones visuales de los problemas.
Áreas de Contenido Exploradas
Además de las habilidades, también analizamos áreas de contenido dentro de la mecánica introductoria. Las principales áreas de contenido incluyen:
- Cinemática: El estudio del movimiento sin considerar las fuerzas involucradas.
- Fuerzas: Comprender las fuerzas que actúan sobre los objetos, incluidas las leyes de Newton.
- Energía: Conceptos relacionados con la conservación de energía y trabajo.
- Momentum: Cubriendo principios de conservación e impulso.
El objetivo era analizar cómo se cubrieron estas habilidades y áreas de contenido en las evaluaciones FCI, FMCE y EMCS.
Análisis de Evaluaciones Basadas en Investigaciones
Examinamos más de cerca las fortalezas y debilidades de las tres evaluaciones, enfocándonos en cuántas habilidades diferentes midieron y las áreas de contenido que cubrieron.
Inventario de Conceptos de Fuerza (FCI)
El FCI evalúa principalmente dos áreas de contenido: fuerzas y cinemática. La mayoría de los ítems en el FCI se enfocan en las habilidades de aplicar vectores y entender relaciones conceptuales. Sin embargo, no mide álgebra ni visualizaciones.
Evaluación Conceptual de Fuerza y Movimiento (FMCE)
La FMCE incluye elementos que evalúan tres áreas de contenido: fuerzas, cinemática y energía. Muchos ítems requieren que los estudiantes demuestren múltiples habilidades a la vez. Esta complejidad agrega dificultad pero también proporciona una evaluación más amplia de la comprensión del estudiante.
Encuesta Conceptual de Energía y Momentum (EMCS)
La EMCS aborda energía y momentum, pero tiene menos ítems centrados en aplicar vectores y visualizaciones. Esto significa que habilidades importantes no se cubren tan a fondo, lo que podría dejar vacíos en el aprendizaje de los estudiantes.
Hallazgos e Implicaciones
Al examinar las evaluaciones actuales, descubrimos que, aunque proporcionan información valiosa, también tienen limitaciones significativas.
Fortalezas de las Evaluaciones Existentes
- Amplia Cobertura de Habilidades: Las evaluaciones cubrieron la mayoría de las habilidades importantes, particularmente las de aplicar vectores y relaciones conceptuales.
- Datos para Investigación: Estas evaluaciones han proporcionado datos valiosos para entender cómo aprenden los estudiantes de física.
Debilidades de las Evaluaciones Existentes
- Profundidad Limitada: Muchas evaluaciones no cubren álgebra ni visualizaciones de manera efectiva.
- Medición Inconsistente: Las variaciones en los tipos de preguntas y el énfasis en las habilidades pueden confundir tanto a los estudiantes como a los profesores.
Creando el Diagnóstico Cognitivo de Mecánica
Con estos hallazgos en mente, crearemos el MCD, que:
- Se Enfocará en Habilidades Específicas: Asegurará que cada elemento de evaluación esté claramente vinculado a una habilidad específica.
- Proporcionará Retroalimentación en Tiempo Real: Permitirá a los docentes adaptar sus estrategias de enseñanza en función de la comprensión actual de los estudiantes.
- Mejorará la Diversidad de Ítems: Incluirá una combinación de ítems de habilidad única y multi-habilidad para proporcionar una evaluación completa.
Conclusión
El desarrollo de la evaluación diagnóstica cognitiva de mecánica representa un paso significativo hacia adelante en la educación en física. Al centrarnos en habilidades específicas y proporcionar retroalimentación oportuna, buscamos mejorar la enseñanza y el aprendizaje en los cursos introductorios de mecánica.
Mientras trabajamos para finalizar el MCD, continuaremos analizando las evaluaciones existentes y recopilando datos para mejorar nuestra comprensión de cómo aprenden los estudiantes de física. Esta investigación continua nos ayudará a crear una herramienta efectiva y dinámica para educadores y estudiantes por igual.
En el futuro, anticipamos que el MCD ayudará a los educadores a tomar decisiones informadas sobre la instrucción y, en última instancia, mejorará los resultados de aprendizaje de los estudiantes en física.
Direcciones Futuras de Investigación
Avanzando, planeamos explorar áreas adicionales de evaluación e identificar maneras de mejorar aún más el MCD. Esto incluye desarrollar nuevos ítems que cubran las brechas que identificamos en álgebra, visualización y la aplicación de vectores.
Esperamos recopilar más datos e información de una gama más amplia de estudiantes, lo que nos permitirá refinar continuamente nuestras evaluaciones. En última instancia, nuestro objetivo es crear una herramienta de evaluación rica y adaptativa que apoye tanto a docentes como a estudiantes en su proceso de aprendizaje.
Crear una mejor comprensión del rendimiento y aprendizaje de los estudiantes en física contribuirá a la mejora continua de las prácticas educativas y la experiencia general de los estudiantes. A través de esfuerzos colaborativos y una investigación continua, buscamos ayudar a los estudiantes a tener éxito en su comprensión de la física.
Título: Applying Cognitive Diagnostic Models to Mechanics Concept Inventories
Resumen: In physics education research, instructors and researchers often use research-based assessments (RBAs) to assess students' skills and knowledge. In this paper, we support the development of a mechanics cognitive diagnostic to test and implement effective and equitable pedagogies for physics instruction. Adaptive assessments using cognitive diagnostic models provide significant advantages over fixed-length RBAs commonly used in physics education research. As part of a broader project to develop a cognitive diagnostic assessment for introductory mechanics within an evidence-centered design framework, we identified and tested student models of four skills that cross content areas in introductory physics: apply vectors, conceptual relationships, algebra, and visualizations. We developed the student models in three steps. First, we based the model on learning objectives from instructors. Second, we coded the items on RBAs using the student models. Lastly, we then tested and refined this coding using a common cognitive diagnostic model, the deterministic inputs, noisy ``and'' gate (DINA) model. The data included 19,889 students who completed either the Force Concept Inventory, Force and Motion Conceptual Evaluation, or Energy and Momentum Conceptual Survey on the LASSO platform. The results indicated a good to adequate fit for the student models with high accuracies for classifying students with many of the skills. The items from these three RBAs do not cover all of the skills in enough detail, however, they will form a useful initial item bank for the development of the mechanics cognitive diagnostic.
Autores: Vy Le, Jayson M. Nissen, Xiuxiu Tang, Yuxiao Zhang, Amirreza Mehrabi, Jason W. Morphew, Hua Hua Chang, Ben Van Dusen
Última actualización: 2024-03-08 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2404.00009
Fuente PDF: https://arxiv.org/pdf/2404.00009
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.