Modelos De evaluación 

MODELO CODA

Descripcion: 

Diseñado específicamente para evaluar la calidad de los objetos digitales de aprendizaje (ODA), el modelo CODA considera aspectos tanto pedagógicos como técnicos. Esta herramienta está dirigida principalmente a los profesores, investigadores y estudiantes que son creadores y usuarios de los MDD y OA, expertos en sus disciplinas, pero no necesariamente expertos en informática y didáctica. Permite mejorar sus OA haciéndolos cumplir el mayor número de criterios posible. Puede ser utilizada por los revisores externos cuando los autores deseen o necesiten un reconocimiento de la calidad de sus colecciones de OA.

Con este modelo de evaluación, tanto el autor del objeto de aprendizaje o RED como los usuarios y posibles revisores externos pueden valorar los OA con respecto a diez criterios. Cada criterio, a su vez, se desglosa en una serie de subcriterios de cuyo cumplimiento depende la puntuación total obtenida en el mismo. De esta manera se obtiene una evaluación extremadamente precisa que no deja ningún apartado abierto a la interpretación del evaluador. Finalmente, COdA se complementa con una guía de orientación y buenas prácticas que explica los subcriterios con ejemplos e indicaciones basados en casos reales (Fernández Pampillón Cesteros, Domínguez Romero, & de Armas Ranero, 2012)  

Criterios de evaluación: Los criterios de evaluación de este modelo se basan en diez puntos. Los primeros cinco puntos se centran en la calidad educativa del recurso, mientras que los otros cinco se enfocan en aspectos tecnológicos. Estos criterios son: objetivos y coherencia didáctica, calidad de los contenidos, capacidad de generar reflexión, crítica e innovación, interactividad y adaptabilidad, motivación, formato y diseño, usabilidad, accesibilidad y reusabilidad.

"Para cada uno de los criterios propuestos se evaluará la calidad con una puntuación de 1a 5, siendo 1 el mínimo y 5 el máximo. Si se considera que alguno de los criterios no es relevante para el OA evaluado, o si el revisor no se considera cualificado para juzgar ese criterio, siempre se puede evitar seleccionando la opción "No Aplicable" (NA)." (Fernández-Pampillón Cesteros, Domínguez Romero y de Armas Ranero, 2012, p. 3)

Metodologia:

Se aplica una revisión detallada del OA, analizando cada criterio de forma individual y global. Los cinco primeros criterios son de carácter didáctico, mientras que los otros cinco son tecnológicos de manera que ambos aspectos tienen el mismo peso. Cada criterio, a su vez, se desglosa en una serie de subcriterios de cuyo cumplimiento depende la puntuación total obtenida en el mismo. De esta manera se obtiene una evaluación extremadamente precisa que no deja ningún apartado abierto a la interpretación del evaluador. Finalmente, CODA se completa con una guía de orientación y buenas prácticas que explica los subcriterios y ofrece ejemplos e indicaciones basados en casos reales. Para cada uno de los criterios propuestos se evaluará la calidad con una puntuación de 1 a 5, siendo 1 el mínimo y 5 el máximo. Si se considera que alguno de los criterios no es relevante para el OA evaluado, o si el revisor no se considera cualificado para juzgar ese criterio, siempre se puede evitar seleccionando la opción "No Aplicable" (NA).

MODELO LORI

Descripción:

LORI es una herramienta que permite evaluar los objetos de aprendizaje en función de nueve variables.

Las variables se puntuarán utilizando una escala del 1 al 5. Si la variable no es relevante para la evaluar el objeto de aprendizaje o si el evaluador no esta capacitado para juzgar una variable concreta, entonces puede marcar NA (No Aplica). Para más información sobre la fiabilidad de la herramienta LORI, ver Vargo, Nesbit, Belfer y Archambault (2003).

Criterios de evaluacion:

Según el Instrumento para la evaluación de objetos de aprendizaje (LORI_ESP): Manual de usuario, el modelo LORI permite evaluar mediante 9 criterios en una escala de 5 estrellas de valoración, su acuerdo a desacuerdo con los criterios propuestos para medir indicadores de calidad. Donde 1 es Bajo y 5 es Alto. Estos criterios son: calidad de los contenidos, adecuación de los objetivos de aprendizaje, feedback y adaptabilidad, motivación, diseño y presentación, usabilidad, accesibilidad, reusabilidad y cumplimiento de estándares.

Metodología:

En cuanto a su metodología la herramienta LORI, se revisa exhaustivamente el objeto de aprendizaje, considerando los nueve criterios establecidos, puede utilizarse individualmente o a través de paneles de revisión. Si se opta por esto último, recomendamos el "modelo convergente de participación para la evaluación colaborativa" (Nesbit, Belfer y Vargo, 2002). Siguiendo este modelo hay dos formas de presentar los resultados: 1) un valor para cada variable, 2) la media del conjunto de variables.

MODELO ECOBA

Descripción:

Este modelo se centra en la evaluación de contenidos educativos en función de estándares predefinidos, como los estándares de calidad ISO. 

Este método es iterativo, es decir que progresivamente va calculando aproximaciones a la solución de un problema. Por lo tanto, los Recursos educativos digitales pueden evaluarse y rediseñarse.

Criterios de evaluación:

Los criterios de evaluación se agrupan en tres dimensiones, pertinencia y veracidad, diseño instruccional y modelo de competencias, diseño estético y funcional.

MODELO FURPS 

Descripción:

Ampliamente utilizado en el desarrollo de software, FURPS evalúa la calidad del producto desde diferentes perspectivas. Modelo desarrollado por Hewlett-Packard en el año 1987, en el cual se desarrollan un conjunto de 5 factores de calidad de software formando el acrónimo de FURPS. Dichos factores son:

• (Functionality) funcionalidad
• (Usability) usabilidad
• (Reliability) confiabilidad
• (Performance) desempeño
• (Supportability) capacidad de soporte

Este enfoque permite  evaluar exhaustivamente el software en términos de su capacidad para satisfacer las necesidades del usuario y cumplir con los estándares de calidad establecidos (Manobanda Ushca, 2020).

Criterios de evaluación:

El modelo FURPS, se enfocan en los siguientes criterios

• Rendimiento: Se evalúa la eficiencia del sistema en términos de velocidad de procesamiento, tiempo de respuesta y consumo de recursos. Esto se realiza mediante la medición de indicadores como la velocidad de procesamiento, el tiempo de respuesta y la utilización de recursos del servidor de aplicaciones.
• Eficacia: Se evalúa la capacidad del sistema para completar las tareas asignadas y cumplir con los objetivos propuestos.
• Tiempo de respuesta: Se establece un tiempo máximo de respuesta para completar una tarea, incluyendo los accesos a la memoria RAM, el disco, las actividades de E/S y los consumos del sistema operativo. Generalmente, se considera eficiente un tiempo máximo de respuesta de 5 segundos.
• Utilización de recursos: Se evalúa la cantidad de recursos software necesarios para el correcto funcionamiento del sistema. (Manobanda Ushca, 2020).

Metodología:

Se realiza una evaluación exhaustiva del software, considerando cada uno de los atributos de calidad definidos en el modelo. La metodología de evaluación del modelo FURPS implica los siguientes pasos:

• Asignación de prioridades: Este paso implica determinar la importancia relativa de cada atributo de calidad en función de las necesidades y objetivos del proyecto.
• Definición de los atributos de calidad que pueden ser medidos: Identificacion y descripcion de los atributos de calidad relevantes que pueden ser evaluados y medidos de manera objetiva. (Manobanda Ushca, 2020).

Reeves

Descripción:

Desarrollado por Bonni Reeves, este modelo se centra en la evaluación pedagógica de los recursos educativos digitales, 14 dimensiones pedagógicas que se consideran esenciales para el diseño y evaluación de recursos educativos digitales (RED).

Las 14 dimensiones del modelo Reeves son las siguientes:

• Epistemología: Esta dimensión se refiere a la teoría del conocimiento que subyace al RED. El RED debe reflejar una visión del conocimiento como algo constructivo, que se construye a partir de la experiencia y la interacción.
• Filosofía pedagógica: Esta dimensión se refiere a la filosofía educativa que sustenta el RED. El RED debe estar basado en una filosofía educativa que promueva el aprendizaje activo, significativo y autónomo.
• Sustento psicológico: Esta dimensión se refiere a los principios psicológicos del aprendizaje que se aplican en el RED. El RED debe estar basado en principios psicológicos que promuevan el aprendizaje eficaz.
• Orientación de las metas: Esta dimensión se refiere a los objetivos de aprendizaje que se persiguen con el RED. El RED debe estar claramente orientado a unos objetivos de aprendizaje específicos y medibles.
• Valor de la experiencia: Esta dimensión se refiere a la calidad de la experiencia de aprendizaje que ofrece el RED. El RED debe ser atractivo, motivador y desafiante.
• Rol del profesor: Esta dimensión se refiere al papel del profesor en el RED. El RED debe permitir al profesor desempeñar un papel activo en el aprendizaje de los estudiantes.

Según este modelo, el refinamiento de problemas, soluciones y métodos se basa en ciclos continuos y relacionados entre sí que, a partir de los resultados, permite ajustar y posteriormente reajustar  las acciones dirigidas al análisis práctico del problema, desarrollo de soluciones a partir de la teoría, evaluación del producto y elaboración de principios de diseño. (Marín, Moreno, & Negre, 2012).

Criterios de evaluacion:

Los criterios de evaluación de Reeves se basan en las 14 dimensiones pedagógicas del modelo Reeves. Estos criterios se utilizan para evaluar la calidad de un recurso educativo digital (RED).

Los criterios de evaluación de Reeves se dividen en dos categorías:

Criterios de diseño: Estos criterios se utilizan para evaluar la calidad del diseño del RED.

Criterios de implementación: Estos criterios se utilizan para evaluar la calidad de la implementación del RED.

Metrica o escala de valoración:

La métrica o escala de valoración de Reeves es una herramienta que se utiliza para evaluar la calidad de un recurso educativo digital (RED). La métrica se basa en los 14 criterios de evaluación de Reeves, que se dividen en dos categorías: criterios de diseño y criterios de implementación.

La métrica de Reeves utiliza una escala de cinco puntos para evaluar cada criterio:

1: Muy deficiente

2: Deficiente

3: Aceptable

4: Bueno

5: Excelente

Instrumento de evaluación:

La sección 1 del instrumento de evaluación de Reeves se centra en los criterios de diseño del RED. Las preguntas de esta sección abordan los siguientes temas:

La teoría del conocimiento que subyace al RED

La filosofía educativa que sustenta el RED

Los principios psicológicos del aprendizaje que se aplican en el RED

Los objetivos de aprendizaje del RED

La experiencia de aprendizaje que ofrece el RED

La sección 2 del instrumento de evaluación de Reeves se centra en los criterios de implementación del RED. Las preguntas de esta sección abordan los siguientes temas:

El papel del profesor en el RED

La flexibilidad del RED

La accesibilidad del RED

El uso de la tecnología en el RED

El costo del RED

La efectividad del RED

Para cada pregunta del instrumento de evaluación de Reeves, el evaluador debe proporcionar una puntuación de 1 a 5, donde:

1: Muy deficiente

2: Deficiente

3: Aceptable

4: Bueno

5: Excelente

MacCall

Descripción:

El modelo de evaluación de McCall fue uno de los primeros modelos en ser creados para dicho fin; éste nació en el año 1977, fue propuesto por James A. McCall, Paul K. Richards y Gene F. Walters. Este es un modelo que está considerado desde la percepción del usuario y propone una serie de factores los cuales son conocidos como factores de McCall. Este modelo busca realizar una descomposición del concepto genérico de calidad en 3 capacidades o atributos : Operación, Transición y Revisión. Cada una de estas capacidades tiene a su vez un conjunto de factores que finalmente definen ciertos criterios que permiten evaluar el producto por medio de métricas, que dan cuenta de la medida en la que el sistema evaluado posee cierta característica. Estas métricas cuentan con sus propios criterios o medidas que posibilitan la medición de la calidad. Lo anterior se da gracias a la relación existente entre los factores y las métricas de calidad pertenecientes a cada producto a evaluar.

Criterios de evaluación:

Los factores que se tienen en cuenta en este modelo son:

• Corrección:

hasta donde se cumplen los requerimientos y objetivos del usuario.

• Confiabilidad:

Hasta qué punto el sistema está listo para usarse.

• Usabilidad:

como es el uso del sistema, si es muy complejo o sencillo.

• Integridad o Seguridad: es la confidencialidad de la información en el sistema, es decir si la

información está protegida o no de los usuarios que no están autorizados.

• Eficiencia o Performance: son los códigos y recursos que utiliza un programa cuando realiza una

función.

• Portabilidad:

es la facilidad que tiene un programa para pasar de un entorno donde está realizando ciertas operaciones hacia otro.

• Reusabilidad:

que tan fácil es usar el programa en diversos proyectos.

• Interoperabilidad:

se refiere a la capacidad que tiene el programa para operar junto con otro.

• Facilidad Mantenimiento: se trata de la facilidad o complejidad del programa para corregir un

error que se presenta durante su funcionamiento.

• Flexibilidad:

se refiere a la posibilidad que permite el software para que se realicen modificaciones durante su funcionamiento, saber la cantidad de esfuerzo necesario para eso.

• Facilidad de pru

quiere decir, medir el esfuerzo que se utilizará para comprobar que el programa realiza muy bien sus funciones.

García (2006) Afirma: "Para evaluar los criterios de las métricas se deben fijar valores máximos y mínimos que sean adecuados para cada uno de los criterios" (p. 132).

Metrica o escala de valoración:

Figura 5

Metricas de la calidad del software

Las métricas son utilizadas para medir la calidad del software. La UDES (2015) Afirma: "las métricas se usan para medir la calidad por medio de una manifestación que se observa visible en ella" (p.70).

Las métricas que propone el modelo de McCall son:

• Auto documentación:

en qué medida el código fuente brinda información sobre los documentos importantes.

• Capacidad de expansión: quiere decir el grado hasta donde está permitido ampliar el diseño de

la arquitectura de datos.

• Compleción de las funciones: se trata del grado hasta donde se

implementaron las funciones que eran necesarias.

• Complejidad:

establecer que tan complejo es el sistema.

• Concisión:

que tan denso es el programa en lo que se relaciona con las líneas del código.

• Consistencia:

se refiere al diseño uniforme del programa usando técnicas de documentación.

• Eficiencia de ejecución: se trata del rendimiento durante el tiempo que está en ejecución.
• Estandarización de comunicaciones: es el grado en que se utilizan los estándares

y protocolos.

• Estandarización de datos y estructuras: de qué forma se manejan los datos y las

estructuras en el programa.

• Exactitud de cálculo y de control: establecer si la realización de cálculos se

hace de forma precisa.

• Facilidad de auditoría: medir el grado de facilidad de comprobación en el programa.
• Independencia del hardware: sirve para medir el grado en que el software puede estar desacoplado en

cuanto al hardware donde está funcionando.

• Independencia del software: que tan independiente es el

software del sistema operativo.

• Instrumentación:

se refiere al grado de auto vigilancia durante el funcionamiento del software, y también tiene que ver con la identificación de errores.

• Modularidad:

que tan independientes son los componentes durante su funcionamiento.

• Operatividad:

es la facilidad que tiene el software durante su operación.

• Seguridad:

es la seguridad en la protección de la información en el programa.

• Simplicidad:

se refiere al grado de dificultad que se puede experimentar para entender el programa.

• Tolerancia a errores:

es el grado en que se afecta el programa por causa de un error.

• Trazabilidad: