Análisis microeconométrico en la pedagogía: Un experimento de evaluación de impacto de la gamificación en las aulas universitarias

Alfredo Verdezoto y Luis Panchi*

Información

Recibido:

24 de marzo de 2021

Aceptado:

2 de junio de 2021

Palabras clave:

Evaluación de impacto

Gamificación

Aulas universitarias

Videojuego

Microeconometría

Ethikós

Clasificación JEL:

E41, E5, E58, C53

DOI:

https://doi.org/10.47550/RCE/31.1.5

*Banco Central del Ecuador. Los comentarios emitidos en el documento son criterios propios de los autores y no reflejan necesariamente las de la institución. Correo electrónico: averdezoto@bce.com.

Copyright © 2021 Verdezoto et al. Los autores conservan los derechos de autor del artículo. El artículo se distribuye bajo la licencia Creative Commons Attribution 4.0 License.

Resumen

Las nuevas tecnologías de la información impactan también a los procesos de enseñanza-aprendizaje. El presente estudio analiza desde la óptica microeconométrica la aplicación de la gamificación en el aula universitaria a través del videojuego digital Ethikós, desarrollado por la Pontificia Universidad Católica del Ecuador, y cómo este impacta en el rendimiento académico de los estudiantes.

Entre octubre y diciembre del 2020, se aplicó el experimento a 294 estudiantes universitarios de la PUCE dentro de los cursos obligatorios de ética. Se los dividió en dos grupos: población de tratados (quienes hacen el juego) y no tratados (quienes reciben una clase tradicional de repaso como placebo). El análisis se realizó en dos momentos, antes y después del juego, empleando el método de diferencias en diferencias con clústeres estandarizados. Se observó que el grupo de tratados mejoró su rendimiento académico en 36% en relación con la población de control tras la aplicación del videojuego.

A microeconometric analysis of the application of pedagogical games: an experiment to evaluate the impact of game application in university classrooms

Alfredo Verdezoto and Luis Panchi*

Article Info

Received:

24th March 2021

Accepted:

2nd June 2021

Keywords:

Impact evaluation

Gamification

University classroom

Game

Microeconometrics

Ethikós

JEL:

E41, E5, E58, C53

DOI:

https://doi.org/10.47550/RCE/31.1.5

*Central Bank of Ecuador. The comments made in this document are the authors’ own criteria and do not necessarily reflect the views of the institution. E-mail: averdezoto@bce.com.

Copyright © 2021 Verdezoto et al. Authors retain the copyright of this article. This article is published under the terms of the Creative Commons Attribution Licence 4.0.

Abstract

Information technology has had important impacts in many aspects of the world, including the way in which material is taught in the classroom. This research analyzes the application of the gamification in the university classroom through the digital video game Ethikós. This game was developed by the Pontifical University of Ecuador. The analysis focuses on how it impacts students, both in terms of knowledge and perception.

Between October and December 2020, the experiment was applied to 294 PUCE university students within the mandatory ethics courses. They were divided into two groups: treated population (those who played the game) and untreated (who received a traditional review class as placebo). The analysis was carried out in two moments, before and after the video game, using the method of differences in differences and using standard clusters derived from the difference between the final and initial interest in the subject of Ethics.

It was observed that the treated group improved their academic performance by 36% in relation to the control population after the application of the video game.

1.Introducción

Las nuevas tecnologías de la información impactan también a los procesos de enseñanza-aprendizaje. Existen metodologías que consideran aspectos lúdicos para motivar y mejorar el rendimiento de los estudiantes. El aprendizaje a través de juegos se ha ido actualizando de la mano de la tecnología: lo lúdico ha generado videojuegos especializados que son útiles para la educación, por ello se habla de gamificación en el aula.

La Pontificia Universidad Católica del Ecuador (PUCE) promovió proyectos de innovación educativa; dentro de ellos, como un proyecto de innovación educativa en el área de la materia de Ética, surgió el videojuego digital Ethikós. Todos los estudiantes de las diferentes carreras deben hacer, en algún momento de su formación de pregrado, de modo obligatorio, el curso de Ética, ofreciéndoseles la oportunidad de emplear el videojuego.

El videojuego se centra en los paradigmas ético-históricos más relevantes del curso: ética de Aristóteles, ética de Kant, ética utilitarista, ética discursiva y ética institucional. El juego se compone de cinco niveles correspondientes a cada paradigma ético-histórico, recoge retos o misiones que el jugador debe superar de la mano de una serie de instrucciones y carteles de enseñanza que aparecen a lo largo del juego. Al final, el resultado alcanzado se califica sobre un total de 15 estrellas, cada nivel otorga hasta 3 estrellas que reflejan el logro del objetivo y el conocimiento de la materia.

El ambiente está en tres dimensiones y diseñado para jugarse en un teléfono celular inteligente con sistema Android; sin embargo, el juego no está disponible para el sistema iOS. El videojuego Ethikós promueve el conocimiento de la ética como filosofía, así como también valores como el equilibrio, la buena voluntad, el bienestar de la mayoría y el cuidado de la naturaleza, todos valores necesarios para una ética social contemporánea.

El presente estudio busca demostrar, mediante técnicas econométricas, el impacto que este método de enseñanza-aprendizaje tiene en los estudiantes de pregrado. Para lo cual se aplicó aleatoriamente el juego a un grupo de estudiantes de la materia de Ética de la PUCE y se comparó su desempeño, tanto en rendimiento académico como en motivación, con un grupo de control conformado por estudiantes que no hicieron el juego. Los datos se recolectaron a través de encuestas ex ante y ex post del juego (v. anexos) y el instrumento utilizado para medir el impacto fue el método de diferencias en diferencias.

2.Marco teórico

2.1.Gamificación y cuestión ética

Hay pocos videojuegos dedicados a generar competencias de aprendizaje dentro de las ciencias del conocimiento. Más raro aún es encontrar un juego aplicado a la materia de Ética, aunque todos los videojuegos se involucran con la ética de un modo o de otro desde el punto de vista de la valoración que hace el jugador del juego, del entorno y de las pruebas a superar; de la valoración que hacen los demás de cada videojuego en particular, de sus personajes, misiones, jugadores e impacto en la vida social.

La afinidad entre gamificación y contenidos académicos y formativos también se expresa en varios estudios (Vergara et al., 2019; Asiri, 2019; Ortiz-Colón et al., 2018; Torres y Romero, 2018; Ponce, 2017). Disciplinas académicas como el marketing, ecología, pedagogía, informática, salud, política, economía, finanzas, física, literatura entre otras, no se quedan fuera del empleo de gamificación (Pelegrín-Borondo et al., 2020; Vergara, 2020; Lucero et al., 2019; Lizano y Pinela, 2018). Además, está la tendencia que se llama «juegos serios, donde lo que importa no es tanto la diversión cuanto la adquisición y aplicación de conocimientos (Baptista & Oliveira, 2019; Yen et al., 2019; Vergara y Mezquita, 2016).

Los estudios que enfocan de modo directo la relación ética o moral y videojuegos son más bien escasos y recogen el aspecto negativo atribuido a los videojuegos como el gasto de tiempo de los jóvenes, obesidad, machismo y violencia (Scharrer et al., 2018; APA, 2015), que provocarían un «pánico moral» (Callejo, 2016).

Existen estudios que enfocan el desarrollo de competencias éticas, por ejemplo, Fernández-Arias et al. (2020) afirman con evidencia empírica que, en general, la gamificación promueve competencias sociales en los estudiantes, tales como los valores morales (Hernández y Cano, 2016), el compromiso social (Hassan & Hamari, 2020; Buheji, 2019; Morschheuser et al., 2017), la participación social (Bakhanova et al., 2020), incluyendo el aprendizaje sobre migración y salud (Ruben-Moreno et al., 2019).

A nivel universitario, las competencias éticas y sociales pueden también ser desarrolladas a partir de gamificación (Zamora-Polo et al., 2019; Batistello y Pereira, 2019; Martínez, J., 2019; Ordóñez-Olmedo, 2017; Roncancio-Ortiz et al., 2017; Contreras Espinosa y Eguia, 2016). Sin duda, la gamificación a través de videojuegos en las aulas universitarias es una innovación educativa (Núñez-Barriopedro et al., 2020; Pareja, et al., 2019; Saraguro-Bravo et al., 2017; López Gómez y Rodríguez Rodríguez, 2016).

Parece que lo esencial en videojuegos es la motivación, tanto la que el jugador debe tener para jugarlo como la que el mismo juego produce para efectos educativos, como lo testimonian los estudios de Halbrook et al. (2020), González Castro, (2019), Montes González, et al. (2018). Otros estudios informan que la mejora del rendimiento académico es un efecto principal del uso sistemático de la gamificación en el aula (Guevara, 2018; Prieto et al., 2014).

Los principales aportes de esta investigación están relacionados a conocer el efecto causal, desde la óptica microeconométrica, entre gamificación, percepción de interés en la materia y rendimiento académico. Esta investigación realiza un vínculo transdisciplinario desde la praxis microeconométrica y la aplicación pedagógica de la gamificación.

Lo que interesa es medir el impacto pedagógico del videojuego aplicado en el aula. Para el efecto, en la literatura revisada no se considera el nivel o calidad socioeconómica de los estudiantes (Guevara, 2018, Prieto, et al. 2014). Se parte con que los estudiantes cuentan con un celular Android para descargar el videojuego y jugarlo. No profundizamos aquí sobre las condiciones socioeconómicas previas de los estudiantes, por no corresponder a la finalidad de este estudio.

El videojuego se aplica como un instrumento pedagógico para aumentar la estima y rendimiento académico de los estudiantes con respecto de la ética. El videojuego abarca una unidad de las cuatro en las que está dividido el curso y su aplicación alcanza dos horas de clase dentro de las 48 que dura todo el curso. Su aplicación es más bien auxiliar a los objetivos del curso, mismo que no gira en torno al videojuego ni este alcanza todos los contenidos del curso.

Las limitaciones existentes yacen en que no ha sido factible aplicar el videojuego de manera permanente o sistemática en un curso, en varios periodos académicos y a más grupos de estudiantes, con lo cual se hubiera podido observar de mejor manera el impacto no solo en la percepción de interés y el rendimiento académico que tienen en la materia en un cortísimo plazo, sino también a largo plazo junto con la formación de valores. De aquí la importancia de continuar aplicando el videojuego y seguir midiendo sus efectos en grupos más grandes de estudiantes o incluso en estudiantes de bachillerato o educación básica.

2.2.La percepción de interés en la materia de Ética (PIE)

Se entiende como percepción de interés por la materia de Ética el grado según el cual un estudiante cree valorar la materia porque le otorgará competencias importantes para su futura vida profesional. Esta definición está en armonía con el sentido del término percepción de interés o utilidad, empleado por Asiri (2019: 114). Esta percepción se mide antes y después de la aplicación del videojuego Ethikós, con una escala aumentativa del 1 al 3 a través de encuestas ex ante y ex post.

2.3.La percepción de aplicación de la ética a la carrera (PAC)

Es el grado según el cual un estudiante cree prever la aplicación del estudio de ética para el ejercicio de su futura profesión. Esta percepción se mide antes y después de la aplicación del videojuego Ethikós, con una escala progresiva de 1 a 3, a través de encuestas ex ante y ex post.

2.4.La percepción de aplicación de la ética a la vida personal (PAV)

Es el grado según el cual un estudiante cree prever la aplicación del estudio de ética para su vida personal privada. Esta percepción se mide antes y después de la aplicación del videojuego Ethikós con una escala progresiva de 1 a 3, a través de encuestas ex ante y ex post.

2.5.El rendimiento académico (RA)

Está determinado por las notas alcanzadas por los estudiantes en una escala progresiva de 0 a 10. La nota inicial mide el rendimiento académico inicial (RAI) y es la alcanzada al momento de la aplicación del videojuego y calificada por cada profesor a su grupo correspondiente. La nota final mide el rendimiento académico final (RAF) y es la nota lograda después de aplicar el videojuego, a fin de medir si mejora o desmejora.

La hipótesis para confirmarse es que la aplicación del videojuego mejora el rendimiento académico final teniendo como variables independientes al PIE y al RAI.

3.Metodología

El total de estudiantes investigados pertenecen a 22 diferentes carreras, 14 paralelos y 6 profesores. De esta manera, entre octubre y diciembre del segundo semestre académico 2020, se aplica el videojuego Ethikós a través de los siguientes pasos:

Se elige a un paralelo de alumnos que aplicarán el videojuego y otro al que se aplicará una clase tradicional de repaso y una prueba rápida, cuyo contenido será el mismo que el del videojuego.

Tanto al grupo del videojuego como al de la clase tradicional de repaso se les aplica un cuestionario previo, que consta de información general como la edad, semestre que cursan y tres preguntas sobre la materia de Ética: interés en la materia, importancia de la ética para la vida personal e importancia de la ética para la carrera que cursan. En este estudio, nos centraremos en la primera pregunta, referida al interés del estudiante por la materia.

Se aplica el juego a los estudiantes, quienes en lo posterior se llamarán grupo de tratamiento; en cambio, quienes se encuentran en la clase tradicional se los denominará grupo de control1. Los estudiantes únicamente podían descargarse el juego a través de un sistema Android; no fue factible para iOS.

Ex post, se aplica una segunda encuesta para el grupo de tratamiento y control, donde se les cuestiona nuevamente sobre el interés en la materia, importancia para la vida e importancia para la carrera que cursan. Por otro lado, a tratados y no tratados en este mismo formulario se les aplica un mismo test rápido concerniente a la materia. A los tratados se les pide que informen el número de estrellas o puntos alcanzados en el videojuego —que será la nota sobre 10 que alcanzaron después del juego—, mientras que la nota del grupo control será la alcanzada en la prueba rápida.

Es decir, se construye una base de datos que contiene información sobre la población de tratados, en un periodo ex ante y ex post y otra población de no tratados, también para los mismos periodos.

Es importante mencionar que, por factibilidad del sistema de organización de cursos, los profesores fueron quienes escogieron a los cursos que serían aplicados el juego y a quienes no. No fue posible intervenir en la organización previa para la aleatorización de la participación de los estudiantes. Para los autores era imposible determinar cuál profesor aplica y cuál no, de la misma manera que era imposible determinar qué curso hace el juego y qué curso no, o qué estudiante sí y qué estudiante no. Los cursos se someten a un sistema organizativo propio de la universidad en el cual no se puede influir.

Cada profesor libre y voluntariamente decidió participar en el experimento y elegir los cursos disponibles para ello. Dentro del análisis de evaluación de impacto, esto puede ser considerado como un sesgo de selección por parte de los profesores; no obstante, se busca eliminarlo o atenuarlo con la formación de grupos o clústeres dentro del modelo de diferencias en diferencias.

3.1.Deducción analítica del modelo

Existen otras dificultades, como las estimaciones inexactas del efecto del programa, dado que los tratados y no tratados generalmente son diferentes aún en ausencia de la intervención de una política; por este hecho y dada las características de las bases de datos2, en esta investigación es útil aplicar modelos de diferencias en diferencias, pues controlan estos problemas de estimación.

La evaluación de impacto busca estimar el efecto de la aplicación de un programa en una población específica:

(1)

Donde es el valor esperado de la variable de resultado entre los participantes en el proyecto (en este caso el juego) en presencia de dicho proyecto; en cambio, es el valor esperado de la variable de resultado entre los participantes en ausencia del proyecto.

La ecuación 1 evalúa la diferencia de la variable de resultados para el grupo de tratados en el caso de haber programa, versus la misma variable para el mismo grupo de tratados en el caso de no haber programa. Considerando que una persona no puede estar en dos partes al mismo tiempo, se aplica para el caso un grupo de personas elegibles que no participan del programa o grupo de control, , por ello tienen que ser muy semejantes a los elegidos para el proyecto3, cumpliéndose el siguiente supuesto:

(2)

Cumpliéndose este segundo postulado, es factible que el grupo de control permita responder a la pregunta: ¿Qué hubiera pasado si no existía programa? Sin embargo, este supuesto se viola en el momento que las personas se autoeligen. El hecho es que, los dos grupos son elegibles, cumplen con los requisitos, pero quienes se seleccionan a sí mismos poseen razones que a los ojos del investigador pueden no ser evidentes y dicha posibilidad de elegirse a ellos mismos ya da una pauta de sus diferencias previas, inclusive antes de que exista programa. Por tal razón, los individuos que se autoseleccionan en el grupo de tratamiento son sistemáticamente diferentes (en formas que observamos y en formas inobservables) de los individuos que se autoseleccionan en el grupo de control, y precisamente por eso participan en el programa. Haciendo un pequeño cambio algebraico en la ecuación 1, se tiene la siguiente relación:

(3)

Los términos segundo y tercero de la parte derecha de la ecuación 3 constituyen el sesgo de autoselección que se suma a , el objetivo es lograr controlar estos aspectos a través del método de diferencias en diferencias; bajo el supuesto que el sesgo de autoselección estuviera controlado, el impacto del programa sobre la variable de resultado estaría medido por la siguiente regresión:

(4)

Donde es el indicador del estatus del tratamiento. Ahora bien, en el caso que no se cumpla la ecuación 2, la variable no captará el efecto que tiene el programa en . Por lo tanto, la estrategia de control de estas diferencias previas al programa es repetir el experimento al menos una vez más. Si el efecto positivo se repite, el proyecto sí tiene impacto y la doble diferencia permitiría controlar los resultados observados y no observados en , con lo cual se infiere que . De esta manera, no existen elementos inobservados en la selección de las poblaciones, evitando violar el supuesto de independencia condicional. El concepto útil para este caso es el que sigue:

(5)

Donde es el promedio de la variable de resultado en el grupo de los tratados en el periodo posterior a la intervención () y es el promedio de la variable de resultado en el grupo de los tratados en el periodo anterior a la intervención (). Este estimador se incluye en la diferencia entre población de tratados y no tratados de la ecuación 1, obteniéndose de esta manera la ecuación 6:

(6)

La ecuación anterior muestra el impacto intertemporal de la población de tratamiento y control. La ventaja de la aplicación de este método es la corrección de los sesgos subyacentes en el error y que pueden ser provocados por las diferencias previas entre el grupo de tratados y no tratados antes de la intervención. Es decir, los coeficientes pueden ser sobrevalorados, puesto que de entrada la población de tratados ya tuvo algún tipo de ventaja previa a la intervención o ejecución del proyecto, siendo la ventaja fundamental que métodos como el de diferencias en diferencias tiene para corregir este problema (Stock & Watson, 2012).

En ese sentido, dada la naturaleza de las bases de datos que están organizadas como datos de panel, se entiende que el tiempo está considerado dentro del análisis de los coeficientes, pues se tiene a disposición las observaciones del mismo individuo antes y después de la intervención. Por lo tanto, se utiliza como variable dependiente el cambio entre un periodo y otro. Para los efectos de este trabajo, se establece la diferencia entre las segundas notas (RAF) menos las primeras (RAI), por ello se requiere crear la variable 4:

(7)

Donde es la variable de resultado del individuo en el periodo dos (después de la aplicación del juego) y es la variable de resultado del individuo en el periodo uno (antes de la aplicación del juego).

Posteriormente, se estiman tres regresiones, donde la variable dependiente es , misma que se aplica sobre la variable dicotómica de tratamiento o control (variable de interés) y sobre las variables que explican el rendimiento en la materia (RAI, RAF), que para los efectos de esta investigación se han considerado la edad, semestre al que pertenecen y una interacción entre semestre y edad. Las tres regresiones incluyen las variables explicativas anteriores; sin embargo, a la primera se adiciona la variable dependiente del interés por la materia (PIE), a la segunda la importancia de la ética en su vida personal y a la tercera la aplicación de la materia en la carrera:

(8)

(9)

(10)

La razón por las que se incluyen por separado a las tres regresiones es debido a que se requiere conocer cuál de los tres aspectos en la percepción de los estudiantes es el que más influye en el rendimiento. Además de aquello, a cada una de las ecuaciones se le aplica el logaritmo en la variable dependiente (modelo log-lineal) para conocer el diferencial porcentual entre grupos de tratados y no tratados en relación con las notas, dicho diferencial lo capta la variable .

Es importante mencionar que en cada uno de los modelos se ha controlado los posibles sesgos que pueden ocasionar las diferencias de las varianzas entre grupos, con lo cual se garantiza la robustez de los parámetros, evitando así errores de tipo I. En este sentido, se controló por el grupo de tratados y no tratados (variable ) y por los grupos formados por las variables de interés por la materia, aplicación para la vida y aplicación en la carrera5.

3.2.Aleatorización

Uno de los principales problemas de la falta de aleatorización surge del hecho de que exista una correlación entre el tratamiento, , y el término de error, . Por eso, el estimador de diferencias estaría sesgado y las fallas de la aleatorización provocarían que el grupo de tratados no sea asignado de manera completamente aleatoria, sino que se base en parte en las características o preferencias de los individuos; como resultado, las variables objetivo reflejarían tanto el impacto del proyecto como el efecto de la falla en la aleatorización.

En este sentido, es importante comprobar la existencia de aleatorización, es decir que sea escogida al «azar». Se debe demostrar que no está correlacionada con ninguna variable observada de los agentes. En tal virtud, podemos estimar la siguiente ecuación:

(11)

Donde a son características individuales. Cuando la variable no está correlacionada con las características individuales, los coeficientes que acompañan las deben ser cero y no son estadísticamente significativos. Para resolver este problema, se aplica el siguiente modelo probit:

(12)

Este modelo de probabilidad lineal permite conocer la probabilidad de que es decir, que un individuo sea o no seleccionado6, dado que la variable dependiente es binaria. Los coeficientes miden el cambio en la probabilidad de participar en el programa, manteniendo constante el resto de las variables explicativas.

Para el caso en particular se aplica la siguiente ecuación:

(13)

Al conocer si los coeficientes son 0, no son estadísticamente significativos individualmente o en conjunto a través de la prueba chi cuadrado. Se comprueba que efectivamente los grupos fueron escogidos de manera aleatoria. Los cálculos son expuestos en los resultados.

4.Variables y datos útiles para la aplicación del método de diferencias en diferencias

4.1.Bases de datos y variables utilizadas en el modelo

Como se mencionó, se ha obtenido información ex ante y ex post a la aplicación del juego; por un lado, un mismo estudiante responde dos veces a las preguntas relacionadas al interés de la materia y, por otro, se tienen las calificaciones antes y después del juego. Por ende, la información de cada estudiante es obtenida en dos etapas, formándose un panel de dos periodos. De dichos datos depurados, 168 pertenecen a la población de control y 126 a la de tratados.

Además, la encuesta recogió datos sobre la edad, género, semestre al que pertenecen, carrera y calificaciones en la materia de Ética ex ante y ex post a la aplicación del juego. A partir de las calificaciones, se establece la variable dependiente, la cual es la variación del rendimiento académico (el delta de la nota, tal como se menciona en la ecuación 7). En este sentido, se busca observar cómo las calificaciones tuvieron un impacto a través de la aplicación del juego y en qué medida influyó la percepción de interés que los estudiantes tienen en la materia.

La variable dummy se la obtiene del grupo de tratamiento y de control, tomando el valor de 1 para el primer grupo y 0 para el segundo. Los beneficiarios del proyecto realizan el juego; en cambio, quienes no lo realizan tienen un efecto placebo, pues reciben una clase demostrativa cuya temática es idéntica al que posee el juego.

Es decir, se aplicó un experimento controlado, con participantes que tenían teléfonos inteligentes Android. Además, se debe mencionar que, al ser la variable de interés el delta en las calificaciones, no se considera aquí el influjo de tener un celular Android o iOS, lo que es un límite de este estudio. Se asume el supuesto que se definió en la ecuación 2, es decir que el valor esperado de los errores condicionado a la variable es cero, o sea .

La primera nota recoge los conocimientos de los estudiantes de la manera tradicional; es decir, a través de una prueba escrita; en cambio, la segunda nota tiene dos formas de evaluación. Los estudiantes que realizan el juego al final obtienen un puntaje (número de estrellas) que obedece a sus conocimientos de la materia y a la destreza que ellos poseen en el manejo de los video juegos, que se asume como relativamente la misma para todos, al tratarse de una población homogénea. De esta manera, esta variable controla no solo el conocimiento adquirido gracias a la realización del juego, sino la destreza previa de videojuegos; en cambio, el grupo de no tratados realiza una prueba tradicional.

La percepción del interés por la materia se obtuvo a través de la pregunta «Interés por la materia» de las encuestas ex ante y ex post, misma que se podía responder en una de las siguientes tres opciones: «Me interesa mucho», «Me interesa medianamente» y «Me interesa poco». La variación del interés (Martínez, 2019) es la valoración que el estudiante tiene de una materia y el cambio que puede haber en la misma por un influjo externo, en este caso, la aplicación del videojuego que como experiencia de gamificación permite abrir horizontes de gusto o valoración que antes no estaban al descubierto.

Estas respuestas, dentro del modelo se categorizaron con 3 para «Mucho», 2 para «Medianamente» y 1 para «Poco»; es decir, se obtuvieron variables cualitativas nominales. Adicionalmente, las bases de datos constan de una variable dummy que toma el valor de 1 si los estudiantes forman parte de la población de tratados y 0 para los no tratados; la variable toma el valor de 1 si existió una mejora en la respuesta de percepción que los estudiantes tienen en la materia o en la calificación y 0 en caso contrario.

La relación directamente proporcional entre gamificación en el aula y la mejora de motivación o percepción que tienen los estudiantes en la materia (Montes González, et al., 2018), estima de la materia y rendimiento académico es sostenida por diversos estudios (Guevara, 2018; Contreras Espinosa y Eguia, 2016; Prieto et al., 2014). Aunque en los casos citados, el curso se estructura enteramente alrededor de experiencias de gamificación en el aula y a lo largo del curso o semestre. En el presente estudio, no fue posible estructurar un curso alrededor del videojuego Ethikós, sino solo una clase de 2 horas de duración de entre las 48 horas que dura un curso regular. La experiencia medida fue corta en duración y alcance. Sin embargo, se pudo medir un cambio favorable en el rendimiento académico.

5.Estadística descriptiva

Es importante anotar que la edad promedio entre hombres y mujeres es de 22 años; el semestre promedio que están cursando quienes asisten a la clase de Ética es del quinto semestre, y están distribuidos en 6 áreas del conocimiento: Ciencias Naturales, Ciencias Sociales, Economía y Administración, Ciencias de la Salud, Ingeniería y Arquitectura y Artes. Para complementar esta información general, a continuación, se presentan una serie de datos descriptivos que resultan importantes comprender para evaluar el impacto del videojuego y las características de los estudiantes a quienes se lo aplicó. En la primera parte, se muestran las notas promedio tanto de la primera como de la segunda nota, considerando el área del conocimiento al que pertenecen los estudiantes. Posteriormente, se comparan los resultados tanto motivacionales como calificaciones.

Posteriormente, se analiza si las poblaciones de tratamiento y control son semejantes, para lo cual se utiliza el método de test de medias para dos muestras; se comparan las edades y el semestre que cursan tanto la población de tratamiento y control en periodos ex ante y ex post. Finalmente, se realiza la prueba de aleatoriedad en la selección de grupos.

5.1.Análisis descriptivo de las notas y de los resultados sobre la percepción de aplicación de la ética a la carrera

La tabla que a continuación se presenta hace un comparativo del promedio entre la primera nota y la segunda.

La tabla 1 está dividida en seis áreas del conocimiento7 (Artes, Ciencias Naturales, Ciencias Sociales, Ciencias de la Salud, Economía y Administración, Ingeniería y Arquitectura), en las cuales se agruparon las 22 carreras. Las calificaciones están valoradas sobre 10 puntos; la primera nota tiene que ver con la materia y fue alcanzada antes de la aplicación del juego; la segunda nota tiene dos tipos de calificaciones: la del grupo de tratados que fueron calificados con un número de estrellas (mide conocimientos en la materia y habilidad en videojuegos) y la del grupo de no tratados, a quienes se les aplica un efecto placebo a través de una clase sobre el mismo contenido que tiene el juego. La parte de la izquierda muestra las calificaciones promedio de la segunda nota, tanto para población de tratamiento como de control. En la parte derecha, se realiza el mismo cálculo, pero para la primera nota, para tratados y no tratados. La diferencia entre tratados y no tratados, (a-b), en total es de -0.599 en el caso de la segunda prueba; en cambio, para la primera prueba es de -0.907, de tal manera que el efecto total es de 0.308 puntos. Es interesante anotar que carreras como Artes (2.158 puntos), Ciencias de la Salud (1.297 puntos) e Ingeniería y Arquitectura (1.145 puntos) tuvieron un efecto final positivo de los tratados versus no tratados en la segunda prueba comparada con la primera.

Tabla 1.

Comparación de notas por materia

Carrera

Comparación de notas por materia

Media Nota 2

Media Nota 1

Efecto Total (a-b)-(c-d)

Tratados (a)

No tratados (b)

Diferencia (a-b)

Tratados ( c )

No tratados (d)

Diferencia (c-d)

Artes

7.111

8.333

-1.222

5.787

9.167

-3.380

2.158

Ciencias Naturales

8.000

9.333

-1.333

9.083

8.288

0.795

-2.129

Ciencias Sociales

7.500

9.143

-1.643

7.778

8.627

-0.849

-0.794

Ciencias de la salud

8.296

8.571

-0.275

7.521

9.093

-1.572

1.297

Economía y Administración

8.500

8.810

-0.310

6.980

7.933

-0.953

0.643

Ingeniería y Arquitectura

9.061

8.205

0.855

6.730

7.020

-0.290

1.145

Total

8.231

8.829

-0.599

7.432

8.339

-0.907

0.308

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

Por otro lado, es importante realizar el análisis descriptivo de los resultados en la percepción de los estudiantes en la materia de Ética y promedios de calificaciones de los grupos de tratados y no tratados antes y después de la aplicación del juego; estos resultados se exponen en la tabla 2:

Tabla 2.

Promedio de los resultados de la percepción de interés y aplicación de la materia de Ética y calificaciones antes y después de la aplicación del videojuego

Percepción de la materia de Ética

Calificaciones

Interés por la materia

Aplicación en la vida personal

Aplicación en la carrera

Tratados

No tratados

Tratados

No tratados

Tratados

No tratados

Tratados

No tratados

a) Ex ante

2.436

2.592

2.863

2.918

2.845

2.869

7.432

8.339

b) Ex post

2.509

2.576

2.854

2.907

2.854

2.902

8.230

8.829

Diferencia (b-a)

0.072

-0.016

-0.009

-0.010

0.009

0.032

0.798

0.490

Diferencia (b-a)/a

2.99 %

-0.63 %

-0.32 %

-0.37 %

0.32 %

1.14 %

10.74 %

5.88 %

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

La tabla 2 está distribuida en dos bloques. A la izquierda, se muestran los promedios de los resultados en la percepción acerca de la materia de Ética; a la derecha, se encuentran calificaciones promedio, tanto para el grupo de estudiantes tratados como para los no tratados, ex ante y ex post. Hay que recordar que se considera 1 cuando se respondió como poco importante, 2 si es medianamente importante y 3 si es muy importante. Efectivamente, dentro del análisis motivacional, específicamente el interés que los estudiantes tienen en la materia, la población de tratados en promedio ex ante es 2.436 (a) y ex post de 2.509 (b), siendo su diferencia de un periodo a otro, (a-b/a), de 2.99 %. Considerando la población de no tratados, en el periodo ex ante, es de 2.59 (a) puntos y para ex post de 2.57 (b); su diferencia es de -0.016, es decir que los no tratados disminuyeron su interés por la materia en el segundo periodo, y con respecto al primer periodo esta disminución corresponde a 0.63 %.

El análisis anterior se realiza de la misma manera para las respuestas a la pregunta de la percepción sobre la aplicación de la ética a la vida personal. De acuerdo con las diferencias ex ante y ex post en la población de tratados, se verifica una disminución de 0.32 % ((b-a)/a). En cambio, para la población de no tratados en los dos periodos, también existe una disminución de 0.37 % ((b-a)/a). Se podría concluir que no hubo un efecto positivo en este caso de la gamificación para las dos poblaciones. Por otro lado, para el caso de percepción de la aplicabilidad de la ética en la carrera, los estudiantes en promedio tienen un efecto positivo de 0.32 % para los tratados de un periodo a otro y de 1.14 % en el caso de los no tratados.

El que los no tratados tengan una consideración mayor de la aplicabilidad de la ética a la carrera es un elemento que requeriría más investigación. Con los datos disponibles, solo se puede elucubrar que, tal vez, el ambiente de dibujos animados del juego frente al ambiente serio de una clase formal pudo influir para que los no tratados consideren su ambiente más real y por lo mismo más aplicable a la realidad de su carrera.

Al observar las calificaciones en la parte derecha de la tabla, existe una evidente mejora en las notas del grupo de tratados (10.74 %) en relación con los no tratados (5.88 %); de tal manera, se llega a la misma conclusión que los resultados expuestos en la tabla 1, donde se evidenció una mejora de las calificaciones.

El análisis de la tabla 2 se limitó a dos variables descriptivas: la pertenencia o no a un grupo de tratados y si corresponde a un periodo ex antes o ex post. Dado que las bases están organizadas como un panel en dos periodos, es importante captar los cambios tanto en calificaciones como en percepciones de los alumnos, antes y después de la aplicación del juego, tal como se ha definido en la tabla 3.

Los fundamentos teóricos que se desarrollaron en los numerales 2.1 y 2.2., dan una amplia explicación desde lo pedagógico y psicológico de cómo se abordan las percepciones de los estudiantes ante un estímulo externo, específicamente a través de métodos de gamificación.

Por otro lado, en el caso de las calificaciones, se aplicó un análisis semejante al de la percepción que los estudiantes tienen sobre la materia; se considera la calificación ex ante y ex post que toma el valor de 1 si es mayor o igual a 6/10 y de 0 si es menor a 6/10 8.

A continuación, se presentan los cambios en las percepciones de los alumnos (interés por la materia, aplicación de la materia en la vida personal y aplicación de la materia en la carrera que estudian, denominados delta en los resultados de las percepciones de la materia). Es decir, se realiza una resta entre los resultados del periodo posterior menos el anterior, y lo propio se hace con las calificaciones (delta en las calificaciones). De acuerdo con este cálculo, se establece el diferencial promedio entre población de tratamiento y control, tal como se muestran en los resultados:

Tabla 3.

Cambio en las percepciones y en calificaciones entre el periodo ex ante y ex post para la población de tratados y no tratados

Grupo analizado

Cambio en las percepciones motivacionales de los estudiantes

Cambio en las calificaciones

Interés por la materia

Aplicación en la vida

Aplicación carrera

a) Tratados

0.067

0.030

-0.010

0.798

b) No tratados

-0.018

0.010

-0.012

0.490

Diferencia (a-b)

0.085

0.020

0.002

0.308

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

Los resultados en la tabla 3 demuestran que, en promedio, los resultados de los tratados, considerando la variable de interés por la materia, es de 0.067 y para no tratados de -0.018 puntos. La diferencia (a-b) es de 0.085 puntos, lo cual se interpreta como un mayor interés por la materia en promedio por parte de los tratados en relación a los no tratados. El mismo proceso se realiza para las otras variables, con lo cual se deduce que la aplicación de la materia en la vida tiene en promedio 0.020 y la aplicación de la ética en la carrera es de 0.002. En la parte derecha de la tabla, se muestra el cambio en las calificaciones; la diferencia (a-b) muestra que los tratados mejoraron sus calificaciones entre un periodo a otro en 0.308 puntos.

A continuación, en la tabla 4 se presentan las variaciones promedio de las calificaciones y su relación entre el interés que puede tener cada estudiante en la materia.

Tabla 4.

Relación entre las calificaciones y el interés en la materia de Ética

Grupo analizado

Relación de las calificaciones entre tratados y no tratados y percepción de la materia

Interés por la materia

Aplicación en la vida

Aplicación en la carrera

Percepción=1

Percepción=0

Percepción=1

Percepción=0

Percepción=1

Percepción=0

a) Tratados

0.526

1.199

4.333

0.692

-0.333

0.823

b) No tratados

1.254

-0.784

-1.948

0.510

-0.468

0.555

Diferencia (a-b)

-0.728

-1.984

6.281

0.181

0.134

0.267

Efecto total (percepción 1- percepción 2)

1.256

6.100

-0.133

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

La tabla 4 muestra los resultados de la diferencia entre las calificaciones de la primera y segunda prueba, es decir, el delta entre calificaciones y su relación con los estudiantes categorizados. Dentro de los resultados obtenidos en la tabla 4, donde se establecen la mejora o disminución en la percepción de la materia de Ética (definidos como pares ordenados), en las columnas se divide por tipo de percepción (interés por la materia, aplicación en la vida y aplicación en la carrera), tomando el valor de 1 si mejoró después de la aplicación del juego y 0 en caso contrario. Se observa que, para la población de tratados, para quienes tienen una percepción positiva, estos mejoraron su calificación en 0.52 puntos; en cambio, los no tratados tienen un puntaje de 1.25. El diferencial de los dos grupos, (a-b), es de -0.72. Al hacer el mismo proceso con las personas que no mejoraron su percepción, dicho diferencial es de -1.98, siendo el efecto final el diferencial entre quienes tienen la percepción 1 menos la percepción 2 igual a 1.256. Es decir, sus calificaciones en promedio fueron relativamente mejores para el grupo de tratados con respecto a los no tratados. El mismo análisis se realiza para el resto de las posibilidades en las percepciones, siendo el resultado final para la aplicación de la ética en la vida igual a 6.1 puntos y de -0.1331 para la pregunta sobre la aplicación de la materia en la carrera.

Según la tabla 4, se podría concluir que los estudiantes quienes aplicaron el juego tienen en general mayor interés por la materia en comparación con quienes no aplicaron el juego, e inclusive mejoraron sus calificaciones. Sin embargo, para inferir a la población en general, es necesario la construcción de un modelo de diferencias en diferencias que explique la relación de causalidad entre la gamificación y la percepción que los estudiantes tienen de la materia, así como sus calificaciones.

Antes, es necesario abordar la igualdad de las poblaciones de tratados y no tratados, a través de la prueba comparativa de sus medias y desviaciones estándar.

5.2.Datos comparativos de las poblaciones de tratamiento y control, considerando edades, semestre en el que cursan, criterios sobre la materia y calificaciones

El presente método compara poblaciones mediante dos variables. Su finalidad es conocer si las poblaciones de tratamiento y control son lo suficientemente semejantes. Un supuesto básico dentro de la evaluación de impacto es que estas sean muy parecidas al ser comparadas, con lo cual se garantiza que el efecto final del proyecto no posea ningún sesgo producido por una diferencia inicial entre población de tratados y no tratados. Es decir que las dos poblaciones partan de un mismo punto. Este supuesto se lo conoce como tendencias paralelas (Bernal y Peña, 2012 y Stock & Watson, 2012). Para comprobar lo anteriormente dicho, se aplica el test de medias para muestras independientes.

El objetivo de las tendencias paralelas es que las poblaciones sean lo suficientemente semejantes y que permita contestar qué es lo que hubiera pasado en el caso de que no hubiera habido programa —en el caso de esta investigación, qué hubiera sucedido sin el videojuego—. Por ello deben compararse las dos poblaciones, usándose la edad, el semestre, percepciones acerca de la materia y las calificaciones. De entrada, se puede establecer que las poblaciones, para el caso de esta investigación, son parecidas, puesto que corresponden a jóvenes comprendidos entre 20 y 25 años, y la mayoría cursa entre segundo y sexto semestre.

No obstante, a continuación, se plantea el test de medias, el cual en esta investigación ha cumplido con algunos supuestos. El primer supuesto realizado es el muestreo aleatorio; segundo, que existe independencia de observaciones (ninguna observación depende de la otra); tercero, sus variables cumplen con una distribución normal (se usó el test Shapiro-Wilks), y cuarto, sus varianzas son iguales.

Se observó si las varianzas son iguales, para lo cual se busca no rechazar la hipótesis nula del siguiente test:

(14)

Si las dos variables tienen la misma desviación estándar, se procede a realizar el test que presenta las siguientes opciones:

Es decir que tanto para el test de desviaciones estándar como el test de medias se busca aceptar la hipótesis nula de que las dos poblaciones son iguales. Los resultados obtenidos en la tabla 6 se encuentran a continuación y hacen un estudio descriptivo de las edades, semestre y calificaciones de la primera prueba para tratados y no tratados. Es importante acotar que se analiza la primera prueba, pues pertenece al momento ex ante y permite conocer cómo parten los dos grupos.

Tabla 5.

Estadísticas comparativas entre edad, semestre y calificaciones de la primera prueba y test de desviación estándar y medias para tratados y no tratados

Estadísticas descriptivas

Edad

Semestre

Calificación nota 1

Tratados

No tratados

Tratados

No tratados

Tratados

No tratados

Media

22.298

21.905

5.933

6.000

7.432

8.339

Mediana

22

21

5

5

8

9

DS

2.859

2.661

1.714

1.555

2.093

1.966

Curtosis

6.436

7.887

2.417

2.614

3.394

4.471

Sesgo

1.587

2.009

0.489

0.249

-0.879

-1.442

Testeo de poblaciones

Comparación población de tratamiento y control

Comparación población de tratamiento y control

Comparación población de tratamiento y control

Test DS

p-value=0.4088

p-value=0.2650

p-value=0.4701

Test de medias

p-value=0.2506

p-value=0.7390

p-value=0.0004

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

Como se observa en la tabla 5, la media, mediana y desviación estándar de la edad tanto para quienes fueron favorecidos con el experimento como los que no lo fueron son parecidos, inclusive la desviación estándar. Además, las dos curtosis, en todos los casos, son semejantes para las variables comparadas. Por ejemplo, en el caso de la edad, es de 6.34 para los tratados y 7.882 para los no tratados (son leptocúrticas, pues son mayores a 3); es decir que las dos poblaciones concentran sus edades entorno a la media. Para el caso del semestre, se observa que las medias y medianas son parecidas: las dos son platocúrticas, pues son mayores a 3 y los alumnos están distribuidos en varios semestres.

En cambio, para las calificaciones, se observa que evidentemente tienen promedios (7.34 para tratados y 8.339 para no tratados) y medianas diferentes (8 para tratados y 9 para no tratados). Sus curtosis están normalmente distribuidas, pero se evidencia un sesgo hacia la derecha en los dos grupos analizados.

Los datos al final de la tabla comprueban de manera inferencial que efectivamente para el caso de la edad y el semestre los dos grupos de tratados y no tratados son semejantes; se acepta la hipótesis : la diferencia entre un grupo y otro es igual a 0, para el caso de las medias, y que es igual a 1 para el caso de las desviaciones estándar. En cambio, al considerar la variable de las calificaciones en la nota 1, se observa que efectivamente los estudiantes del grupo de control obtuvieron resultados distintos en comparación a los del grupo de tratamiento. En consecuencia, se niega la hipótesis nula que la diferencia en calificaciones de un grupo a otro es 0. Como se dijo en este trabajo, justamente para eliminar el sesgo que implica este tipo de diferencias en los contrafactuales se aplica el modelo de diferencias en diferencias.

El mismo análisis anterior se aplica para la percepción ex ante de los estudiantes: en todos los casos se comprueba a través de los test de medias y varianzas que los dos grupos son idénticos. En definitiva, se puede afirmar que los dos grupos son bastante homogéneos, partiendo en la primera prueba de diferencias en las calificaciones, hecho que se lo subsana con el modelo de diferencias en diferencias.

Tabla 6.

Estadísticas comparativas ex ante de interés por la materia, aplicación para la vida personal y aplicación en la carrera, test de desviación estándar y medias para tratados y no tratados

Estadísticas descriptivas

Interés por la materia

Aplicación en la vida personal

Aplicación carrera

Tratados

No tratados

Tratados

No tratados

Tratados

No tratados

Media

2.433

2.601

2.856

2.917

2.846

2.875

Mediana

3

3

3

3

3

3

DS

0.650

0.538

0.353

0.317

0.388

0.349

Curtosis

2.467

2.642

5.102

2.193

8.116

9.523

Sesgo

-0.708

-0.872

-2.025

-4.071

-2.406

-2.682

Testeo de poblaciones

Comparación población de tratamiento y control

Comparación población de tratamiento y control

Comparación población de tratamiento y control

Test DS

p-value=0.293

p-value=0.2231

p-value=0.2229

Test de medias

p-value=0.279

p-value=0.1421

p-value=0.5267

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

5.3.Comprobación de la aleatorización en la selección de los grupos

Tal como se mencionó en el apartado metodológico, una manera de comprobar la aleatoriedad en la elección de los grupos de tratados y no tratados es a través de un modelo probabilístico probit, para lo cual se aplica lo señalado en la ecuación 13:

Tabla 7.

Modelo probit para comprobar aleatoriedad en los grupos de tratados y no tratados

Variable dependiente: D

Variables

Coeficientes

Edad

0.005

(0.031)

Semestre

-0.005

(0.052)

Interés materia

-0.003

(0.144)

Aplicación carrera

0.065

(0.254)

Aplicación vida

-0.218

(0.280)

Nota 1

-0.001

(0.038)

Constante

-0.010

(0.625)

Prob > chi2

0.356

Pseudo R2

0.001

Número

194

El error estándar está entre paréntesis

*** p<0.01, ** p<0.05, * p<0.1

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

El cuadro anterior muestra que la variable dependiente es la dummie , y las independientes: edad, semestre, expectativas por la materia y la calificación del primer exámen.

De acuerdo con los resultados establecidos en el cuadro anterior, se observa que el modelo no es estadísticamente significativo, ni individual, pues ninguno de sus coeficientes lo es, ni en conjunto, pues, medido por la chi cuadrada, su probabilidad es de 0.356; es decir, mayor que 0.05, por ende no se rechaza la hipótesis nula que en conjunto los coeficientes son iguales a cero. Por ende, se establece que la aleatorización es factible y existen evidencias que es aceptable, pues la probabilidad de que una persona forme parte del grupo de tratados sea elegido, o lo que es lo mismo, sea igual a 1, no depende de la edad, semestre, calificaciones del primer parcial, tampoco de ninguna de las variables que miden las expectativas.

Tabla 8.

Análisis de los resultados

Variables Explicativas

Variable dependiente: ln_delta_notas

Clúster D (1)

Clúster_int (2)

Sin robust (3)

Clúster D (4)

Clúster_int (5)

Sin robust (6)

Clúster D (7)

Clúster_int (8)

Sin robust (9)

D

0.369*

0.369**

0.369*

0.347*

0.347

0.347*

0.328

0.328

0.328

(0.105)

(0.098)

(0.166)

(0.077)

(0.074)

(0.163)

(0.070)

(0.065)

(0.164)

semestre

0.020*

0.020*

0.020*

-0.055*

-0.055

-0.055

-0.025

-0.025

-0.025

(0.009)

(0.012)

(0.031)

(0.078)

(0.019)

(0.046)

(0.056)

(0.021)

(0.043)

Género

1.131*

1.131**

1.131

0.669

0.669

0.669

0.945

0.945

0.945

(0.046)

(0.116)

(0.460)

(0.483)

(0.180)

(0.500)

(0.217)

(0.231)

(0.472)

SemestrexGenero

-0.171

-0.171**

-0.171

-0.087

-0.087

-0.087

-0.135

-0.135

-0.135

(0.052)

(0.019)

(0.087)

(0.035)

(0.025)

(0.094)

(0.011)

(0.039)

(0.089)

Interes_materia

0.221

0.221**

0.221

(0.021)

(0.089)

(0.174)

Vida_personal

0.648

0.648

0.648

(0.567)

(0.118)

(0.258)

Aplica_carrera

0.476

0.476

0.476

(0.430)

(0.147)

(0.241)

R

25.74 %

25.74 %

25.74 %

28.10 %

28.10 %

28.10 %

26.91 %

26.91 %

26.91 %

Observaciones

294

294

294

294

294

294

294

294

294

ln_delta_notas = logaritmo del delta de las notas

Clúster D = clúster del grupo de tratados y no tratados

Clúster_int = clúster de 1 para quien le interesa la materia y 0 en caso contrario

El error estándar está entre paréntesis

*** p<0.01, ** p<0.05, * p<0.1

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

6.Modelo aplicado al caso en particular

Con el fin de conocer el impacto que tuvo el juego en el aula de clase, se toman como variable dependiente el delta entre la nota 1 y la nota 2 y su respectivo logaritmo, que permita conocer el cambio porcentual entre un grupo y otro. Además, se agrupan por tipos de clústeres para corregir los sesgos de las desviaciones estándar entre y dentro de cada grupo (función vce (cluster var) en Stata); en el primer caso, un clúster que considera la variable ; otro para la variable de percepción de la materia (toma el valor de 1 si mejoró la percepción y 0 en caso contrario), y un tercer modelo que no considera la corrección robusta de las desviaciones estándar.

Por otro lado, tomando en cuenta las variables de control, aquellas que establecen la valoración cualitativa de la materia de Ética, se consideraron tres aspectos: en primer lugar, el interés que tienen los estudiantes por la materia; en segundo lugar, su criterio sobre la aplicabilidad que esta tiene en su vida personal, y, como tercer punto, la aplicación de la ética en la carrera. De tal manera, se establecen nueve modelos econométricos que se encuentran descritos en la tabla 8.

En todos los casos, la variable dependiente es el logaritmo del delta de notas y las variables explicativas el (que a su vez es la variable de interés, porque demuestra el impacto o no del proyecto; toma el valor de 1 para los tratados y 0 en caso contrario), el semestre, el género (que toma el valor de 1 para hombres y 0 para mujeres), la interacción entre semestre y género, posteriormente se hace un modelo para cada variable de percepción (interés, aplicación a la vida y aplicación en la carrera). Dado que hay dos clústeres y un modelo sin corrección robusta, se forman 9 modelos. Las variables dependientes de percepción son cualitativas y nominales, lo cual no impide que se las pueda analizar con métodos de datos de panel; por otro lado, las calificaciones son variables continuas cuantitativas que no presentan dificultad alguna en la aplicación de datos de panel.

Se evidencia que la corrección por clústeres hace que disminuyan las desviaciones estándar tanto para la variable como para las variables de percepción. De acuerdo con los 9 modelos expuestos se concluye que el modelo 2 tiene como variable dependiente el interés por la materia, y se establece un impacto positivo del 36 % del grupo de tratados versus los no tratados al 95 % de nivel de confianza. Otra variable importante es la del interés de los estudiantes en la materia, la cual establece que las personas mejoraron su percepción en un 22.1 % de un periodo a otro. Finalmente, se debe subrayar que el modelo 2 cumple con los supuestos de todo modelo de mínimo cuadrados ordinarios (MCO), es decir que es eficiente, lineal, insesgado y óptimo9.

7.Conclusiones y recomendaciones

Es evidente que la aplicación de videojuegos en el aula universitaria es algo novedoso en nuestro país, a su vez que existen pocos estudios en el Ecuador que avalen la efectividad de este método pedagógico. El aporte de esta investigación justamente se halla en la creación de nuevas modalidades de enseñanza en el aula universitaria, por otro lado, mide la efectividad de la aplicación de videojuegos a través de técnicas econométricas. Además, con el presente estudio se demuestra que dichas técnicas no son exclusivas en la mediación del impacto de políticas públicas, tampoco, como en el caso de la medicina, a la evaluación de nuevos medicamentos; se demuestra su utilidad en aspectos relacionados a la enseñanza y en sus aspectos psicológicos inherentes.

Dadas las características de las bases de datos, se configura un panel de datos, con el cual se aplica un modelo de diferencias en diferencias a través del control de clústeres de los principales grupos existentes y control de sus desviaciones estándar, método que resulta ser efectivo para la medición del impacto. Por un lado, se establece que las poblaciones son semejantes, tal como lo muestra los test de medias para las variables de edad, calificaciones, semestre y percepción acerca de la materia, y, por otro lado, existe evidencias que hay control en el sesgo de selección, tal como se demuestra con el modelo probit, considerando la aplicación exclusiva del juego por parte de quienes poseen un teléfono Android, que de cierta manera da aleatoriedad a la conformación del grupo de tratados.

En este sentido, los resultados muestran que la gamificación en el aula de clase puede cambiar el tipo de percepciones de los estudiantes, inclusive puede potenciar los conocimientos de los alumnos. Las calificaciones tuvieron un mejor resultado para el grupo de tratamiento en 36 % en relación con el grupo de control, de un periodo ex ante a otro ex post. La percepción de interés por la materia tuvo un impacto positivo de 22.21 % del grupo tratamiento respecto del control en los dos periodos sucesivos.

En cuanto a limitaciones, la primera es la falta de una versión del videojuego para sistema iOS, lo cual excluye a estos usuarios de sus beneficios, así como impide un estudio comparativo de usuarios y resultados entre uno y otro sistema. Otra limitación en este proyecto fue la imposibilidad de su aplicación a muchos más cursos y unidades dentro de los cursos de manera permanente y continua a lo largo del tiempo de duración de los mismos. Lo cual garantizaría que la gamificación estructural en las aulas tenga una eficacia más profunda y duradera en la enseñanza universitaria.

Se sugiere la aplicación del videojuego a otro tipo de poblaciones estudiantiles como secundarias o primarias, para conocer los impactos que pudieran acontecer en la enseñanza de ética y valores, como el cumplimiento del deber, la valoración de la vida y el cuidado del medioambiente, entre otros.

Finalmente, se recomienda el desarrollo del juego con nuevas opciones y posibilidades, nuevos paisajes y escenarios, con temáticas diferentes, de tal forma que este método colabore a la motivación permanente de los estudiantes y se convierta en un instrumento pedagógico no solo de contenidos de ética sino también de formación de valores ciudadanos.

Bibliografía

Asiri, M. J. (2019). Do teachers’ attitudes, perception of usefulness, and perceived social influences predict their behavioral intentions to use gamification in EFL classrooms? Evidence from the Middle East. International Journal of Education and Practice, 7(3), 112-122. https://ideas. repec.org/a/pkp/ijoeap/2019p112-122.html

Bakhanova, E., García, J. A., Raffe, W. L. & Voinov, A. (2020). Targeting social learning and engagement: what serious games and gamification can offer to participatory modeling. Environmental Modelling & Software, 134. https://doi.org/10.1016/j.envsoft.2020.104846

Batistello, P. & Pereira, A. T. C. (2019). El aprendizaje basado en competencias y metodologías activas: aplicando la gamificación. Revista científica de Arquitectura y Urbanismo, 40(2), 31- 42. https://www.redalyc.org/jatsRepo/3768/376862224003/index.html

Bernal & Peña (2012). Guía práctica para la evaluación de impacto. Universidad de los Andes, Bogotá, Colombia.

Buheji, M. (2019). Re-inventing public services using gamification approaches. International Journal of Economics and Financial Issues, 9(6), 48-59.

Callejo, M. (2016). Variables explicativas de la audiencia de videojuegos entre los españoles menores de 25 años. Comunicación y Sociedad. 25, 43-69. https://doi.org/10.32870/cys.v0i25.4421

Contreras Espinosa, R. y Eguia, J. L. (2016). Gamificación en aulas universitarias. Bellaterra: Institut de la Comunicació, Universitat Autònoma de Barcelona.

Fernández-Arias, P., Ordóñez-Olmedo, E., Vergara-Rodríguez, D., & Gómez-Vallecillo, A. I. (2020). La gamificación como técnica de adquisición de competencias sociales. Revista Prisma Social, (31), 388-409. En https://revistaprismasocial.es/article/view/3698

González Castro, G. (2019). Videojuego RPG como material de apoyo en la enseñanza de Estudios Sociales. Tesis de Maestría. Guayaquil Universidad Casa Grande. http://dspace.casagrande.edu.ec:8080/handle/ucasagrande/1950

Guevara Vizcaíno, C. (2018). Estrategias de gamificación aplicadas al desarrollo de competencias digitales docentes. Trabajo final para la obtención del Título de Magíster en Tecnología e Innovación Educativa. Universidad Casa Grande. Departamento de Posgrado, Guayaquil. http://dspace.casagrande.edu.ec:8080/handle/ucasagrande/1429

Halbrook, Y. J., O’Donnell, A. T. y Msetfi, R. M. (2019). When and how video games can be good: A review of the positive effects of video games on well-being. Perspectives on Psychological Science, 14(6). https://doi.org/10.1177/1745691619863807

Hassan, L. & Hamari, J. (2020). Gameful civic engagement: a review of the literature on gamification of e-participation. Government Information Quarterly, 37(3), 101461. https://doi. org/10.1016/j.giq.2020.101461

Hernández, J. F. y Cano, Á. P. (2016). La transmisión de valores y responsabilidad social a partir de los videojuegos. Sphera Publica, 1(16), 114-131. http://sphera.ucam.edu/index.php/sphera-01/article/view/267

Lizano Zambrano, K. R. y Pinela Cuzco, E. S. (2018). La gamificación en el aprendizaje significativo de los estudiantes en la asignatura de Lengua y Literatura. Bachelor Tesis. http://repositorio.ug.edu.ec/handle/redug/35152

López Gómez, S. y Rodríguez Rodríguez, J. (2016). Experiencias didácticas con videojuegos comerciales en las aulas españolas. Didáctica, innovación y multimedia, 33,1-8. https://ddd.uab.cat/record/148417

Lucero, W., Domínguez, E. y Lima, F. (2019). Desarrollo de un videojuego 3D para el aprendizaje de los movimientos y fuerzas para niños de 10 años del colegio Johann Amos Comenios. Trabajo de titulación. Quito. UCE. http://www.dspace.uce.edu.ec/handle/25000/17816

Martínez, J. (2019). Percepciones de estudiantes y profesores acerca de las competencias que desarrollan los videojuegos. Pensamiento Educativo, 56(2), 1-21. https://pensamientoeducativo.uc.cl/index.php/pel/article/view/1165/2124

Montes González, J. A., Ochoa Angrino, S., Baldeón Padilla, D. S. y Bonilla Sáenz, M. (2018). Videojuegos educativos y pensamiento científico: Análisis a partir de los componentes cognitivos, metacognitivos y motivacionales. Educación y Educadores, 21(3), 388-408. 10.5294/edu.2018.21.3.2

Morschheuser, B., Riar, M., Hamari, J. & Maedche, A. (2017). How games induce cooperation? A study on the relationship between game features and we-intentions in an augmented reality game. Computers in Human Behavior, 77, 169-183. https://www.sciencedirect.com/science/article/abs/pii/S0747563217304946?via%3Dihub

Núñez-Barriopedro, E., Sanz-Gómez, Y. y Ravina-Ripoll, R. (2020). Los videojuegos en la educación: beneficios y perjuicios. Revista Electrónica Educare, vol. 24, núm. 2. https://www.redalyc.org/jatsRepo/1941/194163269012/index.html

Ordóñez-Olmedo, E. (2017). Propuesta de Innovación docente: La inclusión de las competencias transversales en enseñanzas universitarias oficiales de máster y el fortalecimiento de los valores democráticos. International Journal of Educational Research and Innovation (IJERI), 8, 148-162. https://rio.upo.es/xmlui/handle/10433/5316

Ortiz-Colón, A. M., Jordán, J. & Agredal, M. (2018). Gamificación en educación: una panorámica sobre el estado de la cuestión. Educação e Pesquisa, 44. http://dx.doi.org/10.1590/s1678-4634201844173773

Pareja, J. A., Fernández, M., y Fuentes, J. (2019). Innovación metodológica en el máster profesionalizador de formación del profesorado: Aprendizaje basado en proyectos desde la interdisciplinariedad. Profesorado. Revista de Currículum y Formación del Profesorado, 23(3), 113-128. doi: 10.30827/profesorado.v23i3.9497

Pelegrín-Borondo, J., Sierra-Murillo, Y., Olarte-Pascual, C. & García-Milon, A. (2020). Juego de Tronos en el aula. Efecto de la gamificación en la motivación y en la calidad percibida. Journal of Management and Business Education, 3(1), 72-89. https://www.nitoku.com/@journal.mbe/issue%20v3%20n1%20juego%20de%20tronos

Ponce, C. (2017). Gamificación en Ecuador: ¿Los juegos pueden ser parte de procesos educativos y laborales? Trabajo de titulación en periodismo. Quito. UDLA. http://dspace.udla.edu.ec/handle/33000/8141

Prieto, A., Díaz, D., Sanz, J. y Reyes, E. (2014). Experiencias de aplicación de estrategias de gamificación a entornos de aprendizaje universitario. AENUI. http://www.aenui.net/ojs/index.php?journal=revision&page=article&op=view&path%5B%5D=149&path%5B%5D=254

Roncancio-Ortiz, A. P., Ortiz-Carrera, M. F., Llano-Ruiz, H., Malpica-López, M. J. & Bocanegra García, J. J. (2017). El uso de los videojuegos como herramienta didáctica para mejorar la enseñanza-aprendizaje: una revisión del estado del tema. Ingeniería Investigación y Desarrollo, 17(2), 36-46. https://doi.org/10.19053/1900771X.v17.n2.2017.7184

Ruben-Moreno, N., Wylie, L. & Serre-Delcor, N. (2019). Refugee Escape Room©: a new gamification tool to deepen learning about Migration and Health. European Journal of Public Health, 29 (Supl. 4), 185-248. http://www.healthonthemove.net/wp-content/uploads/2018/12/Escape-Room_-Roma.pdf

Stock and Watson (2012). Introducción a la Econometría. Tercera edición. Boston, MA: Addison-Wesley, Series in Economics.

Saraguro-Bravo, R., Samaniego, J., Maldonado, R. (2017). MOOCs UTPL: Plataforma de Gestión de Aprendizaje Gamificado. UTPL. https://documentas.redclara.net/handle/10786/1269?mode=full

Scharrer, E., Kamau, G., Warren, S. & Zhang, C. (2018). Violent video games do contribute to aggression. In Ferguson, C. J. (Ed.). Video game influences on aggression, cognition, and attention. (pp. 5–21). Cham, Switzerland: Springer.

Torres, Á. y Romero, L. (2018). Gamificación en Iberoamérica: Experiencias desde la comunicación y la educación. Quito. Editorial AbyaYala.

Vergara, D., Mezquita, J. M. & Gómez, A. I. (2019). Metodología innovadora basada en la gamificación educativa: evaluación tipo test con la herramienta Quizizz. Profesorado. Revista de Currículum y Formación de Profesorado, 23(3), 363-387. https://doi.org/10.30827/profesorado.v23i3.11232

Vergara, D. & Mezquita, J. M. (2016). Diseño de juegos serios para reforzar conocimientos: una experiencia educativa en secundaria. Profesorado. Revista de Currículum y Formación de Profesorado, 20(2), 238-254. https://recyt.fecyt.es/index.php/profesorado/article/view/52101

Wooldridge, J. (2010). Introducción a la Econometría. México.

Yen, B. T., Mulley, C. & Burke, M. (2019). Gamification in transport interventions: Another way to improve travel behavioral change. Cities, 85, 140-149. https://doi.org/ 10.1016/j.cities.2018.09.002

Zamora-Polo, F., Corrales-Serrano, M., Sánchez-Martín, J. & Espejo-Antúnez, L. (2019). Nonscientific University Students Training in General Science Using an Active-Learning Merged Pedagogy: Gamification in a Flipped Classroom. Education Sciences, 9 (4), 297. https://doi. org/10.3390/educsci9040297

Anexos

1.Encuesta ex ante

Encuesta de investigación para la materia de Ética ( y , ).

Solicitamos su sincera colaboración respondiendo de modo rápido y sin ayuda de internet. Esta encuesta no tiene ningún efecto negativo en la nota final.

*Obligatorio

Dirección de correo electrónico*

1.Nombres y apellidos:*

Tu respuesta

2.Escriba su edad:*

3.Escoja su género:*

Mujer

Hombre

Otro:

4.Escriba su carrera:*

5.Semestre que cursa:*

6.Escoja cuál es su interés por la materia de Ética:

Me interesa poco

Me interesa medianamente

Me interesa mucho

7.¿Piensa que la materia de Ética es aplicable a su carrera?*

No es aplicable

Medianamente aplicable

Es muy aplicable

8.¿Piensa que la materia de Ética es aplicable a su vida personal?*

No es aplicable

Medianamente aplicable

Es muy aplicable a mi vida personal

2.Encuesta ex post no tratados

Encuesta de investigación para la materia de Ética ( y )

Este formulario mide los resultados de satisfacción de los alumnos en la clase que recibieron. La nota no tiene ningún efecto negativo en la nota final de Ética.

*Obligatorio

1. Nombres y apellidos:*

Tu respuesta

2.La clase le pareció:*

Llenó sus expectativas

Entretenida

Aburrida

3.¿Cómo se sintió durante la clase?*

Interesado

Medianamente interesado

Quería que se acabe pronto

4.Su postura ante la ética, la definiría como:*

Importante para la vida cotidiana y profesional

Medianamente aplicable para la vida cotidiana y profesional

Poco aplicable para la vida cotidiana y profesional

5.Escoja cuál es su interés por la materia de Ética:*

Me interesa mucho

Me interesa medianamente

Me interesa poco

6.¿Piensa que la materia de Ética es aplicable a su carrera?*

Es muy aplicable a mi carrera

Medianamente aplicable

No es aplicable

7.¿Piensa que la materia de Ética es aplicable a su vida personal?*

Es muy aplicable

Medianamente aplicable

No es aplicable

8.Escoja los 3 sistemas éticos históricos correctos:*

a. Utilitarismo del siglo vi a.C.

b. Ética aristotélica del siglo iv a.C.

c. Ética discursiva del siglo xx

d. Ética de la buena voluntad actual

e. Ética kantiana del siglo xviii

9.¿Cuáles de los siguientes autores representan a los sistemas éticos históricos? Escoja 3:

a. Apel

b. Freud

c. Bentham

d. Habermas

e. Euler

3.Encuesta expost tratamiento

Encuesta de investigación para la materia de Ética ( y )

La presente encuesta mide el nivel de satisfacción en la realización del juego. Solicitamos su sincera colaboración respondiendo de modo rápido y sin ayuda de internet. Esta encuesta no tiene ningún efecto negativo en la nota final.

*Obligatorio

1.Nombres y apellidos:*

Tu respuesta

2.¿Cómo se sintió aplicando el juego?*

Lllenó sus expectativas

Entretenido

Aburrido

3.¿Cuántas estrellas logró al final del juego?*

Elige entre 1 y 15

4.Su postura ante la ética, la definiría como:*

Importante para la vida cotidiana y profesional

Medianamente aplicable para la vida cotidiana y profesional

Poco aplicable para la vida cotidiana y profesional

5.Escoja cuál es su interés por la materia de Ética:*

Me interesa mucho

Me interesa medianamente

Me interesa poco

6.¿Piensa que la materia de Ética es aplicable a su carrera?*

Es muy aplicable a mi carrera

Medianamente aplicable

No es aplicable

7.¿Piensa que la materia de Ética es aplicable a su vida personal?*

Es muy aplicable

Medianamente aplicable

No es aplicable

8.Escoja los 3 sistemas éticos históricos correctos:*

a. Utilitarismo del siglo vi a.C.

c. Ética discursiva del siglo xx

b. Ética aristotélica del siglo iv a.C.

e. Ética kantiana del siglo xviii

d. Ética de la buena voluntad actual

9.¿Cuáles de los siguientes autores representan a los sistemas éticos históricos? Escoja 3:*

a. Apel

b. Freud

c. Bentham

d. Habermas

e. Euler

Anexo 2.

Histograma del delta de las notas

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

Se observa que las variables deltas notas, tanto para población de tratamiento y control, tienen una distribución normal casi perfecta, con un ligero apuntalamiento en el grupo de tratados. Este aspecto es fundamental tanto para la comprobación de la similitud de los dos grupos como para la eficacia en los resultados del modelo de diferencias en diferencias.

Anexo 3.

Relación entre la distribución de los errores y la variable dependiente

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

El gráfico anterior muestra una relación de los residuos con los valores ajustados de la variable dependiente. Esta relación verifica un posible patrón de comportamiento, que, en caso de existir, comprobaría la presencia de heteroscedasticidad. Según el gráfico anterior, se comprueba que la variable dependiente no tiene ninguna relación con la distribución de los errores, comprobándose homoscedaticidad, considerándose que la varianza de los residuales es constante.

Anexo 4.

Diagnóstico de la distribución de normalidad de los errores (Plot)

Fuente: encuestas elaboradas para estudiantes de la PUCE

Elaboración: equipo de trabajo

El gráfico anterior muestra que los errores tienen una distribución muy semejante a la normal, pues la gráfica de color azul se asemeja a la recta de 45 grados.

Anexo 5.

Tabla de inflación de la varianza para el modelo 2

Variables explicativas

VIF (a)

1/VIF (b)

D

1.07

0.935

semestre

1.99

0.503

Género

12.48

0.080

SemestrexGenero

12.45

0.080

Interes_materia

1.05

0.952

Fuente: Encuestas elaboradas para estudiantes de la PUCE

Elaboración: Equipo de trabajo

La tabla anterior establece el factor de inflación de la varianza, el cual mide la velocidad con la cual se incrementan las varianzas y las covarianzas de los estimadores, y, si esta velocidad es alta, los errores estándar son demasiado altos, ocasionando errores de tipo I en los coeficientes.

De acuerdo con el anexo 5, en la columna a, los VIF de cada una de las variables del modelo 2 no pasan de 39, considerándose por lo tanto que las variables independientes no son combinación lineal de otras variables independientes. Alternativamente, en la columna b, se observa el índice de tolerancia (1/VIF); se acepta un índice de tolerancia de hasta 0,99: ninguna de las variables pasa este número, por lo cual se concluye que no hay multicolinealidad.


1 Vale indicar que el mencionado semestre académico, debido a la pandemia de COVID-19, se realizó enteramente de forma virtual y no presencial, como hubiese sido lo normal. La virtualidad de las clases implicó que los estudiantes conectaran con sus profesores a través de Zoom y la plataforma digital de la universidad, que descargaran el juego en sus celulares Android y que realizaran las encuestas vía enlaces del servicio Google Forms.

2 El modelo en primera instancia se ordena con las características de un corte transversal; sin embargo, existen variables temporales, tal es el caso de las calificaciones y de las variables motivacionales. En los dos casos, se expresan ex ante y ex post, por lo cual podría aplicarse modelos de regresión con series de tiempo. No obstante, este caso no aplica un supuesto básico de mco en series temporales, esto es que, , pues las variables dependientes están relacionadas en dos etapas.

3 Al respecto, en la parte analizada de la estadística descriptiva, se realizan test de medias para comprobar la similitud de las poblaciones de tratados y no tratados, para que se cumpla lo que se especifica en la ecuación 2.

4 Bernal y Peña (2012), en Guía práctica para la evaluación de impacto, hacen referencia a este método en la aplicación de la evaluación de impacto denominada «Evaluación de impacto del programa Hogares Comunitarios del Bienestar Familiar», documento de trabajo, Centro de Estudios de Desarrollo Económico, No. 16, julio de 2009. Aquí se coloca como variable dependiente el diferencial en dos periodos (delta) en la estatura de los niños que recibieron una canasta (población de tratados) y se los compara con los que no recibieron el beneficio del programa.

5 En Stata el comando para la creación de clústeres que controlen el problema de diferencias en las varianzas es vce(cluster clustvar), donde clustvar es la variable que permite controlar dicho diferencial.

6 Bernal y Peña (2012), en Guía práctica para la evaluación de impacto, hace referencia al cálculo del modelo probit para la verificación de la aleatoriedad en la variable .

7 Esta clasificación de las áreas del conocimiento fue tomada de la Secretaría Nacional de Ciencia y Tecnología (SENESCYT).

8 Esta categorización de las notas fue tomada del Reglamento General de Estudiantes de la PUCE, mayor o igual a 6/10 implica aprobación de la materia, y menor a este puntaje, no aprobación.

9 Se debe mencionar que el modelo 2 cumple los supuestos de mínimos cuadrados ordinarios (v. anexo 2, gráfico de la distribución normal de la variable dependiente; anexo 3, relación de los errores entre la distribución de los errores y la variable dependiente; anexo 4, diagnóstico de la distribución de normalidad de los errores; anexo 5, tabla de inflación de la varianza). Con estos aspectos, se comprueba que modelo es eficiente, lineal, insesgado y óptimo (ELIO).