Saltar al contenido
Cosas Tecnológicas

¿Es ético realizar experimentos de aprendizaje en estudiantes sin su conocimiento?

Imagine que es una empresa de tecnología educativa y hay miles de estudiantes en su plataforma. Ve la oportunidad de realizar pequeños cambios que podrían mejorar sus resultados de aprendizaje, por lo que la promociona a un grupo de estudiantes que no saben que son parte de la muestra.

¿Ha realizado el mismo tipo de prueba A / B que es común en todo el campo técnico? ¿O llevar ante la justicia a estudiantes desconocidos sin consentimiento?

Este es un debate ético en un espacio de educación en línea Este es un debate animado en el seminario más reciente sobre pruebas educativas A / B.

Esto también es oportuno, porque las noticias recientes muestran que los estudiantes se aburren con la vigilancia secreta. En junio, Dartmouth College abandonó su investigación de trampas de estudiantes de medicina debido al uso de Canvas para rastrear comportamientos sospechosos de actividades de percepción durante el examen. Los estudiantes de todo el país se oponen al uso de software de supervisión de pruebas con el argumento de que la supervisión constante y el miedo a la privacidad causarán pérdida mental.

Pero si un investigador está probando A / B dos opciones inofensivas, ¿cuál es el daño?

Proporcionar chispas

Jenessa Peterson, directora de ingeniería de aprendizaje de la institución de aprendizaje, provocó un debate en el grupo de Google dirigido por su organización. La pregunta es: ¿Es posible realizar una prueba A / B entre dos condiciones benignas sin el conocimiento de los participantes?

Un ejemplo citado es la prueba Pearson A / B que recibió una cobertura mediática negativa hace unos años. Como parte del experimento, los estudiantes de universidades seleccionadas al azar que eligieron respuestas incorrectas en cuestionarios en línea verían información alentadora, y Pearson publicó más tarde un artículo sobre su “intervención psicosocial”.

Peterson quería conocer las preocupaciones expresadas en los informes de los medios sobre la prueba. También compartió un estudio que encontró que los participantes no aprobaron las pruebas médicas A / B, incluso si pensaban que cada situación era aceptable. Ella escribió que si Pearson ofreciera alguna de estas dos opciones a todos los usuarios, la mayoría de la gente la aceptaría con o sin mensajes de aliento.

“Si ambos tratamientos son aceptables individualmente, ¿por qué es inaceptable realizar experimentos para ver qué tratamientos pueden conducir a mejores resultados de aprendizaje incluso sin el conocimiento de los participantes?” Peterson en el tablero de mensajes Pregunte en él.

En una conversación con EdSurge, Peterson dijo que quiere que los investigadores se basen en las pautas federales que protegen a los participantes de la investigación. Explicó que las regulaciones requieren que los investigadores no necesiten obtener un consentimiento informado para probar pequeños cambios que involucren prácticas educativas normales, siempre que sea poco probable que afecten negativamente la capacidad de los estudiantes para aprender el contenido educativo requerido.

“Creo que lo único que realmente necesitamos es un conjunto de acuerdos compartidos o listas de verificación que podamos crear como una comunidad de investigadores para generar confianza entre los participantes y sus familias”, dijo Peterson, describiendo que los investigadores de todo el mundo pueden aclararlo. mundo cuándo renunciar al consentimiento informado. “Creo que la comunidad de investigadores debería intentar ajustar y discutir cuáles deberían ser estos estándares”.

¿Hasta qué punto es inofensivo?

Hay un obstáculo para este tipo de pensamiento: antes de la prueba, ¿cómo sabe que su A / B es inofensivo? Si no es así, ¿qué harías? Estas preguntas fueron planteadas en una publicación por Colin Lynch, profesor asistente en el Departamento de Ciencias de la Computación de la Universidad Estatal de Carolina del Norte.

Escribió: “Los métodos A / B, especialmente los basados ​​en el engaño, son de naturaleza experimental, lo que significa que haces que un grupo sea tratado de manera diferente a otros grupos”.

En una entrevista con EdSurge, Lynch propuso tal escenario: Como resultado de realizar una prueba A / B en un par de aulas, uno de los maestros encontró que sus alumnos se desempeñaron peor porque no podían controlar las variables. Los investigadores como Lynch pueden aprender algo del experimento, pero algunos estudiantes y sus profesores sufrirán las consecuencias. Dijo que la mejor manera es dejar que los estudiantes experimenten los dos aspectos del experimento y luego cambiar, para que eventualmente puedan estar expuestos a ambos aspectos al mismo tiempo.

“Mi opinión general es que las pruebas A / B simples son una técnica útil, pero la educación es un entorno único que es muy diferente de la experiencia casual de Facebook”, dijo Lynch. “Esto es lo que me motiva a ser escéptico sobre el uso completo de las pruebas A / B. En algún momento, tenemos que experimentar, pero debe tener cuidado al introducir cosas que pueden afectar negativamente a un grupo. Especialmente si lo hace sin cualquier forma de consentimiento informado o participación de un mentor “.

Añadió que la discusión final es una discusión de métodos y ética entre los profesionales.

“Viene con una pregunta, ¿qué es benigno? ¿Cómo determinamos qué es seguro probar y qué no?”, Dijo Lynch. “Este es un tema de investigación y metodológico que debemos discutir”.

Comprobar y equilibrar

Jeff Dieffenbach, subdirector del Programa de Aprendizaje Integral del MIT, cree que estos problemas se pueden resolver a través de juntas de revisión institucionales similares a las universidades.

“Por supuesto que hay un continuo, pero sospecho que la mayoría de las pruebas A / B que ejecutarán las empresas de educación son benignas”, escribió Dieffenbach. “Sí, si la diferencia entre A y B es grande, puede causar un daño educativo, pero es probable que el daño (aunque no está garantizado) sea pequeño y temporal”.

Dieffenbach le dijo a EdSurge que, según su experiencia en la investigación K-12, los padres no quieren que sus hijos estén en el grupo de control durante la prueba A / B. Una forma en que su laboratorio alivia este miedo es proporcionar alternativas que aún sean académicamente beneficiosas. Si los investigadores están probando los beneficios del programa de alfabetización, los niños del grupo de control pueden recibir cursos de matemáticas, informática o mindfulness, que no afectarán la alfabetización.

En dicha investigación, Dieffenbacher dice que los padres siempre dan su consentimiento totalmente informado, e incluso el papeleo es aprobado por la Junta de Revisión Institucional o IRB, que revisa los métodos de investigación y sopesa las consideraciones éticas.

“Hemos estado experimentando. Cada vez que los maestros eligen hacer algo en clase, en realidad están experimentando con cosas diferentes”, dijo Dieffenbach. “Si queremos mejorar el aprendizaje, debemos hacerlo paso a paso para no dejar que una generación de niños caiga en una premisa completamente equivocada. Pero al mismo tiempo, no cambiar de donde estamos esencialmente hará que el los niños se encaminan hacia un futuro que no es tan bueno como se esperaba “.

Responsabilidad de las pruebas

Christopher Brooks, profesor asistente de la Escuela de Información de la Universidad de Michigan, escribió en un hilo de mensajes que le ha pedido a su IRB que renuncie al consentimiento informado si el consentimiento de los participantes puede cambiar su tasa de respuesta o introducir sesgos. Le dijo a EdSurge que cualquier experimento, incluidos los cuestionarios o las entrevistas, debe tratarse con precaución. Agregó que este es el beneficio de trabajar con IRB.

“Una cosa que me frustra mucho es que la palabra ‘experimento’ ha provocado una especie de científico loco en la mente de las personas”, dijo Brooks, refiriéndose a otro usuario en el tablero de mensajes que propuso el Código de Nuremberg: un conjunto de principios éticos. formulado para experimentos médicos que involucran principalmente a personas después de la Segunda Guerra Mundial. “Es incluso diferente de lo que está haciendo el científico del aprendizaje. En ese momento, la gente hablaba de cosas muy diferentes, cosas terribles, no al proporcionar preguntas de prueba ligeramente diferentes para mejorar la educación”.

Brooks dijo que algo que no se cubrió ampliamente durante el debate fue una “gran oportunidad perdida” para que los estudiantes participen en los resultados de la investigación.

“Creo que tenemos la oportunidad de realizar un trabajo transformador, de brindar la investigación que hemos hecho en la educación superior a los estudiantes que están haciendo esa investigación o a los estudiantes que trabajan con ellos”, dijo.

Steven Ritter, fundador y científico jefe de Carnegie Learning, señaló en el tablero de mensajes que su empresa está ajustando constantemente su software, ya sea en respuesta a las solicitudes de los clientes o mejorando los productos.

“Nunca probaremos todo A / B, pero creo que tenemos la obligación de saber tanto como sea posible si vamos en la dirección correcta”, escribió.

David Porcaro, vicepresidente de aprendizaje e innovación de la conferencia, escribió que participó en el estudio de Pearson que desató el debate. Dijo que la compañía concluyó después de una extensa revisión que informar a los estudiantes sobre la prueba A / B afectaría los resultados.

“Aunque los resultados de este estudio no son tan influyentes como todos esperan (en respuesta a muchos estudios recientes que muestran la importancia de los antecedentes en la aplicación de la información sobre la mentalidad de crecimiento en un entorno educativo), todos están contenidos en En este estudio … aprendí mucho sobre dónde la gente está satisfecha e insatisfecha con las pruebas educativas A / B “, escribió.

Porcaro dijo que los usuarios no tienen problemas con las pruebas A / B de los materiales del curso complementario, pero no cuando se trata de calificar los materiales, pero la lógica de las pruebas A / B en educación al final “se invierte”.

Porcaro planteó la hipótesis de que un experimento estructurado puede traer mejoras, lo que hace que la gente se sienta asustada. Pero un experimento no estructurado, como el lanzamiento de una nueva función o un ajuste de contenido, puede considerarse una mejora incluso si causa daños.