Design and validation of an instrument to evaluate assertive feedback in Normal Education

Authors

DOI:

https://doi.org/10.33010/ie_rie_rediech.v11i0.791

Keywords:

formative evaluation, socioformative evaluation, assertive feedback, socioformative rubric, instrument validation

Abstract

Assertive feedback is the evaluation process in which the teacher, respectfully, and cordially, provides data to the student about their level of learning proficiency. Despite its relevance, there is no instrumental proposal for its evaluation. Therefore, a device was designed as an analytical tool, which was organized in a single dimension (execution of feedback). For validation, it was subjected to expert review. Subsequently, a pilot test was carried out on two groups to evaluate affordability. As main results, the experts made suggestions; accordingly, for their part in the trial, all the items showed their content validity in the relevance and wording criteria (V> 0.75; LI> 0.60). In the application of the pilot test, an acceptable average resolution time (8 and 15 minutes) was determined and the understanding of instructions and items was of an excellent to an acceptable level. Finally, for the second group, an optimum reliability value was obtained (Cronbach’s Alpha: 0.906; 95% CI: 0.818 + 0.963). We concluded that the aspects that constitute the instrument belong to and represent the concept to be evaluated.

Author Biographies

Ma. de la Luz Berlaga Ramírez, Escuela Normal Superior del Estado de Coahuila, México

Profesora-investigadora de la Escuela Normal Superior del Estado de Coahuila, México. Es doctorando del Centro Universitario CIFE y cuenta con maestría en Educación basada en Competencias por la Universidad del Valle de México. Su actividad de investigación actual se desarrolla en el campo de la evaluación normalista.

Luis Gibran Juárez Hernández, Centro Universitario CIFE, Morelos, México

Profesor-investigador del Centro Universitario CIFE, Morelos, México. Doctor en Ciencias Biológicas y de la Salud por la Universidad Autónoma de Metropolitana con especialidad en el área de Ecología, Diagnóstico y Gestión Ambiental. Integrante del Sistema Nacional de Investigadores (SNI).

References

Acosta, H. P., Tobón, S., y Loya, J. L. (2015) Docencia socioformativa y desempeño académico en la educación superior. Paradigma, 36(1), 42-55. Recuperado de: https://goo.gl/Vr6exR.

Aguilar, C., y Sánchez, G. (2018). Construcción y validación de un instrumento para valorar desempeños pedagógicos de estudiantes en formación inicial. Revista Educación, 42(1), 1-23. doi: 10.15517/revedu.v42i1.22728.

Aguilar, E. (2007). Asertividad. Cómo hacer tú mismo sin culpas. México: Pax.

Aguilar, E., Rodríguez, A., Baeza, L., y Méndez, N. (2016). La retroalimentación constructiva en el desarrollo de habilidades comunicativas escritas e investigativas en dos generaciones de alumnos de Medicina en Yucatán, México. Anales de la Facultad de Medicina, 137-142. doi.org/10.15381/anales.v77i2.11818.

Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45(1), 131-142. doi.org/10.1177/0013164485451012.

Allal L., y Mottier L. (2005). Formative assessment of learning: A review of publications in French. French Literature Review, 241-264. Recuperado de: https://bit.ly/3geGV8X.

Allal, L., y Pelgrims, G. (2000). Assessment of or in the zone of proximal development. Learning and Instruction, 10(2), 137-152. doi: 10.1016/s0959-4752(99)00025-0.

Alirio, E., y Zambrano, L. (2011). Caracterización de los procesos de retroalimentación en la práctica docente. Artículo de investigación. Entornos, (24), 73-85. Recuperado de: https://goo.gl/7KsHfz.

Anijovich, R. (2010). La retroalimentación en la evaluación. En R. Anijovich (comp.), La evaluación significativa. Buenos Aires: Paidós.

Ato, M., López, J., y Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología, 29(3), 1038-1059. Recuperado de: https://bit.ly/2U3IjzM.

Asún, S., Fraile, A., Aparicio, J., y Romero Martín, M. (2020). Dificultades en el uso del feedback en la formación del profesorado de Educación Física. Retos, (37), 85-92. Recuperado de: https://bit.ly/3adnDNA.

Berlanga-Ramírez, M. L., y Juárez-Hernández, L. G. (2020). Paradigmas de evaluación: del tradicional al socioformativo. Diálogos sobre educación. Temas actuales en investigación educativa, 21(11), 1-14. doi: 10.32870/dse.v0i21.646.

Bitran, M., Beltrán, M., Riquelme, A., Padilla, O., Sánchez, I., y Moreno, R. (2010). Desarrollo y validación de un instrumento en español para evaluar el desempeño de docentes clínicos a través de las percepciones de sus estudiantes. Revista Médica de Chile, 138(6), 685-693. doi: 10.4067/S0034-98872010000600004.

Bizarro, W., Sucari, W., y Quispe-Coaquira, A. (2019). Evaluación formativa en el marco del enfoque por competencias. Revista Innova Educación, 1(3), 374-390. doi.org/10.35622/j.rie.2019.03.r001.

Black, P., y Wiliam, D. (1998). Assessment and classroom. Learning Assessment in Education: Principles, Policy and Practice, 5(1), 7-74, doi 10.1080/0969595980050102.

Black, P., y Wiliam, D. (2004). The formative purpose: Assessment must first promote learning. En M. Wilson (ed.), Towards coherence between classroom assessment and accountability. Chicago, IL: University of Chicago Press.

Breckler, S. J., y Wiggins, E. C. (1989). Affect versus evaluation in the structure of attitudes. Journal of Experimental Social Psychology, 25(3), 253-271. doi: 10.1016/0022-1031(89)90022-X.

Buela-Casal, G., y Sierra, J. C. (1997). Manual de evaluación psicológica: fundamentos, técnicas y aplicaciones. Madrid, España: Siglo XXI.

Bulger, S. M., y Housner, L. D. (2007). Modified Delphi investigation of exercise science in Physical Education teacher education. Journal of Teaching in Physical Education, 26, 57-80. doi: 10.1080/02701367.2014.930087.

Canabal, C., y Margalef, L. (2017). La retroalimentación: la clave para una evaluación orientada al aprendizaje. Profesorado. Revista de Currículum y Formación de Profesorado, 2(2), 149-170. Recuperado de: https://goo.gl/KrrohR.

Carless, D. (2007). Learning-oriented assessment: Conceptual bases and practical implications. Innovations in Education and Teaching International, 44(1), 57-66. doi: 10.1080/14703290601081332.

Carless, D. (2015). Exploring learning-oriented assessment processes. Higher Education, 69(6), 963-976. doi: 10.1007/s10734-014-9816-z.

Carrillo-Sierra, S. M., Forgiony-Santos, J. O., Rivera-Porras, D. A., Bonilla-Cruz, N. J., Montánchez-Torres, M. L., y Alarcón-Carvajal, M. F. (2018). Propiedades psicométricas del Cuestionario de Inclusión Educativa (CIE) en contextos escolares colombianos. Espacios, 39(17), 15-32. Recuperado de: https://bit.ly/2LUn2JQ.

Carrion, C., Soler, M., y Aymerich, M. (2015). Análisis de la validez de contenido de un cuestionario de evaluación del aprendizaje basado en problemas. Un enfoque cualitativo. Formación Universitaria, 8(1), 13-22. doi: 10.4067/S0718-50062015000100003.

Carvajal, A., Centeno, C., Watson, R., Martínez, M., y Sanz Rubiales, A. (2011). ¿Cómo validar un instrumento de medida de la salud? Anales del sistema sanitario de Navarra, 34(1), 63-72. Recuperado de: https://bit.ly/2ZbH4Sa.

Charter, R. A. (2003). A breakdown of reliability coefficients by test type and reliability method and the clinical implications of low reliability. The Journal of General Psychology, 130(3), 290-304. doi: 10.1080/00221300309601160.

Cervantes, V. H. (2005). Interpretaciones del coeficiente alpha de Cronbach. Avances en medición, 3(1), 9-28. Recuperado de: https://bit.ly/2rkUb1V.

CIFE (2018). Instrumento “Escala Jueces Expertos”. México: Centro Universitario CIFE.

Coll, C., Rochera M., Gispert, I. D., y Díaz Barriga, F. (2013). Distribution of feedback among teacher and students in online collaborative learning in small groups. Digital Education, (23), 27-46. Recuperado de: https://goo.gl/C3dHsQ.

Condemarín, M., y Medina, A. (2000). Evaluación de los aprendizajes. Un medio para mejorar las competencias lingüísticas. Santiago de Chile: Ministerio de Educación República de Chile.

Contreras, G., y Zúñiga, C. G. (2019). Prácticas y concepciones de retroalimentación en formación inicial docente. Educação e Pesquisa, 45, 1-22. doi.org/10.1590/s1678-4634201945192953.

Corral, Y. (2009). Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. Revista Ciencias de la Educación, 19(33), 228-247. Recuperado de:: https://bit.ly/1T1z0ct.

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. Recuperado de: https://bit.ly/2YJNWZr.

Cruz-Ramírez, M., y Martínez-Cepena, M. C. (2012). Perfeccionamiento de un instrumento para la selección de expertos en las investigaciones educativas. Revista Electrónica de Investigación Educativa, 14, 167-179. Recuperado de: https://bit.ly/2DyrVRp.

De la Torre-Laso, J. (2019). La retroalimentación evaluativa o feedback para los trabajos en grupo como estrategia de acción tutorial en la Universidad. Revista Educación, 43(1), 1-18. doi.org/10.15517/revedu.v43i1.30062.

Ding, C., y Hershberger, S. (2002). Assessing content validity and content equivalence using structural equation modeling. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 283-297. doi: 10.1207/S15328007SEM0902_7.

Farahman, F., y Masoud, Z. (2011). A comparative study of EFL teachers’ and intermediate High School students’ perceptions of written corrective feedback on grammatical errors. English Language Teaching, 4(4), 36-48. doi:10.5539/elt.v4n4p36.

Fraile, J., Pardo, R., y Panadero, E. (2016). ¿Cómo emplear las rúbricas para implementar una verdadera evaluación formativa? Revista Complutense de Educación, 28(4), 1321-1334. doi: 10.5209/RCED.51915.

Ford, C. (2018). Effective practice instructional strategies: Design of an instrument to assess teachers’ perception of implementation. Studies in Educational Evaluation, 56(0), 154-163. doi: 10.1016/j.stueduc.2017.12.004.

Forster, M., y Masters, G. (1996). Developmental Assessment. Assessment Resource Kit (ARK). Australia: ACER.
Frederiksen, J. R., y Collins, A. (1989). A systems approach to educational testing. Educational Researcher, 18(9), 27–32. doi: 10.3102/0013189X018009027.

García, A. C., Gil-Mediavilla, M., Álvarez, I., y Casares, M. (2020). Evaluación entre iguales en entornos de educación superior online mediante el taller de Moodle. Estudio de caso. Formación universitaria, 13(2), 119-126. dx.doi.org/10.4067/S0718-50062020000200119.

García, E. (2015). La evaluación del aprendizaje: de la retroalimentación a la autorregulación. El papel de las tecnologías. Relieve: Revista Electrónica de Investigación y Evaluación Educativa, 21(2), 1-24. doi: 10.7203/relieve.21.2.7546.

García E., y Cabero, J. (2011). Diseño y validación de un cuestionario dirigido a describir la evaluación en procesos de educación a distancia. Edutec. Revista Electrónica de Tecnología Educativa, (35), 1-26. doi: 10.21556/edutec.2011.35.412.

García, L., Lozano, F., y Gallardo, K. (2017). Percepción de profesores y estudiantes universitarios sobre la retroalimentación y su incidencia en el rendimiento académico a partir del uso de un modelo de retroalimentación. Revista de Investigación Educativa del Tecnológico de Monterrey, 7(14), 2-11. doi: 10.13140/RG.2.2.17585.99688.

Gibbs, G., y Simpson, C. (2004). Conditions under which assessment supports students’ learning. Learning and Teaching in Higher Education (LATHE), 1, 3-31. Recuperado de: https://bit.ly/2VwpjNN.

Hattie, J., y Timperley, H. (2007). The power of feddback. Review of Educational Research, 77(1), 81-112. doi: 10.3102/003465430298487.

Hebles, M., Alonso, M., Alvarez, C., y Villardon, L. (2017). Diseño y validación de la escala evaluación de los aprendizajes (EEA). Profesorado. Revista de Currículum y Formación de Profesorado, 21(2), 107-126. Recuperado de: https://goo.gl/pM9sBP.

Hernández, J. S., González, L., Guzmán, C., y Tobón, S. (2015). Evaluación socioformativa y rendimiento académico en un programa de posgrado en línea. Paradigma, (1), 30-41. Recuperado de: https://goo.gl/7meiGd.

Hernández, J. S., Tobón, S., y Guerrero-Rosas, G. (2016). Hacia una evaluación integral del desempeño: las rúbricas socioformativas. Ra Ximhai,  12(6), 359-376. Recuperado de: https://bit.ly/2KKNsZH.

Haynes, S., Richard, D., y Kubany, E. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7(3), 238-247. doi: 10.1037/1040-3590.7.3.238.

Ion, G., Silva, P., y Cano, E. (2013). El feedback y el feedforward en la evaluación de las competencias de estudiantes universitarios. Profesorado. Revista de Currículum y Formación de Profesorado, 17(2), 283-301. Recuperado de: https://goo.gl/hRnpTa.

Irons, A. (2007). Enhancing learning through formative assessment and feedback. Nueva York: Routledge.

Knight, P. (2006). The local practices of assessment. Assessment & Evaluation in Higher Education.

Koller, I., Levenson, M. R., y Glück, J. (2017). What do you think you are measuring? A mixed-methods procedure for assessing the content validity of test items and theory-based scaling. Frontiers in Psychology, 8, 126. doi: 10.3389/fpsyg.2017.00126.

Koning, A. J., y Franses, P. H. (2003). Confidence intervals for Cronbach’s Coefficient Alpha values. ERIM Report Series Reference No. ERS-2003-041-MKT. Recuperado de: https://bit.ly/2G9bttl.

Lagunes-Córdoba, R. (2017). Recomendaciones sobre los procedimientos de construcción y validación de instrumentos y escalas de medición en psicología de la salud. Psicología y Salud, 27, 5-18. Recuperado de: https://bit.ly/2VDTPCq.

León, M., y Vargas, T. (2009). Validación y estandarización de la Escala de Asertividad de Rathus (R.A.S.) en una muestra de adultos costarricenses. Revista Costarricense de Psicología, 28(41-42), 187-207. Recuperado de https://bit.ly/31xHlTB.

López, A. A. (2010). La evaluación formativa en la enseñanza y aprendizaje del inglés. Voces y Silencios: Revista Latinoamericana de Educación, 1(2), 111-124. Recuperado de: https://bit.ly/2NDsRJR.

López, A., y Osorio, K. (2016). Percepciones de estudiantes sobre la retroalimentación formativa en el proceso de evaluación. Actualidades Pedagógicas, (68), 43-64. doi: http://dx.doi.org/10.19052/ap.2829.

Lozano, F., y Tamez, L. (2014). Retroalimentación formativa para estudiantes de educación a distancia. RIED. Revista Iberoamericana de Educación a Distancia,  17(2), 197-221. Recuperado de: https://bit.ly/2pwefzW.

Martínez-Rizo, F. (2013). Dificultades para implementar la evaluación formativa: revisión de literatura. Perfiles educativos, 35(139), 128-150. Recuperado de: https://goo.gl/VY2p2H.

Martínez-Rizo, F., y Mercado, A. (2015). Estudios sobre prácticas de evaluación en el aula: revisión de la literatura. Revista Electrónica de Investigación Educativa, 17(1), 17-32. Recuperado de: https://goo.gl/8EC5Qo.

McTighe, J., y Wiggins, G. (2012). What is UBD framework? Understanding by design. Recuperado de: shorturl.at/egDHJ.

Meliá, J. L. (2001). Teoría de la fiabilidad y la validez. Valencia, España: Universidad de Valencia.

Melmer, R., Burmaster, E., y James, T.K. (2008). Attributes of effective formative assessment. Washington, D.C.: Council of Chief State School Officers. Recuperado de: https://bit.ly/3ihrmii.

Monje, V., Camacho, M., Rodríguez, E., y Carvajal, L. (2009). Influencia de los estilos de comunicación asertiva de los docentes en el aprendizaje escolar. Psicogente, 12(21), 78-95. Recuperado de: https://goo.gl/33r9m9.

Montero, I., y León, O. (2007). A guide for naming research studies in psychology. International Journal of Clinical and Health Psychology, 7, 847-862. Recuperado de: https://bit.ly/2NRVKRk.

Murga-Menoyo, M. A. (2015). Competencias para el desarrollo sostenible: las capacidades, actitudes y valores meta de la educación en el marco de la Agenda global post-2015. Foro de Educación, 13(19), 55-83. doi: 10.14516/fde.2015.013.019.004.

Nunnally, J. C., y Bernstein, I. H. (1999). Teoría psicométrica. México: McGraw-Hill Interamericana.

Osorio, K., y López, A. (2014). La retroalimentación formativa en el proceso de enseñanza-aprendizaje de estudiantes en edad preescolar. Revista Iberoamericana de Evaluación Educativa, 7(1), 13-30. Recuperado de: https://bit.ly/2REYrsV.

Osorio Sánchez, K., y López Mendoza, A. (2014). La retroalimentación formativa en el proceso de enseñanza-aprendizaje de estudiantes en edad preescolar. Revista Iberoamericana de Evaluación Educativa, 7(1). Recuperado de: https://bit.ly/2REYrsV.

Paoloni, P., Rinaudo, C., y González-Fernández, A. (2010). Procesos de retroalimentación en la autorregulación de recursos de aprendizaje. Explorando su potencial en el contexto de la universidad. Revista de Educación a Distancia, (3), 1-18. Recuperado de: https://bit.ly/2K8wjui.

Penfield, R. D., y Giacobbi, Jr, P. R. (2004). Applying a score confidence interval to Aiken’s item content-relevance index. Measurement in Physical Education and Exercise Science, 8, 213-225. doi:10.1207/s15327841mpee0804_3.

Perrenoud, P. (2007). From formative evaluation to a controlled regulation of learning processes. Towards a wider conceptual field. Assessment in Education: Principles, Policy & Practice, 5(1), 85-102. doi: 10.1080/0969595980050105.

Quero-Virla, M. (2010). Confiabilidad y coeficiente Alpha de Cronbach. Telos, 12(2), 248-252. Recuperado de: https://bit.ly/2WeZVJL.

Resnick, L. B., y Collins, A. (1996). Cognición y aprendizaje. Anuario de Psicología, 69(69), 187-197. Recuperado de: shorturl.at/cdtX4.

Resnick, L. B., y Resnick, D. P. (1992). Assessing the thinking curriculum: New tools for education reform. En B. R. Gifford y M. C. O’Connor (eds.), Changing assessments: Alternative views of aptitude, achievement, and instruction, pp. 37-75. Boston: Kluwer Academic.

Salas-Razo, G., y Juárez-Hernández, L. G. (2019). Rúbrica analítica para el diagnóstico integral del nivel de desarrollo de una comunidad rural. Revista de Estudios sobre Despoblación y Desarrollo Rural, 27,1-28. doi: 10.4422/ager.2019.01.

Sánchez L., y Manrique, M. S. (2018). La retroalimentación más allá de la evaluación. Revista Latinoamericana de Educación Comparada, 9(14), pp 89-104. Recuperado de: https://bit.ly/3ehZokN.

Scriven, M. (1967). The methodology of evaluation. En B. R. Worthen y James, R. Sanders (eds.), Educational evaluation: Theory and practice. Belmont, California: Wadsworth Publishing Company.

Secretaría de Educación Pública (2013). El enfoque formativo de la evaluación. Serie Herramientas para la Evaluación en Educación Básica. México: SEP.

Secretaría de Educación Pública (2018). Aprendizajes clave. Español. Plan y programas de estudio, orientaciones didácticas y sugerencias de evaluación. México: SEP.

Sireci, S. G. (1998). The construct of content validity. Social Indicators Research, 45, 83-117. Recuperado de: https://goo.gl/erf2Nb.

Stiggins, R. J. (2002). Assessment crisis: The absence of assessment for learning. Phi Delta Kappan, 83(10), 758–765. doi: 10.1177/003172170208301010.

Taber, K. S. (2018). The use of Cronbach’s alpha when developing and reporting research instruments in science education. Research in Science Education, 48(6), 1273-1296.

Tillema, H., Leenknecht, M., y Segers, M. (2011). Assessing assessment quality: Criteria for quality assurance in design of (peer) assessment for learning - A review of research studies. Studies in Educational Evaluation, 37, 25-34. doi: 10.1016/j.stueduc.2011.03.004.

Tobón, S. (2013). Evaluación de las competencias en la edcación básica. Ciudad de México, México: Santillana.

Tobón, S. (2017). Evaluación socioformativa. Estrategias e instrumentos. Recuperado de: https://goo.gl/VT4M5y.

Torrance, H., y Pryor, J. (1998). Investigating formative assessment. Teaching, learning and assessment in the classroom. Buckingham: Open University Press.

Townend, A. (2007). Assertiveness and diversity. Nueva York: Palgrave Macmillan.

Triana, A., y Velásquez, A. (2014). Comunicación asertiva de los docentes y clima emocional del aula en preescolar. Voces y Silencios: Revista Latinoamericana de Educación, 5(1), 23-41. Recuperado de: https://goo.gl/3t4Lwc.

Tunstall, P., y Gipps, C. (1996). Teacher feedback to young children in formative assessment: A typology. British Educational Journal, 22 (4), 389-404. doi: 10.1080/0141192960220402.

Valdivia, S. (2014). Retroalimentación efectiva en la enseñanza universitaria. En Blanco y Negro, 5(2), 20-24. Recuperado de: https://goo.gl/iK7De9.

Villegas, M., González, G., y Gallardo, K. (2018). Aplicación de un modelo de retroalimentación como estrategia de evaluación formativa en educación superior. Revista de Investigación Educativa, 8(16), 88-94. Recuperado de: https://bit.ly/2P1FZIE.

von Bertalanffy, L. (1940). Der Organismus als physikalisches System betrachtet. Naturwissenschaften, 28(33), 521-531.

Wiggins, G. (1989). The futility of trying to teach everything of importance. Educational Leadership, 47(3), 44-48,57-59. Recuperado de: https://bit.ly/31sjuEL.

Wiggins, G. (1992). Creating tests worth taking. Educational Leadership, 49, 26-33. Recuperado de: shorturl.at/gjDX1.

Wiggins, G. (2011). Giving students a voice: The power of feedback to improve teaching. Educational Horizons, 89(3), 23-26. doi: 0.1177/0013175X1108900406.

Yaghmaie, F. (2003). Content validity and its estimation. Journal of Medical Education, 3(1), 25-27. doi 10.22037/jme.v3i1.870.

Published

2020-07-02

How to Cite

Berlaga Ramírez, M. de la L., & Juárez Hernández, L. G. (2020). Design and validation of an instrument to evaluate assertive feedback in Normal Education. IE Revista De Investigación Educativa De La REDIECH, 11, e791. https://doi.org/10.33010/ie_rie_rediech.v11i0.791