3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
17
EMPLEO DEL EXCEL PARA EL PROCESAMIENTO DE LOS
CRITERIOS DE EXPERTOS MEDIANTE EL MÉTODO DE
EVALUACIÓN DE COMPARACIÓN POR PARES
USE OF EXCEL FOR PROCESSING EXPERT CRITERIA USING THE
PEER REVIEW METHOD
Ivonne Burguet Lago
Profesora Titular, Universidad de las Ciencias Informáticas, (Cuba).
E-mail: iburguet@uci.cu ORCID: https://orcid.org/0000-0002-8155-8123
Nancy Burguet Lago
Investigadora Titular, Empresa Laboratorios AICA, (Cuba).
E-mail: nburguet@uci.cu ORCID: https://orcid.org/0000-0002-4413-1294
Recepción:
17/09/2020
Aceptación:
23/11/2020
Publicación:
29/12/2020
Citación sugerida:
Burget, I., y Burguet, N. (2020). Empleo del Excel para el procesamiento de los criterios de expertos mediante el
método de evaluación de comparación por pares. 3C TIC. Cuadernos de desarrollo aplicados a las TIC, 9(4), 17-43. https://
doi.org/10.17993/3ctic.2020.94.17-43
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
18
https://doi.org/10.17993/3ctic.2020.94.17-43
RESUMEN
En las investigaciones educativas, al aplicar métodos de evaluación de criterio de experto, muchos
profesionales requieren de ayuda para el procesamiento de la información que brindan los expertos.
A partir de esta situación surge la idea de fundamentar, en el presente artículo, la aplicabilidad de un
grupo de ficheros MS-Excel para el procesamiento de los criterios de expertos mediante el método de
evaluación de Comparación por pares.
El análisis documental posibilitó el estudio de resultados de investigación en los que se refleja información
acerca del método objeto de estudio. La aplicabilidad de los ficheros MS-Excel fue constatada en la
práctica mediante los resultados de las actividades evaluativas, la encuesta y el test de satisfacción,
aplicados al finalizar las diferentes formas organizativas de superación profesional en modalidad
presencial y a distancia. Se empleó, de la estadística, la técnica de Iadov y el cálculo porcentual para
procesar la información ofrecida por los cursistas a través de las técnicas empleadas.
Las herramientas de trabajo en sistemas Windows que se brindan les permite a los investigadores
emplearlas o crearlas una vez que se familiarice con su procedimiento.
PALABRAS CLAVE
Comparación por pares, Criterios de expertos, Excel, Métodos de evaluación, Procesamiento de la
información.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
19
https://doi.org/10.17993/3ctic.2020.94.17-43
ABSTRACT
In educational research, when applying expert judgment evaluation methods, many professionals require assistance in the
stage corresponding to the processing of information provided by experts. From this situation arises the idea to base, in the
present article, the applicability of a group of MS-excel files for the processing of expert criteria through the method of
evaluation of Peer Review.
Documentary analysis made it possible to study research results that reflect information about the method under study. The
applicability of the MS-Excel files was verified in practice through the results of the evaluation activities, the survey and
the satisfaction test, applied at the end of the different organizational forms of professional improvement in face-to-face and
distance mode. The statistics, the Iadov technique and the percentage calculation were used to process the information offered
by the trainees through the techniques employed.
KEYWORDS
Comparison by pairs, Criteria the experts, Excel, Evaluation methods, Information processing.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
20
https://doi.org/10.17993/3ctic.2020.94.17-43
1. INTRODUCCIÓN
Los métodos que permiten recopilar, procesar e interpretar el criterio de los expertos consultados en el
proceso de una investigación se consideran de evaluación de criterios de expertos. La Cualimetría es la
disciplina científica que contempla la evaluación del criterio de experto entre uno de sus procedimientos
metodológicos, y su empleo constituye uno de los criterios para la evaluación de la calidad y la efectividad
de las investigaciones educativas.
Estos métodos son considerados métodos científicos de nivel empírico. En toda investigación donde
se emplean estos métodos está presente el factor subjetivo, a pesar de la precisión de los cálculos
matemáticos (López et al., 2016). El factor subjetivo está presente, en la elaboración de las preguntas del
cuestionario por el investigador, en la autovaloración de conocimientos y de las fuentes de obtención de
estos conocimientos realizadas por los candidatos a expertos.
El método de evaluación de criterios de expertos consta de las etapas siguientes:
1. Elaboración del objetivo.
2. Selección de los expertos.
3. Elaboración del cuestionario.
4. Selección del método de ejecución.
5. Ejecución de la metodología.
6. Procesamiento de la información.
En la etapa de elaboración del objetivo, la finalidad está en correspondencia con el momento de la
investigación en el que se requiere conocer el criterio de expertos. Aunque no es lo más frecuente, es
posible consultar más de un grupo de expertos con propósitos diferentes en una misma investigación.
En la literatura consultada, se evidencia algunos momentos de una investigación en los cuales pueden
aplicarse estos métodos (López, et al., 2016), por ejemplo:
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
21
https://doi.org/10.17993/3ctic.2020.94.17-43
• Antes de antes de comenzar, para la determinación del problema de investigación.
• Durante el desarrollo, para llegar al consenso sobre el sistema conceptual cuando existan
impresiones o escasas referencias, para comprobar la validez de los instrumentos de indagación
empírica que serán aplicados, para evaluar la calidad y efectividad del resultado cientíco
propuesto.
• Al nalizar, para pronosticar lo que puede suceder en la práctica, de aplicarse el resultado cientíco
que se ha obtenido.
Al investigador, como parte de su creatividad, puede surgirle la necesidad de otras finalidades para la
aplicación del método de evaluación de criterio de expertos, antes, durante o al finalizar su investigación.
Para López et al., como para muchos investigadores, se asume el término experto como “…un
individuo, grupo de personas u organizaciones capaces de ofrecer con un máximo de competencia,
valoraciones conclusivas sobre un determinado problema, hace pronósticos reales y objetivos sobre
efecto, aplicabilidad, viabilidad y relevancia que pueda tener en la práctica la solución que se propone y
brindar recomendaciones de qué hacer para perfeccionarla” (2016, p. 20).
En la etapa de la selección de los expertos, existe un procedimiento que consta de cuatro pasos:
determinación de la cantidad de candidatos a expertos, confección del listado de candidatos a expertos,
consentimiento del candidato a experto en su participación y la determinación de los expertos.
Con respecto al número de expertos se plantea que “Si bien es importante la cantidad, es determinante
su adecuada selección” (Crespo, 2007, p.25; López et al., 2016; p.103). Seleccionar una cantidad pequeña
de expertos exagera el papel de cada uno de ellos. A su vez, seleccionar una cantidad muy grande, resulta
un tanto difícil la opinión concordante.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
22
https://doi.org/10.17993/3ctic.2020.94.17-43
Para la selección de la cantidad de expertos se sugiere tener en cuenta la relación entre la cantidad de
expertos y el error que se comete en la decisión del criterio, así como el método de ejecución que se
pretende utilizar para el procesamiento de la información.
El número óptimo de expertos a seleccionar debe de estar entre 15 y 30; la fundamentación de dicho
criterio tiene su explicación desde el año 1969, donde Dalkey expresa que el error en la decisión del
criterio de experto se mide en una escala logarítmica (1969, p. 7).
Este intervalo representa de un 5% a un 1% de error en la decisión del criterio de experto y por lo
tanto un nivel de confiabilidad de un 95% a un 99%, al criterio que obtendrá ante el supuesto de que se
procedió de manera correcta en todas las etapas del método.
El criterio de búsqueda fundamental, para la confección del listado de candidatos a expertos, consiste
en la relación que existe entre la formación del candidato y la temática para la cual se le va a considerar
experto. Entre las cualidades debe estar presente la ética profesional, su capacidad de análisis y su
independencia de criterios. Se debe considerar el consentimiento del candidato a experto y posibilidad
real de participación.
El cuarto paso se refiere a la determinación de los expertos, en el cual se procesa la información aportada
por los posibles candidatos con el fin de determinar su nivel de competencia para el tema en que serán
considerado sus criterios. Se establece el listado final de expertos y se les informa sobre su participación
en el momento de la investigación que requiere de sus criterios.
Entre los métodos más empleados para determinar la competencia de los expertos se encuentran: la
autovaloración, la efectividad de la actividad profesional y el coeficiente de competencia K. Este último
método constituye una metodología completa para la determinación de la competencia de los expertos,
aprobada en febrero de 1971 por el Comité Estatal para la Ciencia y la Técnica de la antigua URSS
para la elaboración de pronósticos científico-técnico.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
23
https://doi.org/10.17993/3ctic.2020.94.17-43
En la etapa del cuestionario debe aplicarse los principios de la teoría de la comunicación. Los tipos de
preguntas (cerradas y/o abiertas) y sus correspondientes escalas de medición de las respuestas (nominal
u ordinal), resultan aspectos fundamentales en la selección del método para el procesamiento estadístico
de los criterios de los expertos (Mesa, Fleitas y Vidaurreta, 2015). Se sugiere solicitar al experto que
exponga sus argumentos, para ello deben aparecer ítem de selección con su respectiva argumentación
sobre: cambios, adiciones y supresiones (modificar, agregar o eliminar).
Entre los métodos para recoger y procesar los criterios de los expertos se encuentran: Comparación
por pares, Preferencia y el método Delphi o Delphy, conocido también como Delfos. Cada uno de estos
métodos tiene su propia metodología de ejecución, pero todos tienen común, en dicha metodología,
ejecutar las seis etapas del método de evaluación de criterios de expertos.
En la etapa del procesamiento de la información obtenida se realiza el análisis matemático y estadístico
a partir de las técnicas del diseño experimental paramétrico y no paramétrico, los que permiten obtener
el grado de concordancia de las opiniones de los expertos.
Los instrumentos elaborados para recoger y procesar los criterios de expertos deben estar en
correspondencia con el método seleccionado para procesarlos. Los métodos de Comparación por pares
y de Preferencia, son de los métodos de evaluación de criterios de expertos que pueden ser seleccionados
en la etapa de selección y ejecución del método. Ambos tienen la peculiaridad de ser los más empleados
también en la etapa de procesamiento de otros métodos de ejecución, como por ejemplo del método
Delphi.
Los procesamientos estadísticos de ambos métodos se pueden hacer mediante asistentes estadísticos,
hojas de cálculo y de forma manual.
Muchos profesionales requieren de ayuda para el procesamiento estadístico de la información que
brindan los expertos con respecto a su autovaloración para la determinación del nivel de competencia, en
la etapa de selección de los expertos y para el análisis de sus criterios en la etapa del procesamiento de la
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
24
https://doi.org/10.17993/3ctic.2020.94.17-43
información, razón por la cual el objetivo del presente artículo consiste en fundamentar la aplicabilidad
de un grupo de ficheros MS-Excel para el procesamiento de los criterios de expertos mediante el método
de evaluación de Comparación por pares, de manera tal, que le sirva de guía para su investigación.
2. METODOLOGÍA
El análisis documental posibilitó el estudio de resultados de investigación en los que se refleja información
acerca de la metodología de ejecución del método de Comparación por pares para la evaluación de
criterios de expertos.
Los procesamientos estadísticos de ambos métodos se pueden hacer mediante asistentes estadísticos,
hojas de cálculo y de forma manual. Se seleccionó la hoja de cálculo de Excel, la cual no requiere de
conocimientos matemáticos ni estadísticos avanzados, para su empleo (Pérez, 2006).
Se considera como característica de la población ser graduado de nivel superior y egresado de alguna
de las formas organizativas de superación profesional, en las cuales se aplican los ficheros MS-Excel
propuestos para el procesamiento de los criterios de expertos mediante el método de evaluación de
Comparación por pares.
Como parte de la Escuela internacional de invierno 2018, que oferta la Universidad de las Ciencias
Informáticas de la Habana, Cuba, se impartió el Curso de posgrado “Empleo del método Delphi y
las pruebas no paramétricas en las investigaciones pedagógicas”. En el marco de la 33 Reunión
Latinoamericana de Matemática Educativa, celebrada en el 2019, se impartió la conferencia titulada
“Métodos cualimétricos en las investigaciones de Matemática Educativa”. Al finalizar ambas formas,
se empleó como método empírico el test de satisfacción y como método estadístico la técnica de Iadov
para procesar la información ofrecida por los cursistas con respecto al fichero MS-Excel creado para
la determinación del nivel de competencia de los expertos mediante el método del Coeficiente de
competencia K.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
25
https://doi.org/10.17993/3ctic.2020.94.17-43
En el año 2020, en la modalidad educativa a Distancia, en el espacio de la Escuela internacional de verano
2020, que ofertó la Universidad de las Ciencias Informáticas, se impartió el curso de posgrado “Métodos
de evaluación de criterio de expertos”. Durante el desarrollo del curso para valorar la usabilidad del
conjunto de ficheros MS-Excel propuestos, se analizaron los resultados obtenidos por los cursistas en
las actividades evaluativas de los temas del curso y mediante la técnica de Iadov se conoció el nivel de
satisfacción de una muestra de diez (47,6%) cursistas seleccionados de manera aleatoria.
Al finalizar el curso la Dirección de Formación de Posgrado de dicha Universidad, aplicó una encuesta
de satisfacción. Se empleó de la estadística descriptiva la moda y el cálculo porcentual, para valorar
los criterios emitidos por los cursistas respecto a los indicadores referidos a la calidad de los recursos
empleados, la satisfacción con el curso y el cumplimiento de sus expectativas.
3. RESULTADOS
3.1. RESULTADOS DEL ANÁLISIS DOCUMENTAL
El procesamiento de los criterios de los expertos, mediante el método de Comparación por pares puede
ser empleado cuando la escala valorativa es ordinal y el número de expertos garantice una distribución
de frecuencias normal o una aproximación a la distribución normal.
Con respecto al número de expertos para la aplicación de este método, existen varios criterios: unos autores
proponen que el número sea mayor e igual que 30 expertos, considerando esta cantidad suficientemente
grande para justificar la aproximación a la distribución normal, ya que se utilizan métodos estadísticos
donde se aplica la distribución normal o la función inversa de esta distribución(López, et al.,2016); otros
autores son del criterio de que el número de expertos a seleccionar, debe ser equivalente a cinco veces
la cantidad de categorías que se declaran para la valoración de los indicadores (Cruz, 2006; Pérez,
Hernández y Colado, 2013; citados por Enrique y Peña, 2018).
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
26
https://doi.org/10.17993/3ctic.2020.94.17-43
Estudios realizados recomiendan considerar un número impar de categorías en la escala ordinal, siendo
siete el óptimo, sin embrago, para este método se sugiere emplear cinco categorías (Campistrus y Rizo,
1998).
En caso de no considerar una cifra de 30 o más expertos, se debe garantizar la normalidad de la
distribución. Enrique y Peña (2018) fundamentan una alternativa práctica que consiste en el análisis de
la asimetría y la curtosis como prueba de normalidad para la determinación de la cantidad de expertos
cuando se pretenda emplear el método de Comparación por pares en la etapa del procesamiento de la
información.
El criterio de expertos tendrá un nivel de confiabilidad en dependencia de la cantidad de expertos
seleccionados (Figura 1):
Figura 1. Relación entre la cantidad de expertos y el error que se comete en la decisión.
Fuente: elaboración propia.
• 10 expertos seleccionados – 90% de conabilidad.
• 15 expertos seleccionados – 95% de conabilidad.
• 30 expertos seleccionados – 99% de conabilidad.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
27
https://doi.org/10.17993/3ctic.2020.94.17-43
Existen dos procedimientos para el cálculo del coeficiente de competencia K, en ambos casos, los cálculos
consisten en un algoritmo sencillo y fácil de automatizar.
• Primer procedimiento:
Se emplea antes de someter a su valoración los resultados de la investigación y para candidatos que
tienen experiencia como expertos en la valoración de resultados de otras investigaciones y en los que se
presentan por primera vez. Se obtiene por la fórmula:
, donde:
Kc: coeficiente de conocimiento o información que tiene el experto acerca del problema. Calculado
sobre la valoración del propio experto en una escala del 0 al 10 y multiplicado por 0,1; de esta forma, la
evaluación “0” indica que el experto no tiene absolutamente ningún conocimiento de la problemática
correspondiente, mientras que la evaluación “10” significa que el experto tiene pleno conocimiento de
la problemática tratada. Entre estas dos evaluaciones extremas hay nueve intermedias.
Ka: es el coeficiente de argumentación o fundamentación de los criterios del experto. El coeficiente de
argumentación se determina como resultado de la suma de los puntos alcanzados a partir de una tabla
patrón (Tabla 1), la cual ofrece una escala tipo Likert con una medida cualitativa ordinal en términos de
alto, medio y bajo. La tabla se les presenta sin cifras orientándoles que marquen con una (x) las fuentes
que han influido más en sus conocimientos sobre el tema de acuerdo con los niveles establecidos.
Tabla1. Tabla patrón para el cálculo del coeficiente de argumentación.
Fuentes de argumentación
Grado de inuencia de cada una de las fuentes
Alto (A) Medio (M) Bajo (B)
1. Investigaciones teóricas y/o experimentales
relacionadas con el tema.
0,3 0,2 0,1
2. Experiencia obtenida en la actividad profesional
(pregrado y posgrado).
0,5 0,4 0,2
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
28
https://doi.org/10.17993/3ctic.2020.94.17-43
3. Análisis de la literatura especializada y publicaciones
de autores nacionales.
0,05 0,05 0,05
4. Análisis de la literatura especializada y publicaciones
de autores extranjeros.
0,05 0,05 0,05
5. Conocimiento del estado actual de la problemática en
el país y en el extranjero.
0,05 0,05 0,05
6. Intuición. 0,05 0,05 0,05
TOTAL 1 0,8 0,5
Supongamos que un experto se autoevaluó, según las fuentes que han influido más en sus conocimientos
sobre el tema, en un nivel alto los indicadores 1, 4 y 5, el resto de los indicadores en un nivel medio.
Entonces, para este experto según la tabla patrón, Ka = 0,3 + 0,4 + 0,05 + 0,05 + 0,05 + 0,05 = 0,90.
Aunque no resulta lo más usual, existen investigaciones en la cuales se modifican las fuentes de
argumentación en función del objeto de la investigación o en función del peso que se requiere para la
valoración de cada una de las fuentes de argumentación.
Burguet, Rodríguez y Jorge proponen las funciones definidas para la determinación del nivel de
competencia de los expertos, mediante el primer procedimiento del método del coeficiente de
competencia K (2019, p. 121).
• Segundo procedimiento:
Se emplea después de someter a su valoración los resultados de la investigación y solo para candidatos
que tienen experiencia como expertos en la valoración de resultados de otras investigaciones. Se obtiene
mediante la fórmula:
, donde
Ka: coeficiente de competencia absoluta. Se determina por la relación entre el número de casos en que
el experto evaluó correctamente el desarrollo futuro de investigaciones y el número total en que él mismo
ha participado como experto.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
29
https://doi.org/10.17993/3ctic.2020.94.17-43
Por ejemplo si el experto ha participado en 15 valoraciones de resultados y en 6 de estos se han confirmado
sus puntos de vista, entonces:
Kr: coeficiente de competencia relativa. Se determina por la relación de la competencia absoluta del
experto y la efectividad absoluta media del grupo de expertos.
La efectividad absoluta media del grupo de expertos se calcula mediante la fórmula:
, 1 ≤ i ≤ m, m representa el número de expertos.
Por lo tanto:
El nivel de competencia del experto toma un valor comprendido en el intervalo cerrado [0,5; 1]. Según
la tabla patrón, el experto que se autovalore en el nivel bajo todas las fuentes de argumentación, estas
suman 0,5 por lo cual su nivel de competencia es considerado bajo. Procediendo de forma similar, el
experto que se autovalore en los niveles medio las fuentes de argumentación, la suma es de 0,8. Razón
por la cual las autoras asumen como criterio de decisión los intervalos:
• Si 0,8 < K ≤ 1 entonces competencia alta.
• Si 0,5 < K ≤ 0,8 entonces competencia media.
• Si K ≤ 0,5 entonces competencia baja.
El coeficiente de competencia promedio consiste en la sumatoria del nivel de competencia de todos los
expertos dividido por el número de expertos, o sea se calcula mediante la expresión:
, 1 ≤ i ≤ m, m representa el número de expertos.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
30
https://doi.org/10.17993/3ctic.2020.94.17-43
Si el coeficiente de competencia promedio de todos los posibles expertos es alto, podría analizarse la
posibilidad de utilizar a los candidatos de categoría medio en el grupo de expertos.
Para declarar que el grupo de expertos seleccionado presenta distribución normal o buena aproximación
a dicha distribución, una vez calculado el coeficiente de competencia K, se procede al análisis de los
coeficientes de asimetría y curtosis (Enrique y Peña, 2018).
Cuando el valor del coeficiente de asimetría pertenece al intervalo abierto de (-0,3; 0,3) la distribución
de frecuencias presenta buena aproximación a la normal. En el caso que el valor sea cero, la distribución
de frecuencia es normal.
Cuando el valor del coeficiente de curtosis pertenece al intervalo abierto de (0,263; 0,363) la distribución
de frecuencias presenta buena aproximación a la normal. En el caso que el valor sea cero, la altura de la
distribución de frecuencias coincide con la altura de la distribución normal.
Una vez que esté garantizada la normalidad de la distribución, Comparación por pares es un método
matemático que está científicamente fundamentado desde los presupuestos de la psicología social, de
la medición y de la estadística; razón por lo cual, se puede determinar con rigor estadístico, el nivel de
escala para cada indicador a partir de los criterios de los expertos respecto a los indicadores valorados
(Campistrous y Rizo, 1998; López et al., 2016; Enrique y Peña, 2018).
La metodología de ejecución del método consiste en la entrega a cada experto de una tabla de contingencia
(doble entrada) en la que están ubicados los indicadores a evaluar, cada celda de la tabla guarda relación
con los indicadores comparados y en ella se marca la que a juicio del experto mejor se refleja o manifiesta
el resultado objeto de evaluación (Gorina, 2014).
El procesamiento de los criterios de expertos mediante el método de Comparación por pares consta de
seis pasos:
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
31
https://doi.org/10.17993/3ctic.2020.94.17-43
• Primer paso: construir la tabla de frecuencia absoluta u observada.
Se coloca en una tabla de doble entrada la cantidad de expertos por categorías en cada indicador. El
método requiere pasar a probabilidades, por lo cual es conveniente introducir frecuencias relativas y
como se necesita utilizar la distribución normal es conveniente que esas frecuencias relativas se calculen
sobre frecuencias acumuladas (Campistrous y Rizo, 1998; López et al., 2016).
• Segundo paso: construir la tabla de frecuencias acumuladas:
El valor de cada celda de la tabla se obtiene de la suma de la frecuencia correspondiente a un dato y la
suma de los datos anteriores.
• Tercer paso: construir la tabla de frecuencias relativas acumuladas:
Para construir esta tabla, se divide el valor de cada celda de la tabla de frecuencias acumuladas entre el
número de expertos consultados. El cociente de esa división debe aproximarse hasta la diez-milésima.
La última columna puede eliminarse, pues como se trata de cinco categorías, se está buscando cuatro
puntos de cortes.
• Cuarto paso: construir la tabla de valores correspondientes con la tabla de distribución normal
estándar.
• Quinto paso: determinar los puntos de corte.
Los puntos de corte sirven para determinar los valores límites de la categoría de cada indicador según
los criterios de los expertos consultados. Es el promedio relativo a cada categoría (columna). Se obtienen
al dividir la suma de los valores correspondientes a cada categoría (columna) entre la cantidad de
indicadores (filas).
N: es el resultado de dividir la sumatoria de las sumas entre el producto del número de categorías por
el número de indicadores. La sumatoria de las sumas de los valores correspondientes a cada categoría
coincide con la sumatoria las sumas de los valores correspondientes a cada indicador, por lo cual basta
con tomar una de las dos.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
32
https://doi.org/10.17993/3ctic.2020.94.17-43
P: representa la media aritmética de las imágenes inversas en cada fila.
N – P: valor promedio que le otorgan los expertos a cada indicador.
• Sexto paso: conclusiones acerca de cada indicador.
A partir de los intervalos obtenidos mediante los puntos de corte, se analiza el valor obtenido de N-P por
cada indicador para concluir la categoría que le fue asignada.
Burguet, Rodríguez y Jorge (2019), para valorar la usabilidad de las tecnologías propuestas muestran
los resultados mediante la técnica de Iadov, del test de satisfacción aplicado a los cursistas del curso de
postgrado titulado “Empleo del método Delphi y las pruebas no paramétricas en las investigaciones
pedagógicas” y a los participantes en la conferencia titulada “El método Delphi para la evaluación de los
criterios de expertos”. El índice de satisfacción grupal pertenece a la categoría “máximo de satisfacción”,
lo cual permitió afirmar la aplicabilidad del fichero MS-Excel como herramienta de Windows para la
determinación del nivel de competencia de los expertos, mediante el primer procedimiento del método
de coeficiente de competencia K.
3.2. DETERMINACIÓN DEL COEFICIENTE DE COMPETENCIA K, MEDIANTE UNA HOJA
DE CÁLCULO EXCEL
En la Figura 2 se muestra una propuesta de hoja de cálculo Excel, para realizar los cálculos correspondientes
al primer procedimiento del método de coeficiente de competencia K para la determinación del nivel
de competencia de los expertos.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
33
https://doi.org/10.17993/3ctic.2020.94.17-43
Figura 2. Hoja de cálculo Excel para la determinación del nivel de competencia de los expertos mediante el primer procedimiento
del método del coeciente de competencia K.
Fuente: elaboración propia.
En las hojas de cálculos, la intersección de una columna y una fila se denomina Celda y se nombra con
la letra de la columna a la que pertenece y a continuación el número de su fila. Cuando el cursor está
posicionado en alguna celda preparado para trabajar con ésta, dicha celda se denomina Celda activa y
se identifica porque aparece más remarcada que las demás (Pérez, 2006).
En la Tabla 2 se proponen las funciones denidas para la determinación del nivel de competencia del
primer experto, a partir del ejemplo que se muestra en la Figura 2. Cada celda correspondiente al
experto 1 pertenece a la la 7, por lo tanto, en las celdas M7 y N7, las funciones denidas para el cálculo
del coeciente de conocimiento (Kc). Para el cálculo del coeciente de argumentación (Ka), las funciones
denidas aparecen en las celdas correspondientes a la la 7 y las columnas AH (V1), AI (V2) y AJ (Ka),
o sea AH7, AI7 y AJ7. Para el cálculo del nivel de competencia (k), se denen las funciones en las celdas
AL7 y AM7.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
34
https://doi.org/10.17993/3ctic.2020.94.17-43
Tabla 2. Funciones para determinar el nivel de competencia del experto ubicado en la la 7, mediante el primer procedimiento.
Cálculo Celdas activas Funciones propuestas
Kc
M7
=SI(C7=”x”;1;SI(D7=”x”;2;SI(E7=”x”;3;SI(F7=”x”;4;SI(G7=”x”;5;SI(H7=”x”;6;SI(I7=”x”;7)))))))
+ SI(J7=”x”; 8; SI(K7=”x”;9;SI(L7=”x”;10;0)))
N7 =M7/10
Ka
AH7 = SI(P7=”x”; 0,3; SI(Q7=”x”;0,2;SI(R7=”x”;0,1;0)))
AI7 = SI(S7=”x”; 0,5; SI(T7=”x”;0,4;SI(U7=”x”;0,2;0)))
AJ7 =0,2+SUMA(AH7:AI7)
K AL7 =0,5*(N7+AJ7)
Nivel AM7 =SI(AL7>0,8;”Alta”;SI(AL7=<0,5;”Baja”;”Media”))
Para el cálculo del nivel de competencia del resto de los expertos, se sustituye en las funciones sólo los
números de las las correspondientes. Las columnas M (Vc), AH(V1) y AI(V2) se pueden “ocultar”, que
no se afectan los cálculos.
En el ejemplo de la Figura 2, el coeficiente de competencia promedio de todos los posibles expertos es
0,82 que corresponde a la categoría alto, podría analizarse la posibilidad de utilizar a los candidatos a
expertos evaluados de la categoría media en el grupo de expertos.
Para el análisis de la normalidad, en el ejemplo de la Figura 2, se activa cualquiera de las celdas de la
hoja de cálculo Excel que aparezca vacía, se selecciona la categoría estadística y se hallan las funciones
coeficiente de asimetría y curtosis (Tabla 3):
Tabla 3. Funciones para determinar los coecientes de asimetría y de curtosis.
Cálculo Celda activa Función propuesta
Asimetría D7 =COEFICIENTE.ASIMETRIA(AL7:AL18)
Curtosis AL7 =CURTOSIS(AL7:AL18)
En el ejemplo, se obtiene como resultado del coeficiente de asimetría el valor de 0,4671744 que no
pertenece al intervalo (-0,3; 0,3) y el valor de curtosis es de 3,43826455 que tampoco pertenece al
intervalo (0,263; 0,36).
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
35
https://doi.org/10.17993/3ctic.2020.94.17-43
Por tanto, la distribución de frecuencias no es normal y no presenta buena aproximación a la distribución
de frecuencia normal. En este caso no sería posible aplicar la metodología de Comparación por pares,
para el procesamiento de los criterios que brindan los expertos.
En la Figura 3 se muestra una propuesta de hoja de cálculo Excel, para realizar los cálculos correspondientes
al segundo procedimiento del método de coeficiente de competencia K para la determinación del nivel
de competencia de los expertos.
Figura 3. Hoja de cálculo Excel para la determinación del nivel de competencia de los expertos mediante el segundo procedimiento
del método del coeciente de competencia K.
Fuente: elaboración propia.
En la Tabla 4 se proponen las funciones definidas para la determinación del nivel de competencia del
primer experto. En la Figura 3, cada celda correspondiente al experto 1 pertenece a la fila 7, por lo tanto,
en las celdas B7 y C7, se introducen los datos respecto a la cantidad de participaciones como expertos y
de ellas la cantidad de casos evaluados correctamente. Para el cálculo de competencia absoluta (Ka), la
función que se define aparece en la celda correspondiente a la fila 7 y a la columna D(Ka). Para el cálculo
del coeficiente de competencia relativa (Kr), primero debe obtenerse la efectividad absoluta media del
grupo, en la Figura 3 aparece en la celda J7 y a partir de ese valor entonces se calcula Kr mediante
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
36
https://doi.org/10.17993/3ctic.2020.94.17-43
la función correspondiente a la celda E7. Para el cálculo del nivel de competencia (k), se definen las
funciones en las celdas F7 y G7.
Tabla 4. Funciones para determinar el nivel de competencia del experto ubicado en la la 7, mediante el segundo procedimiento.
Cálculo Celdas activas Funciones propuestas
KA D7 =C7/B7
Kr
J7 =PROMEDIO(D7:D16)
E7 =D7/J7
K AL7 =0,5*(D7+E7)
Nivel AM7 =SI(F7>0,8;”Alta”;SI(F7=<0,5;”Baja”;”Media”))
Para el cálculo del nivel de competencia del resto de los expertos, se sustituye en las funciones sólo los
números de las filas correspondientes. La efectividad absoluta media del grupo, en la Figura 3 la celda
J7, corresponde a la función promedio =PROMEDIO (D7:D18) en D18 se debe sustituir el 18 por el
número de la fila correspondiente al último experto.
En el ejemplo de la Figura 3, el coeficiente de competencia promedio de todos los posibles expertos
es 0,78 que corresponde a la categoría medio, lo cual no es aconsejable considerar a los expertos de
categoría media en el grupo de expertos.
3.3. DETERMINACIÓN DE LOS PUNTOS DE CORTE, MEDIANTE UNA HOJA DE
CÁLCULO EXCEL
En la Figura 4 se muestra un ejemplo de hoja de cálculo Excel, que permite el procesamiento de la
información mediante el método de Comparación por pares, en este caso para la valoración por 30
expertos de tres indicadores en una escala ordinal de cinco categorías.
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
37
https://doi.org/10.17993/3ctic.2020.94.17-43
Figura 4. Hoja de cálculo Excel para la determinación de los puntos de corte.
Fuente: elaboración propia.
Sobre la base de la Figura 4, se presenta en la Tabla 5 las funciones definidas para la determinación
de los puntos de cortes por categorías y del valor correspondiente a N considerando en este caso la
sumatoria de las sumas de los valores correspondientes a cada indicador. En la Tabla 6 se definen las
funciones para el caso del indicador 1, para el resto de los indicadores, se sustituye en las funciones la
celda correspondiente.
Tabla 5. Funciones para determinar los puntos de corte y el valor de N.
Celda
activa
Funciones propuestas
Variante 1 Variante 2
Puntos de
corte
H12 =PROMEDIO(H9:H11) =SUMA(H9:H11)/3
I12 =PROMEDIO(I9:I11) =SUMA(I9:I11)/3
J12 =PROMEDIO(J9:J11) =SUMA(J9:J11)/3
K12 =PROMEDIO(K9:K11) =SUMA(K9:K11)/3
Sumatoria
de las sumas
L14 =SUMA(L9:L11) =L9+L10+L11
N G14 =L14/(5*3)
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
38
https://doi.org/10.17993/3ctic.2020.94.17-43
Tabla 6. Funciones para la valoración del indicador 1.
Tablas
Celdas
activas
Functiones propuestas
Variante 1
Variante 2
Frecuencias
observadas
G3 =SUMA(B3:F3)
Frecuencias
acumuladas
J9 =B3
C9 =SUMA(B3:C3) =B3+C3
D9 =SUMA(B3:D3) =B3+C3+D3
E9 =SUMA(B3:E3) =B3+C3+D3+E3
F9 =SUMA(B3:F3) =B3+C3+D3+E3+F3
Frecuencias
relativas
acumuladas
B15 =COCIENTE(B15;G3) =B15/G3
C15 =COCIENTE(C15;G3) =C15/G3
D15 =COCIENTE(D15;G3) =D15/G3
E15 =COCIENTE(E15;G3) =E15/G3
F15 =COCIENTE(F15;G3) =F15/G3
Valores de la
distribución
normal
H9 =DISTR.NORM.ESTAND.INV(B9)
I9 =DISTR.NORM.ESTAND.INV(C9)
J9 =DISTR.NORM.ESTAND.INV(D9)
K9 =DISTR.NORM.ESTAND.INV(E9)
Suma L9 =SUMA(H9:K9) =H9+I9+J9+K9)
P M9 =PROMEDIO(H9:K9) =L14/4
N-P
N9 =G14-M9
Conclusiones O9
=SI(N9<=H12;”Cat1”;SI(N9<=I12;”Cat2”;
SI(N9<=J12;”Cat3”;SI(N9<=K12;”Cat4”))))
3.4. RESULTADOS DE LAS INDAGACIONES EMPÍRICAS PARA LA VALORACIÓN DE LOS
FICHEROS MS-EXCEL
En el curso “Métodos de evaluación de criterio de expertos”, impartido en modalidad a Distancia
en el presente año, se propuso para la actividad evaluativa del tema 1 realizar el procedimiento para
la determinación de la competencia de los expertos mediante los dos procedimientos del método de
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
39
https://doi.org/10.17993/3ctic.2020.94.17-43
coeficiente de competencia K. Los resultados fueron un 66,6% evaluado de excelente y el resto de los
cursistas evaluados de bien.
Para la actividad evaluativa del tema 2 debían realizar el procesamiento del criterio de los expertos
mediante el método de Comparación por pares, resultando evaluados de excelente el 85,7% de los
estudiantes.
Al finalizar cada actividad evaluativa, con el propósito de valorar el nivel de satisfacción, se aplicó a la
muestra seleccionada la técnica de Iadov, en la que se les propuso como en el test las siguientes preguntas
cerradas fueron:
• Al nalizar la primera actividad evaluativa:
¿Considera usted que se favorece el procedimiento para la determinación de la competencia de los
expertos con el empleo del fichero MS-Excel como herramienta de Windows?
Sí ___ No sé ___ No ___
¿Después de realizar la tarea puede evaluar de adecuado el empleo del fichero MS-Excel como
herramienta de Windows para la determinación de la competencia de los expertos?
Sí ___ No sé ___ No ___
¿Le satisface el nivel de usabilidad del fichero MS-Excel como herramienta de Windows para la
determinación de la competencia de los expertos?
Sí ___ No sé ___ No ___
• Al nalizar la segunda actividad evaluativa:
¿Considera usted que se favorece el procedimiento para el procesamiento del criterio de los expertos con
el empleo del fichero MS-Excel como herramienta de Windows?
Sí ___ No sé ___ No ___
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
40
https://doi.org/10.17993/3ctic.2020.94.17-43
¿Después de realizar la tarea puede evaluar de adecuado el empleo del fichero MS-Excel como
herramienta de Windows para el procesamiento del criterio de los expertos?
Sí ___ No sé ___ No ___
¿Le satisface el nivel de usabilidad del fichero MS-Excel como herramienta de Windows para el
procesamiento del criterio de los expertos?
Sí ___ No sé ___ No ___
En ambos casos el índice de satisfacción grupal obtenido (0,8 y 0,9 respectivamente), pertenece a la
categoría “máximo de satisfacción”, lo cual permitió afirmar la aplicabilidad del conjunto de ficheros
MS-Excel propuestos.
La dirección de formación de posgrado de la Universidad de las Ciencias Informáticas, al culminar
el curso “Métodos de evaluación de criterio de expertos”, aplicó de manera virtual una encuesta de
satisfacción al 100% de los cursistas. El instrumento contaba con una escala ordinal en los valores de
1(mínimo posible) a 5 (máximo posible). Los indicadores correspondientes a la calidad de los recursos
empleados, la satisfacción con el curso y el cumplimiento de las expectativas fueron evaluados en la
máxima categoría por el 100% de los cursistas.
4. CONCLUSIONES
Se brinda una forma didáctica, mediante una hoja de cálculo Excel, que facilita el procesamiento
estadístico para la determinación del nivel de competencia de los expertos y la valoración cualitativa
de los indicadores según el criterio de los expertos, sin necesidad de ser especialista en el área de la
matemática y de la estadística.
Para el procesamiento de los criterios de los expertos mediante el método de Comparación por pares, se
debe aplicar una escala ordinal preferiblemente de cinco categorías y se deben seleccionar no menos de
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
41
https://doi.org/10.17993/3ctic.2020.94.17-43
30 expertos, o probar la normalidad de la distribución. A medida que aumenta la cantidad de expertos,
disminuye el error de la decisión que se tome y por lo tanto será mayor el nivel de confiabilidad y la
aproximación a una distribución normal.
El nivel de satisfacción de los participantes en las diferentes formas organizativas de superación, donde se
emplearon los ficheros MS-Excel para el procesamiento de los criterios de expertos mediante el método
de evaluación de Comparación por pares, evidencian su aplicabilidad.
Las dificultades que presentan algunos investigadores para la aplicación del método de evaluación de
criterios de experto Comparación por pares, pueden ser superadas con la utilización de los ficheros MS-
Excel propuestos en el artículo.
REFERENCIAS BIBLIOGRÁFICAS
Burguet-Lago, I., Rodríguez-Rabelo, A., y Jorge-Chacón, D. (2019). Aplicación de tecnologías
para la determinación de la competencia de expertos. Revista cubana de Ciencias Informáticas, 13(1),
116-126. http://scielo.sld.cu/scielo.php?script=sci_abstract&pid=S2227-18992019000100116
Campistrous-Pérez, L., y Rizo-Cabrera, C. (1998). Indicadores e investigación educativa. Revista
IPLAC. https://es.scribd.com/document/64074105/Campistrous
Dalkey, N. C. (1969). The Delphi Method: an experimental study of group opinion. https://www.rand.
org/pubs/research_memoranda/RM5888.html
Enrique-Hevia, F. M., y Peña-Álvarez, M. (2018). El modelo de comparación por pares en la
metodología Delphi. Revista Pedagogía profesional. 16(2). https://www.researchgate.net/publica-
tion/334307355_El_modelo_de_comparacion_por_pares_en_la_Metodologia_Delphi
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
42
https://doi.org/10.17993/3ctic.2020.94.17-43
Gorina-Sánchez, A. (2014). La gestión de la información cientíca proporcionada por el criterio de ex-
pertos. Ciencias de la Información, 45(2), 39–47. https://www.redalyc.org/pdf/1814/181432443007.
pdf
López, R., Crespo, E., Crespo, T. P., Fadul, J. S., García, M. B., Juca, F. X., Bastidas, M. I.,
y Palmero, D. I. (2016). Expertos y prospectivas en la investigación pedagógica. Editorial Universo Sur.
https://allspace.ucf.edu.cu/index.php/s/aXTaQjaYtypfNwJ#pdfviewer
Mesa-Anoceto, M., Fleitas-Díaz, I., y Vidaurreta-Bueno, R. (2015). Sobre el tratamiento estadís-
tico a los datos provenientes de las opiniones de los expertos en las investigaciones de la Cultura
Física. EFDeportes, 20(210). https://www.efdeportes.com/efd210/tratamiento-estadistico-opinio-
nes-de-expertos.htm
Pérez-González, L. O. (2006). Microsoft Excel: una herramienta para la investigación. MediSur, 4(3),
68-71. http://www.redalyc.org/articulo.oa?id=180019873015
3C TIC. Cuadernos de desarrollo aplicados a las TIC. ISSN: 2254 – 6529 Ed. 35 Vol. 9 N.º4 Diciembre 2020 - Marzo 2021
43
https://doi.org/10.17993/3ctic.2020.94.17-43
