Comenta Tenbrink (1998), que hay tres premisas que deben considerarse, al realizarse evaluaciones, acerca del individuo y lo que ocurre cuando se le observa:
- Los individuos tienen capacidades que se pueden medir. “Cuando estamos midiendo damos por supuesto que los individuos que estamos observando tienen una cierta cantidad de la capacidad que medimos” (Tenbrink 1998); la información que se deriva de estas observaciones se utiliza para estimar la verdadera capacidad o puntuación del individuo.
- La observación contiene error, es decir la observación de un individuo no es la misma que su puntuación real, es decir, erramos cuando medimos.
- Una puntuación observada se compone de una puntuación real, más un error o sea que nunca se puede saber con seguridad cuál es la puntuación real de una persona o cuánto error hay implicado en una medida dada. Explica que existen dos clases de error, el que se asocia normalmente al error de medición (no a la fiabilidad) y el que se produce porque la información no es apropiada para los juicios y decisiones que se han de hacer (no a la validez).
Retomando los criterios del mismo autor se puede decir que existen ciertos principios que permiten identificar a los errores y por lo tanto prevenir, eliminar o reducir las fuentes de error: el primer principio dice que las fuentes de error se pueden identificar y que existen por ejemplo en el instrumento de recogida de datos contribuyendo a la falta de fiabilidad o de validez. Algunas referentes a esto son: un contenido inapropiado, que no responda a los propósitos que se desean medir en el documento; la dificultad en los ítems, a veces estos no responden a la edad de los sustentantes, ni a sus capacidades; la ambigüedad en los elementos de la prueba, puede suceder que la forma como se elaboran las instrucciones o las preguntas no son lo claras que debieran ser; la cantidad de información, ésta debe ser lo suficientemente larga para medir lo que se desea y reconocer la consistencia en las respuestas dadas. Otra fuente de error se encuentra en el proceso de recogida de información por ejemplo: la aplicación del test ya que las instrucciones que emite quien aplica el test pueden no ser claras y el medio en el que se lleva a efecto, tomando en cuenta que pueden haber distractores; la puntuación y registro de datos, pues es muy fácil cometer errores en la puntuación, pasando por alto algunos datos.
El individuo que se evalúa también puede contribuir al error, algunas de las cuestiones a observar en este caso son: la inestabilidad de los rasgos, ya que las características humanas y psicológicas fluctúan día con día, mes con mes y año con año, muchas de las características que se miden en educación fluctúan mucho cambiando incluso de un día a otro; la respuesta que cada individuo da cuando siente la presión de la aplicación de un test, también puede influir el hecho de que se responda despacio y con exactitud, a gran velocidad o la tendencia de la persona a la que se le aplica a adivinar; también se encuentra en esta categoría la capacidad de realizar el test de quienes lo sustentan y por último la salud en general de quien se somete a este recurso.
Tenbrink (1998) explica, también, que aunque existen los posibles errores que se mencionan en el primer principio, estos se pueden minimizar y de eso se trata el segundo principio precisamente y para ello dice que es importante que quién diseñe una valoración debe referir todas las actividades de evaluación hacia la razón que se quiere medir y estar este proceso acorde con lo planeado, ser claro, conciso y consistente evitando siempre la ambigüedad, conseguir siempre un ejemplo o muestra representativo para ello los individuos de la muestra son individuos que conforman la población que se requiere evaluar y que cualquier resumen de información obtenida de la muestra debe corresponder a un resumen de la misma información obtenida en la población.
Que para obtener una muestra representativa se deben considerar los siguientes criterios:
- Describir a la población (tamaño, individuos de la población y proporción de individuos por clase de individuos en la población).
- Describir una muestra representativa (describir las variables importantes que caracterizan a la población, e indicar la proporción probable de individuos de la población que se deberían incluir en la muestra y el tamaño de la muestra).
- Escoger un procedimiento de muestra apropiado (si se realizó por muestro aleatorio o por cuotas).
- Obtener la muestra.
Un tercer principio nos indica que el error se puede estimar, para ello debemos seguir ciertos procedimientos en los que existen dos estrategias, la primera se refiere a obtener una evidencia empírica de tal forma que hay que comprobar lo dicho comparando los resultados obtenidos en dos momentos distintos y determinar el grado de consistencia de los resultados en uno y otro momento. Alto grado de consistencia sugiere fiabilidad, escasa consistencia supone baja fiabilidad. La segunda estrategia es buscar indicadores.
¿Cómo estimar la fiabilidad y validez de las pruebas? Existen algunos procesos que se deben contemplar uno de ellos es la estabilidad, es decir, la consistencia a lo largo del tiempo (llamado a menudo test-retest). El mismo test se administra en dos momentos distintos a los mismos individuos y se comparan los resultados de las dos aplicaciones, si los resultados son estables habrá consistencia en las puntuaciones de los individuos obtenida en el primero y segundo test.
La equivalencia consiste en que a partir de dos formas distintas de un mismo test aplicado a un grupo de individuos se puedan correlacionar los dos conjuntos de puntuaciones obtenidas. El coeficiente obtenido se denomina de equivalencia.
La fiabilidad del puntuador, cuando se emplean técnicas de observación una fuente de error importante es el observador, por ello es importante que existan dos o más observadores para un mismo grupo de individuos al mismo tiempo, las dos o más informaciones obtenidas se comparan y por tanto una alta proporción de acuerdo indica una alta fiabilidad y lo contrario baja fiabilidad.
Otro aspecto muy importante en estos procesos tiene que ver con la validez, la validez concurrente se utiliza para hacer juicios para calcular la capacidad o rendimiento actual, el procedimiento es el siguiente del mismo grupo de individuos se consiguen dos tipos de informaciones al mismo tiempo; por ejemplo, las puntuaciones del test a validar y la medida de rendimiento que se estima, estas dos informaciones se comparan, la comparación que se realiza es estadística y para ello se utiliza un coeficiente de correlación, llamado coeficiente de validez, cuanto más alto sea el coeficiente, más alta será la validez.
La validez de contenido es un análisis cuidadoso de los elementos de un test para ver si están tratando un contenido adecuado puede dar alguna idea sobre la validez de un instrumento, este procedimiento es útil particularmente como un modo de comprobar la validez de los test de rendimiento.
Hay tres posturas que se pueden tomar aunque exista algún error en los test a) separar, es decir, aceptar la información obtenida la primera vez como verdad, sino que se separa. b) A partir de ello se plantean las hipótesis. c) Confirmar o rechazar las hipótesis.
A partir de las anteriores concepciones se debe definir qué tipo de instrumentos son los que se utilizarán para desarrollar el test, estos pueden ser de observación como los anecdotarios, listas de control y escalas de evaluación y ordenación.
Los de interrogación como el cuestionario, la entrevista, pruebas sociométricas y técnicas proyectivas, ayudan a obtener más sistemática y objetivamente información sobre la percepción de un estudiante de sí mismo y otros.
Los test elaborados por el profesor, son los mejores para obtener una medida de los logros cognitivos de los alumnos y cubren los resultados de aprendizaje especificados por el profesor. Una vez que se ha decidido que información se necesita, cómo y cuándo se planea obtenerla, entonces hay que construir el instrumento concreto que se desea usar. Existen sugerencias generales para construir cualquier instrumento de recogida de información:
- Repasar los cuatro primeros pasos del proceso de evaluación (una situación común a todos los sujetos, conjunto de instrucciones común que gobierna todas las respuestas, conjunto de reglas común para puntuar las respuestas y una descripción numérica de cada realización del sujeto).
- Definir el formato, modo de presentación y modo de respuesta.
- Redactar los ítems, conocer bien la materia, poseer un conjunto de valores educativos racionales, entender a la persona que va a resolver el test.
- Escribir las instrucciones, las cuales deben ser claras, en general las instrucciones deben incluir: una parte alusiva al contenido y formato del instrumento, indicación de lo que se va a hacer con el contenido, explicación describiendo la respuesta que se espera, explicación del uso que se hará de los resultados y explicación de posibles limitaciones.
- Unir y reproducir el instrumento, asegurarse de que todos los ítems deben formar parte del instrumento y que funcionan juntos, que son claros, concisos y libres de inconsistencias y ofrecen una muestra representativa de los elementos que se podrían incluir con propiedad.
- Evaluar el instrumento buscando fallos y probándolos, buscando la validez, fiabilidad y facilidad de uso.