¿Qué son la repetibilidad y la reproducibilidad?

Parte 2: El punto de vista del E11¹

por Neil Ullman

P: Muchos métodos de prueba de las normas ASTM contienen enunciados y valores de repetibilidad y reproducibilidad. ¿Qué variaciones pueden esperarse? ¿Cuál es la desviación estándar para la repetibilidad y reproducibilidad del método?

R: El estudio entre laboratorios es el primer paso para obtener valores de contraste para la repetibilidad y la reproducibilidad de un método de prueba. Es una manera de saber el comportamiento de un método de prueba cuando se realiza en diferentes situaciones.

La norma E691 de ASTM, Práctica para realizar estudios entre laboratorios (ILS por sus siglas en inglés) para determinar la precisión de un método de prueba, es la norma básica que describe la manera de realizar un ILS y obtener valores para las variaciones esperables en las pruebas realizadas en laboratorios típicos. Según se describe en el artículo anterior de esta serie (haga clic aquí para el artículo), que un mismo operador con el mismo equipo tome un cierto número de repeticiones dentro de cada laboratorio en un tiempo muy corto provee una situación ideal, que deberá ser la variación más pequeña entre lecturas. Esto se transforma en la medida de repetibilidad de las mediciones y se representa calculando la desviación estándar de la repetibilidad.

Generalmente sólo se necesita una pequeña cantidad de repeticiones para cada protocolo de prueba en cada laboratorio. Al promediar los resultados de muchos laboratorios nos damos cuenta de cual debería ser el comportamiento de un laboratorio típico. Por supuesto, todo esto depende de la cantidad de laboratorios participantes y del grado en que representen el mundo real de los laboratorios. Entonces, si sólo participan 10 laboratorios, especialmente si han sido los que desarrollaron la norma, puede objetarse el hecho de asumir que cualquier otro laboratorio al azar tendrá igual comportamiento. Este podría ser por cierto el caso de los nuevos métodos.

Cuando ejecutamos el método de prueba en muchos laboratorios diferentes sobre el mismo material, esperamos descubrir todas las variaciones potenciales que puedan ocurrir cuando se utilice el método de prueba. Debido a que ahora tenemos diferentes operadores, diferentes equipos y diferentes condiciones ambientales, se habrán introducidas todas las condiciones intermedias y otras más. De este modo, debemos esperar tener una mayor variabilidad entre los resultados de los diferentes laboratorios. La medida de esta variación mayor debida a las lecturas tomadas entre laboratorios se conoce como desviación estándar de la reproducibilidad.

Una vez más, el problema de interpretar esta variación es que depende de la cantidad de laboratorios que participan. Cuando sólo se utiliza una muy pequeña muestra de todos los laboratorios que pueden realizar el método, debe tenerse la precaución de no creer que estos resultados son típicos de todo lo que pudieron haber hecho todos los laboratorio con la misma prueba. Además, también es importante analizar los resultados para ver si algunos laboratorios siempre tienen un desempeño diferente. A menudo, la principal razón para la variación entre laboratorios es consecuencia de algún tipo de desviación, o diferencia sistemática, que ocurre en uno o más de los laboratorios. Es un problema darse cuenta de esto cuando solamente participa una muy pequeña cantidad de laboratorios (por ejemplo, menos de 10).  

Si utilizamos los términos repetibilidad y reproducibilidad como descriptores de la naturaleza de la variación, entonces esa variación se computa mejor como desviación estándar. Miremos más de cerca cómo se definen estos términos en los ILS.

Cuando los términos r y R se presentaron por primera vez, la idea era brindar una comparación simple aproximada para un caso muy especial en el uso de los resultados de los ILS. El valor de r, llamado el intervalo de repetibilidad, se halla simplemente multiplicando la desviación estándar de la repetibilidad por 2.8, es similar a la estimación estadística de un intervalo de confianza del 95% en la diferencia entre dos lecturas. Entonces, al utilizar r reducimos la jerga estadística. Lo mismo ocurre con R, que es la desviación estándar de la reproducibilidad por 2.8. Con estos cálculos llegamos al intervalo de reproducibilidad, que usamos luego para comparar la diferencia entre un par de resultados de prueba reales que podemos observar de dos laboratorios.

Entonces, estos tipos particulares de intervalos suponen lo siguiente:

• Los datos normalmente están distribuidos, es decir, los laboratorios se eligen al azar de una distribución de laboratorios que tienen aproximadamente la misma variación que los resultados de los ILS.
• Sólo estamos comparando dos lecturas independientes; es decir, dos repeticiones realizadas por un mismo operador o pruebas únicas realizadas en sólo dos laboratorios.
• Una decisión de significación se basa en una probabilidad del 5% de que la diferencia sea sólo una diferencia al azar.
• Que las pruebas en cuestión estén dentro del rango de las realizadas en los ILS.

Algunos otros comentarios a tener en cuenta:

• Como mencioné anteriormente, puede haber desviaciones graves en las pruebas realizadas en los ILS, especialmente cuando sólo participaron unos pocos laboratorios, lo que trae a colación la cuestión de cuanta confianza asignar a la estimación para una muestra en particular.
• La E691 actualmente describe el caso en el que se toman dos muestras. La norma ILS de la International Organization for Standardization(Organización Internacional de Normalización), la ISO 5727, Exactitud (verdad y precisión) de los métodos y resultados de medición, sugiere maneras de comparar muestras de tamaño diferente ya sea para repetibilidad o reproducibilidad basadas en la modificación del multiplicador de la desviación estándar.
• Aquí surge una cuestión. Quizás se desee variar la posibilidad de tomar la decisión de que hay problemas con los resultados; por ejemplo, si desea una posibilidad de 1% de obtener accidentalmente una diferencia tan grande como su intervalo, el valor de 2.8 debería cambiarse a alrededor de 3.6.

Aún más importante resulta el uso de comparación de muestras. Por ejemplo, si se hacen muchas comparaciones en pares, la posibilidad de que una sea diferente al azar aumenta rápidamente.

Ejemplo - estudio de glucosa sérica E691
Para un estudio de glucosa sérica (azúcar en sangre utilizada para controlar la diabetes), ocho laboratorios que realizaron pruebas a cinco muestras de sangre de referencia diferentes, que oscilaban de bajo nivel de azúcar a muy alto nivel, midieron cada material tres veces. En la tabla se muestran las estadísticas clave resumidas (Tabla 11 en E691). La primera columna contiene los promedios de material de muestra, seguidos por la desviación estándar de la repetibilidad, s_r y luego la desviación estándar de la reproducibilidad, s_R. En todos los casos salvo el primero, s_R es mayor que sr. Debe tenerse en cuenta que r es 2.8 veces s_r y R es 2.8 veces s_R.

Para interpretar estos valores de la desviación estándar, si tuviéramos una lectura de alrededor de 135 (material C), y tuviéramos una gran cantidad de laboratorios que realizan una prueba a ese material, entonces el 95% de las lecturas caería aproximadamente en +4.3 unidades (el valor de r para el material C o alrededor de 2 desviaciones estándar del promedio o un rango de alrededor de 8.6 unidades en total). Si se tomaran dos laboratorios al azar, entonces el 95 de las veces la diferencia entre las dos lecturas no debería superar las 6 unidades (el valor de R para el material C).

 

Material		Sr	SR	r	R
A	41.5183	1.0632	1.0632	2.98	2.98
B	79.6796	1.4949	1.5796	4.19	4.42
C	134.7264	1.5434	2.1482	4.33	6.02
D	194.7170	2.6251	3.3657	7.35	9.42
E	294.4920	3.9350	4.1923	11.02	11.74

 

Próximo número: Parte 3 - Repetibilidad y reproducibilidad en el análisis de sistemas de medición o metodología de "medida R&R”.

Referencia
1. Comité de E11 de la ASTM sobre Calidad y estadísticas

 

P y R extra

P: Con respecto al uso de la condición de precisión intermedia según se muestra en la columna Mediciones sucesivas de la edición Marzo/abril: ¿Existe una manipulación de uno de estos cálculos que puede utilizarse cuando uno busca límites relacionados con la condición de precisión intermedia?  — Jeff Monson

R. La respuesta breve es sí. La precisión intermedia (R´) se define en la norma ASTM D6299, Práctica para aplicar el control de calidad estadístico y las técnicas de gráficos de control para evaluar el desempeño del sistema de medición analítica, como 2,77 veces la desviación estándar de los resultados de la prueba de control de calidad del laboratorio obtenidos bajo condiciones de precisión en el lugar. Una aplicación típica de R´sería determinar si el material retenido de un lote en particular de producto lanzado se ha degradado con el tiempo. Para esa aplicación, un laboratorio hará pruebas del material retenido y comparará el resultado de la prueba con el resultado de la prueba original. Si la diferencia excede R´, entonces hay una evidencia sólida de que el material retenido se ha degradado, sujeta a la suposición de que el método de prueba está bajo control estadístico al momento de obtenerse los resultados de la prueba original y al material retenido, y que el material del control de calidad en el que se basa R´es de composición similar al retenido. — Alex Lau

 

Neil Ullman es profesor jubilado de matemáticas y tecnología mecánica y ex-presidente del Comité E11 sobre Calidad y estadísticas. En la actualidad es presidente del Subcomité E11.20 sobre Evaluación y control de calidad de métodos de prueba, y es miembro de la ASTM y la American Society for Quality (Sociedad estadounidense de calidad). Recientemente ha recibido el premio Harold F. Dodge del Comité E11.

Dean Neubauer es el coordinador de la columna Data Points y presidente de las publicaciones del E11.90.03.