Administración del Sesgo (Bias) y Mejora Continua de la Calidad

por R.A. Kishore Nadkarni y W. James Bover

La mayoría de las normas de control de calidad de compañías e industrias nacionales e internacionales para laboratorios de prueba requieren la implementación de sistemas o programas para administrar la precisión y el sesgo para métodos de prueba. La administración de la precisión de los laboratorios se logra con frecuencia mediante el uso de prácticas de control de calidad estadística como se describe en las normas (1 y 2) que están bajo la jurisdicción del comité D02 de Productos y Lubricantes de Petróleo de ASTM.

Aún cuando no estén ampliamente asociados con el término "Administración del Sesgo", los programas de prueba de la competencia entre laboratorios (conocido también como programa de comprobación cruzada (crosscheck), plan de comprobación (check scheme) y programa circular (round-robin)) proporcionan uno de los medios más eficaces para evaluar el sesgo de uno de los laboratorios con respecto a otros laboratorios de la industria. En efecto, la combinación de los datos derivados del control de calidad estadístico y de los programas de prueba de competencia pueden satisfacer los requisitos relativamente nuevos para determinar la incertidumbre de la medición. Se debe considerar la participación en una o más pruebas de competencia y programas de prueba esenciales para el derecho de participar en el mercado. De la misma manera, la participación en programas de prueba de competencia ofrece muchas oportunidades para lograr mejoras continuas.

Hay numerosas razones y beneficios para los participantes en programas de prueba de la competencia como los que se discuten en este artículo y que ASTM ofrece para el Comité D02.

– Proporcionan a los laboratorios una herramienta para el control de calidad estadístico para comparar rendimientos individuales para métodos de prueba (ASTM) y productos específicos versus otros laboratorios en todo el mundo.
– Proporcionan datos para monitorear puntos fuertes y débiles de laboratorios a través de numerosos métodos de prueba y productos, permitiendo de esta manera continuar los esfuerzos por lograr mejoras.
– Los programas de prueba de la competencia pueden ofrecer datos para comparar resultados y estadísticas entre varios métodos de prueba midiendo el mismo parámetro (por ejemplo, cinco métodos de prueba para el sulfuro).
– El material residual de los programas junto con los datos estadísticos publicados puede proporcionar materiales de referencia útiles (o normas de comprobación) para ser usados en tablas de control o para solucionar problemas con modelos de prueba.
– La participación en programas de prueba de competencia puede ayudar a satisfacer parte de los requisitos de acreditación del laboratorio para varias organizaciones. (3)
– Se puede usar el desempeño satisfactorio en un programa de pruebas de competencia para demostrar a los clientes la capacidad del laboratorio.
– Los resultados de una prueba de competencia y las estadísticas relacionadas pueden ayudar a organizaciones que desarrollan normas, como ASTA, a validar el rendimiento de los métodos de prueba bajo condiciones reales y permitir que siga el proceso de mejoras continuas.

Programa de comprobaciones cruzadas entre laboratorios (Interlaboratory Crosscheck Program) del D02

El directorio de ASTM aprobó en 1991 el establecimiento del Programa de Pruebas de Competencia (Proficiency Testing Program, PTP) en parte a pedido del Comité D02 de Productos y Lubricantes de Petróleo. (4) D02 lanzó su primer conjunto de PTP en enero de 1993 para motores de gasolina, combustible para turbinas de aviación (jet), combustible diesel no.2, y aceites lubricantes para motores. Desde entonces, el D02 amplió la oferta de su Programa de Comprobación Cruzada entre Laboratorios (Interlaboratory Crosscheck Program, ILCP) para cubrir 18 productos, desde petróleo crudo a combustible diesel con contenido muy bajo de sulfuro. En general se considera que el ILCP del D02 es el PTP más grande de su tipo en el mundo para la prueba de productos de petróleo y lubricantes.

El personal del PTP de ASTM opera y administra los programas ILCP del D02 con la dirección técnica y la supervisión de proporcionada por el Subcomité de Coordinación 92 del D02 en Programas de Comprobación Cruzada entre Laboratorios (Interlaboratory Crosscheck Programs). El ILCP comenzó con cuatro programas de productos y más de una década más tarde tiene 18 productos que cubren más de 90 métodos de prueba estándar, con la participación de 769 laboratorios de 68 países. En la Figura 1 se muestra el dramático crecimiento de ILCP.

Algunos de estos programas ahora son bastante grandes y cubren varios centenares de laboratorios (por ejemplo, 325 para el combustible diesel, 228 para aceites lubricantes para motores, 247 para combustible jet para aviación y 204 para fuel oil no. 6). Otros programas (gasolina para motor, gasolina reformulada, grasa lubricante y combustible diesel con contenido ultrabajo de sulfuro) incluyen más de 100 laboratorios cada uno. Hemos seguido la participación tomando en cuenta el hecho que en muchos casos un solo laboratorio participa en más de un programa de productos, de manera que para 2004 tenemos la participación de más de 2,000 unidades de laboratorio (consulte la Figura 1).

La Figura 2 muestra el patrón de participación en múltiples programas a través de todos los programas ILCP. El análisis de estos datos muestra que aproximadamente el 55 por ciento de los laboratorios participa en dos o más programas de productos. Es sorprendente que aproximadamente el 20 por ciento de los laboratorios participe en por lo menos cuatro programas de productos.

Desde Argentina a Zimbabwe

Los programas de prueba de competencia del D02 son un trabajo verdaderamente internacional con aproximadamente un 48 por ciento de los laboratorios en 67 países fuera de los Estados Unidos. La Figura 3 muestra la distribución de los laboratorios y la cantidad de programas en que participan, por región. Para la mayoría de los programas ILCP, este nivel de participación internacional da una verdadera medida del rendimiento mundial a los resultados. Muchas compañías internacionales aprovecharon el alcance mundial del ILCP haciendo que muchos de sus laboratorios participen.

Protocolo del programa

Varias organizaciones donan cantidades a granel de materiales de productos para cada uno de los programas de productos en el ILCP. Un contratista de ASTM recibe el producto, lo homogeniza y envasa en recipientes individuales adecuados Cada laboratorio recibe una muestra de prueba para cada ciclo de prueba. Se distribuye tres muestras por año a doce de los programas ILCP, se distribuye dos veces por año a cuatro programas y se distribuye todos los meses a los programas de gasolina reformulada y combustible diesel con un contenido ultrabajo de sulfuro. Junto con las muestras también se distribuye instrucciones para la prueba y formularios de informe de datos. Los laboratorios analizan sus muestras para los parámetros con los que ellos normalmente trabajan usando los métodos de prueba estándar de ASTM. Se hace una sola determinación para cada método de prueba para una muestra dada de producto, excepto para la muestra de combustible diesel de bajo contenido de sulfuro, que requiere la duplicación de las mediciones. Los laboratorios devuelven sus resultados a ASTM y en aproximadamente de cuatro a seis semanas después de la fecha de cierre, ASTM envía un informe con un resumen estadístico a cada laboratorio. Cada informe contiene lo siguiente:

– Tabla de resumen mostrando los resultados para todos los laboratorios para cada parámetro;
– Resultados estadísticos;
– Tablas mostrando la distribución de los resultados de pruebas individuales;
– Histogramas mostrando la distribución general de los resultados;
– Tablas de cuadros y líneas comparando los resultados de múltiples métodos de prueba para el mismo parámetro; y
– Confidencialidad del laboratorio que se mantiene usando códigos.

Tratamiento de los datos estadísticos

Se analiza todos los datos usando estadísticas sólidas. Los medios y las desviaciones estándar para cada dato se calculan usando un procedimiento de estadísticas sólidas de dos etapas diseñadas para limitar la influencia de resultados inusualmente pequeños o grandes, pero eliminando sólo los más atroces. Los resultados rechazados se identifican claramente en la tabla de resumen de manera que los laboratorios puedan tomar la acción correspondiente. Basado en la desviación estándar sólida, se calcula la reproducibilidad sólida para cada método de prueba y se compara estos valores con la reproducibilidad correspondiente publicada para el método de prueba. Como sólo se hace un solo análisis (excepto en el caso del programa del combustible diesel con contenido ultrabajo de sulfuro), no se puede calcular la reproducibilidad.

Mejoras del programa

Enfoque en las mejoras
Desde su inicio, el Subcomité Coordinador 92 del D02 mantuvo su enfoque fijo en la satisfacción de los interesados en la industria y en ASTM, y este es el motivo principal por el que ILCP disfrutó de un éxito tan sobresaliente. A lo largo de los años, el CS 92 y la oficina del PTP de ASTM continuaron trabajando para mejorar el programa y proporcionar a los participantes un servicio de valor agregado. Una de las maneras en que el CS 92 mantiene su enfoque es conduciendo sesiones educativas y de reacción en cada una de las reuniones semestrales. A lo largo de los años, la mayor cantidad de programas ILCP resulta en parte de los aportes recibidos en estas secciones de reacción.

En general, la participación en el ILCP ayudó a laboratorios individuales a mejorar su metodología y técnicas de prueba, especialmente en casos donde se dan cuenta que sus datos no son tan buenos como los producidos por sus iguales. Por otro lado, y para la satisfacción de ciertos grupos de laboratorios de compañías, su propio rendimiento superior al promedio ha proporcionado confirmación de que sus políticas de control de calidad les han beneficiado a través de su superior rendimiento.

Como se mencionó anteriormente, muchos subcomités del D02 continúan aprovechando los resultados del programa de pruebas de competencia para ayudar a entender la variabilidad en las operaciones de las pruebas y la relación entre los distintos métodos de prueba para la determinación del mismo parámetro. Varios grupos de trabajo del subcomité están trabajando de manera activa en enfoques destinados a mejorar la precisión y reducir el sesgo de sus métodos. Otra herramienta a disposición de los subcomités es solicitar que se pueda pedir información adicional con respecto a métodos de prueba específicos del participante del ILCP. Por ejemplo, cuando un método de prueba ha demostrado que su capacidad de reproducción es menos que satisfactoria, el grupo de trabajo del subcomité correspondiente ha pedido que CS 92 haga un sondeo de los participantes con respecto a cómo ejecutan la prueba, el equipo que usaron, etc. Esta información de reacción se usa entonces para apoyar el proceso de mejoras.

A la velocidad de los electrones
La distribución de las instrucciones del programa al participante y la generación de informes de datos para ASTM están en el proceso de cambiar desde manuales o de copias en papel a medios electrónicos. Actualmente, se notifica a cada laboratorio por medio de correo electrónico sobre el despacho de muestras. Se puede descargar las instrucciones y los formularios de informe del sitio web de ASTM. Los datos de laboratorio se ingresan en estos formularios y se devuelven a ASTM. La fase de recolección de datos basada en Web se implementará en todos los programas de 2004.

Informes personalizados
Otra mejora que se lanzará a fines de 2004 será la emisión de informes personalizados a compañías que tengan por lo menos 15 laboratorios participando en un programa de productos específico. Se preparará estos informes a pedido de la compañía y con acuerdos de los laboratorios. Los informes presentarán estadísticas basadas sólo en los datos de laboratorio de la compañía y los compararán con las estadísticas generales de todos los laboratorios que participen en ese programa.

Materiales de control de calidad
Siguiendo la sugerencia de varios laboratorios, hay materiales residuales del programa disponibles a la venta para los participantes siguiendo el orden de las solicitudes, por una suma módica. Estos materiales son para que sirvan de muestras de comprobación con un medio de consenso y una desviación estándar para ser usados en tablas de control de calidad y para buscar soluciones a problemas. Estos materiales no están destinados para ser usados en la calibración de instrumentos debido a que su medio asignado puede tener grandes dudas.

Boletín informativo y ayudas para analistas
El subcomité CS 92 publica semestralmente un boletín informativo que se distribuye a todos los laboratorios participantes dándoles información sobre actividades actuales. Muchas veces, se han publicado en este boletín informativo sugerencias útiles para el analista sobre pruebas específicas. También hay disponible una compilación de 25 de estos boletines como un folleto gratis disponible de la oficina PTP. Muchos de estos folletos se incorporaron luego en los métodos de prueba estándar correspondientes. Se cree que estos materiales han probado ser útiles para analistas activos en laboratorios para mejorar el rendimiento.

Respuesta del mercado y programas nuevos
El subcomité CS 92 también mantiene contactos activos con la mayoría de los subcomités del D02 y éstos también han resultado en pedidos para que se agregue programas específicos. Por ejemplo, los programas de la gasolina reformulada y del combustible diesel con contenido ultra bajo de sulfuro fueron específicamente pedidos por sus respectivos subcomités en respuesta a acciones reguladoras pendientes. Estos dos programas siguen ayudando a los laboratorios de la industria a desarrollar y mantener correlación entre su rendimiento y el de los laboratorios reguladores. Cada uno de estos programas tiene una característica exclusiva en que los laboratorios reguladores (como los de la Agencia de Protección del Medio ambiente (EPA) y el California Air Respources Board (Directorio de Recursos del Aire de California) que participan en el programa reporten sus resultados abiertamente (por ejemplo, sin codificar) para permitir la comparación directa por parte de otros participantes.

La historia del último programa agregado es un buen ejemplo de la respuesta del ILCP a las necesidades de la industria. La EPA de los EE.UU. ha emitido una norma final vigente a partir de junio de 2006 para el combustible diesel para carreteras con bajo contenido (<15 mg/kg) de sulfuro (consulte el artículo de la página 34). Debido a que el programa de combustible diesel existente sólo incluyó combustible con niveles de sulfuro mucho mayores, se desconocía la capacidad del laboratorio a los bajos niveles de sulfuro. Esto condujo al lanzamiento, en enero de 2004, de un programa mensual nuevo para diesel con contenido ultrabajo de sulfuro para productos que contienen menos de 15 mg/kg de sulfuro. En este programa exclusivo se exige medidas duplicadas de manera que la repetibilidad en laboratorio también se pueda calcular y las pruebas están limitadas a cuatro métodos de prueba específicos de ASTM. (5)

Al siglo 21

El subcomité de coordinación 92 del D02 y el departamento del Programa de Pruebas de Consistencia de ASTM (ASTM Proficiency Test Program) continuará a la cabeza en las pruebas entre laboratorios para servir mejor las necesidades de la industria en el siglo 21. Durante el próximo par de años se espera que el ILCP se convierta en totalmente habilitado para todos los aspectos del programa, desde la notificación hasta la distribución de los informes, por medio de la web. Se continuará modificando los programas existentes en respuesta a ambos, el participante y el subcomité D02 y los programas nuevos se ofrecerán como respuesta general al mercado mundial y al ambiente normativo cambiante.

Comuníquese con David Bradley (teléfono: 610/832-9681; dbradley@astm.org) o Anne McKlindon (teléfono: 610/832-9688; amcklind@astm.org) en ASTM International Headquarters para conseguir información sobre la participación en los programas ILCP del Comité D02, o visite www.astm.org/STATQA. Consulte la bibliografía para obtener una inscripción adicional de los programas ILPC.

Referencias

1 D 6792, Guide for Quality Systems In Petroleum Products and Lubricants Testing Laboratories
2 D 6299, Practice for Applying Statistical Quality Assurance Techniques to Evaluate Analytical Measurement System Performance
3 An example is the American Chemistry Council’s Product Approval Code of Practice that requires participation in the ASTM D02 lube oil proficiency testing program for the laboratories submitting data for oil approvals to the American Petroleum Institute.
4 D02 has been in the process of developing a broad-based crosscheck program since 1988.
5 D 2622, Test Method for Sulfur in Petroleum Products by Wavelength Dispersive X-ray Fluorescence Spectrometry; D 3120, Test Method for Trace Quantities of Sulfur in Light Liquid Petroleum Hydrocarbons by Oxidative Microcoulometry; D 5453, Test Method for Determination of Total Sulfur in Light Hydrocarbons, Motor Fuels and Oils by Ultraviolet Fluorescence; and D 6920, Test Method for Total Sulfur in Naphthas, Distillates, Reformulated Gasolines, Diesels, Biodiesels, and Motor Fuels by Oxidative Combustion and Electrochemical Detection
Bibliografía
David Bradley, “ASTM Proficiency Test Programs” ASTM Standardization News, p. 18, July 1992.
Jim Bover, “Tackling Interlaboratory Variability for the Global Marketplace: Committee D02’s Crosscheck Program” ASTM Standardization News, p. 56, June 1994.
Jim Bover and Kishore Nadkarni, “ASTM, the Petroleum Industry, and Quality Assurance” ASTM Standardization News, p. 29, April 1998.
David Bradley, “Proficiency Testing Programs” ASTM Standardization News, p. 33, June 1999.
Kishore Nadkarni, “Does Your Laboratory Measure Up: ASTM Helps Build Proficiency,” Lubes’n’Greases, p. 28, April 2001.
Kishore Nadkarni and Kelly Mason, “New Program Puts Base Oils to the Test” Lubricants World, p. 30, October 2001.
Gary Basilone, “Oil Monitoring: Sharpening Our Tools” Lubes’n’Greases, p. 30, January 2002.
Bill Tanguay, “Confirm Lab Quality with the Crosscheck Program” Practicing Oil Analysis, p. 54, July-August 2002.
Anne McKlindon, “Two New ASTM Proficiency Programs to be Launched in Coming Months” ASTM Standardization News, p. 18., October 2003.

Copyright 2004 ASTM International

Traducido de la edición de Junio de Standardization News

Vuelva a índice

Kishore Nadkarni es el presidente del Subcomité D02.03 de Análisis Elemental, y es el ex presidente más reciente del comité técnico (TC) ISO 28 de Productos y Lubricantes de Petróleo. Ha publicado aproximadamente 110 artículos y participó totalmente en el desarrollo de seis normas de ASTM. Es el editor de ASTM Special Technical Publication (STP) 1109, Modern Instrumental Methods of Elemental Analysis of Petroleum Products and Lubricants y el Manual 44, Guide to ASTM Test Methods for the Analysis of Petroleum Products and Lubricants.

W. James Bover, director de sección de la integridad de datos y control de calidad en ExxonMobil Biomedical Sciences, Inc., en Annandale, N.J., es presidente del Comité D02 de Productos y Lubricantes del Petróleo, presidente del Subcomité de Coordinación 92 del D02 de Programas de Comprobaciones Cruzadas entre Laboratorios, y presidente del Comité Técnico 28 de la Organización Internacional para la Estandarización (International Organization for Standardization (ISO) sobre Productos y Lubricantes del Petróleo (Petroleum Products and Lubricants).