Inter-lab variatie

Moderator: ArcherBarry

Reageer

Bericht 09-02-'07, 20:21

Jules_CF

Berichten: 15

Inter-lab variatie

G'navond dames en heren :oops: ,

Op mijn werk gaan we binnenkort beginnen met een onderzoek naar een grote inter-lab variatie van een formaldehyde-concentratie in een product.

Het gaat hier om redelijk lage concentraties ( enkele mg formaldehyde per kg product ), waardoor de spreiding natuurlijk ook groter is als bij hogere concentraties toch? Als we de 'rest' van het product waar wij de bepaling op uitgevoerd hebben opsturen naar een ander lab waar ze dezelfde bepaling uitvoeren*, wijken de resultaten pakweg 30-40% van onze eigen af. Uit eerder onderzoek is wel gebleken dat de producten na langere tijd hun concentraties formaldehyde behouden.

Het kan toch niet zo zijn dat er een systematische fout van 30-40% geintroduceerd wordt? Ik kan me ringonderzoeken in het ziekenhuis herinneren waar van de ongeveer 50 labs niemand meer dan 10% van het gemiddelde afweek...

Ik wil in ieder geval uitzoeken wat de kritische factoren in de bepaling zijn en hoe sterk deze het resultaat beinvloeden ( een soort optimalisatie, of zijn hier handigere methoden voor? ), zodat de factoren wat de bepaling het sterkst beinvloeden het meest in de gaten gehouden worden.

Alvast bedankt voor enige feedback

* Donderdag zal ik waarschijnlijk bij het desbetreffende lab langsgaan om te controleren of zij nergens verschillen met ons hebben qua uitvoering
Omhoog

Bericht 09-02-'07, 20:49

saturnus ans

Berichten: 162

Re: Inter-lab variatie

Het gaat hier om redelijk lage concentraties ( enkele mg formaldehyde per kg product ), waardoor de spreiding natuurlijk ook groter is als bij hogere concentraties toch?
Klopt.

Naast verschillen in bepaling, uitvoering/methodiek is ook bemonstering en recovery iets waar men aan moet denken. Ik ben ook benieuwd hoever de verschillende laboratoria van de analysegrens af zitten. Volgens mij wordt de detetiegrens gelijk gesteld aan max 30% RSD en de bepalingsgrens max 10% RSD.
Omhoog

Bericht 09-02-'07, 20:49

Beryllium

Gebruikersavatar
Berichten: 6.314

Re: Inter-lab variatie

Het gaat hier om redelijk lage concentraties ( enkele mg formaldehyde per kg product ), waardoor de spreiding natuurlijk ook groter is als bij hogere concentraties toch?
Als het goed is niet. Tenzij je zulke lage concentraties probeert te meten waar je tegen de grenzen van je methode aan zit qua gevoeligheid, is er geen reden om aan te nemen dat je procentuele systematische fout concentratie-afhankelijk is.

En verder: er zijn heel veel redenen te bedenken waarom lab A andere resultaten krijgt voor een analyse dan lab B. De belangrijkste zijn:
  1. Andere analysemethode
  2. Onjuiste uitvoering van een protocol
  3. Degradatie van product/reagentia
  4. Onjuiste/geen/verlopen calibratie van apparatuur/pipetten/glaswerk/etc
  5. Rekenfouten
  6. ...
[Edit]

Saturnus Ans' post en de mijne kruisten.
Volgens mij wordt de detetiegrens gelijk gesteld aan max 30% RSD en de bepalingsgrens max 10% RSD.
Als ik het goed heb is de LOD, limit of detection, gelijk aan 3σblanco en de LOQ, limit of quantification, gelijk aan 9σblanco.

Ik zie niet in waarom je spreiding groter is bij lage concentraties (zie mijn originele post hierboven)?
You can't possibly be a scientist if you mind people thinking that you're a fool. (Douglas Adams)
Omhoog

Bericht 09-02-'07, 21:19

saturnus ans

Berichten: 162

Re: Inter-lab variatie

Als ik het goed heb is de LOD, limit of detection, gelijk aan 3σblanco en de LOQ, limit of quantification, gelijk aan 9σblanco.

Ik zie niet in waarom je spreiding groter is bij lage concentraties (zie mijn originele post hierboven)?
Klopt, maar een andere statistische benadering die gebruikt wordt is het uitzetten van de verschillende concentraties en hierbij de RSD te bereken:

je maakt dan tien oplossingen van 0,5 ; 1 ; 1,5 ; 2 x de geschatte detectiegrens; vervolgens bereken je de RSD's (relatieve standaard deviatie) en zet je uit tegen de concentratie; hierbij wordt dan gesteld dat je LOD max30% RSD en LOQ max10% RSD mag zijn.
Als het goed is niet. Tenzij je zulke lage concentraties probeert te meten waar je tegen de grenzen van je methode aan zit qua gevoeligheid, is er geen reden om aan te nemen dat je procentuele systematische fout concentratie-afhankelijk is.
Inderdaad. Eigenlijk mag dat niet het geval zijn.

Naarmate je lager in je ijklijn komt wordt je meetfout groter; als je in een programma kijkt (Regress bijv.) zie je het betrouwbaarheidsinterval van een ijklijn getekend aan weerzijden van de calibratielijn; twee gebogen curves, dit betekend dat als je van het midden van de calibratielijn afwijkt naar boven de fout groter wordt door beperkingen in je meetsysteem, verzadeging e.d. en naar beneden doordat men gebruik maakt van grotere verdunningen, de gevoeligheid van je detectiesysteem is lager.. e.d.

edit: statistiek ok nederlands not
Omhoog

Bericht 09-02-'07, 21:46

Jules_CF

Berichten: 15

Re: Inter-lab variatie

Beryllium schreef:En verder: er zijn heel veel redenen te bedenken waarom lab A andere resultaten krijgt voor een analyse dan lab B. De belangrijkste zijn:
  1. Andere analysemethode
  2. Onjuiste uitvoering van een protocol
  3. Degradatie van product/reagentia
  4. Onjuiste/geen/verlopen calibratie van apparatuur/pipetten/glaswerk/etc
  5. Rekenfouten
  6. ...
De methode die toegepast wordt is dezelfde als wat wij gebruiken, en donderdag zou ik kunnen checken hoe zij het precies uitvoeren. Het product blijft eenzelfde conentratie formaldehyde behouden over ruim 2 maanden dus daar zit ook geen probleem. Met de calibratie ben ik het wel helemaal met je eens, maar dan wordt er ergens wel een héél grove fout gemaakt ( of een hele hoop gesommeerde foutjes ).

Volgens mij is de meetfout bij inwegen, pipetteren, verdunnen e.d. ook altijd het groots bij kleine massa's/volumina. Procentueel gezien zou je een kolf van 5L juister kunnen aanvullen dan eentje van 10mL. Er staat me iets bij dat dit met concentraties ook het geval is...Ik ben er niet helemaal bij vandaag dus mijn excuses als ik raaskal. Ik kan wel met zekerheid zeggen dat je gelijk hebt qua gevoeligheid van de methode, dat het hieraan kan liggen.

Het probleem zal denk ik worden om een onderzoek op te stellen waar naar de oorzaken gezocht wordt...

Intra-lab onderzoek heb ik aardig wat ervaring mee maar inter-lab niet echt. Zoveel mogelijk moet concreet op papier staan omdat het andere lab zaken dus 'on request' moeten doen en ik daar niet 1 2 3 mee kan aan komen zetten.

Ik zal trouwens eens het validatierapport checken voor het LOD/LOQ.

Bedankt voor de input zover, het is gewaardeerd :oops:
Omhoog

Bericht 09-02-'07, 21:57

Gerard

Re: Inter-lab variatie

Ik kan me ringonderzoeken in het ziekenhuis herinneren waar van de ongeveer 50 labs niemand meer dan 10% van het gemiddelde afweek...


Dat klopt voor de routinebepalingen tegenwoordig wel maar toen de ringonderzoeken werden opgestart 60,70 tiger jaren van de vorige eeuw heb ik wel heel andere getallen gezien tot honderden procenten bij enzymbepalingen.

De huidige getallen zijn een resultaat van jarenlange standaardisatie maar bij net nieuwe testen is het probleem nog steeds aanwezig.

Een van de balangrijkste problemen was dat niet altijd de stof gemeten werd maar ook nog andere stoffen hetgeen nu ook nog een probleem is. Het belangrijkste wat

met de ringonderzoeken wordt getracht te bereiken is vergelijkbaarheid tussen laboratoria zodat de artsen niet telkens met andere referentiewaarden te maken krijgen en er minder risico is op foutieve interpretaties van de resultaten.
Omhoog

Bericht 09-02-'07, 22:07

Gerard

Re: Inter-lab variatie

Als we de 'rest' van het product waar wij de bepaling op uitgevoerd hebben opsturen naar een ander lab


Nog een opmerking betreffende dit punt: Je moet er voor zorgen dat alle labs hetzelfde monster analyseren dwz niet de rest opsturen maar vooraf het monster opsplitsen in deelmonsters en deze random versturen onder dezelfde condities naar ieder deelnemend lab. Op de manier zoals je het nu heb gedaan heb je al een verschil in het monster dat op de verschillende labs bepaalt wordt.
Omhoog

Bericht 10-02-'07, 17:42

Marjanne

Gebruikersavatar
Berichten: 4.771

Re: Inter-lab variatie

Nog een opmerking betreffende dit punt: Je moet er voor zorgen dat alle labs hetzelfde monster analyseren dwz niet de rest opsturen maar vooraf het monster opsplitsen in deelmonsters en deze random versturen onder dezelfde condities naar ieder deelnemend lab.


Ik weet niet of ´het product´ een homogeen iets is voor wat betreft formaldehyde. Ik heb wel ervaring met het rondzenden van grondmonsters met een te analyseren verontreiniging, niet met ´produkten´. Maar bij zo´n rondzending van grond wordt verreweg de meeste tijd van de voorbereiding gestoken in het homogeniseren van het monstermateriaal, om toch maar vooral uit te sluiten dat verhoogde spreidingen tussen labs onderling toe te schrijven zijn aan inhomogeen materiaal.

Bij formaldehyde zal dat lastig zijn: het is een gas en verdampt bij elke poging tot homogeniseren.

Verder weet ik van grond ook dat het een lastige (HPLC- of kleurings-)analyse is, die sowieso een hoge spreiding heeft.
Omhoog

Bericht 10-02-'07, 17:52

Marjanne

Gebruikersavatar
Berichten: 4.771

Re: Inter-lab variatie

Als we de 'rest' van het product waar wij de bepaling op uitgevoerd hebben opsturen naar een ander lab waar ze dezelfde bepaling uitvoeren*, wijken de resultaten pakweg 30-40% van onze eigen af.
Het kan toch niet zo zijn dat er een systematische fout van 30-40% geintroduceerd wordt?
Nog wat: is hier sprake van één keer die afwijking of is het echt systematisch (over een aantal keren)?

Als het om één enkele keer gaat dan zegt die 30-40 % nog niets. Bij een zeer acceptabele reproduceerbaarheid over verschillende labs van 10 % is een eenmalige afwijking van 30 % nog steeds acceptabel.

Bij ringonderzoeken van grond is verder een interlabreproduceerbaarheid van 25 - 30 % niet abnormaal, zeker niet voor wat moeilijkere analyses (zoals extractie en dan GC(MS) of HPLC). Als er ook nog een derivatisering moet plaatsvinden, dan is 25 -30 % al heel erg mooi.
Omhoog

Bericht 24-02-'07, 23:19

Adriaan_CF

Berichten: 161

Re: Inter-lab variatie

Helaas is ook voor redelijk simpele bepalingen de reproduceerbaarheid tussen verschillende laboratoria soms bedroevend. Binnen een lab kan er ook een significant verschil in resultaat zijn, vaak afhankelijk van wie een bepaling uitvoert (helaas is het mij niet toegestaan iemand die op een leeglopende dispenser drukt een holpieper te geven).

Naar mijn mening is hét grootste probleem dat veelvuldige analyses 'op de automaat' gedaan worden, waarbij afwijkende methoden (vaak bedoeld om tijd en/of handelingen te besparen) binnen een organisatie de de facto standaard kunnen worden. Binnen een lab is de reproduceerbaarheid dan nog wel redelijk, maar vergeleken met andere laboratoria kunnen de verschillen AANZIENLIJK zijn.

Voor de reproduceerbaarheid van testresultaten is een onjuiste behandeling van monsters (effectief ongeschikte verpakking, omstandigheden tijdens transport) ook niet bevordelijk trouwens. Al te vaak vergeet men een monster te laten antichambreren ......
Omhoog

Bericht 27-02-'07, 15:52

Jules_CF

Berichten: 15

Re: Inter-lab variatie

Adriaan schreef:(helaas is het mij niet toegestaan iemand die op een leeglopende dispenser drukt een holpieper te geven).
Hahaha, ik weet precies wat je bedoelt 8-[

Voorlopig hebben we alle plannen voor het onderzoek maar achterwege gelaten, en we gaan toch maar eens kijken naar de homogeniteit van ons product. Ik wil expres hier geen nieuw topic voor opstarten dus vraag ik het hier maar...

Is het mogelijk om de homogeniteit van een product te bepalen, als van een bepaald product i monsters genomen worden, welke allen j maal bepaald worden, waarop anova los gelaten wordt (zoals excel dat ook kan, one-way anova)? Als nulhypothese zou ik dan stellen dat de gemiddelde analyseresultaten van alle i monsters niet significant van elkaar verschillen. Als alternatieve hypothese wordt dan gesteld dat de gemiddelde analyseresultaten wel significant van elkaar verschillen - m.a.w. al dan niet een homogeen product.

Voor zover ik weet wordt dit 'type' anova alleen maar gebruikt om te testen of een bepaalde factoren die men zelf in de hand heeft invloed hebben op het resultaat ( als in "Statistics and Chemometrics for Analytical Chemistry", of 4 verschillende behandelingen voor een fluorescentie reagens invloed hebben op de respons ).

Volgens mij ben ik nog te vaag aan het uitleggen, maar zo voel ik me ook nu :oops: . Als iets onduidelijk is, wil ik het graag nader uitleggen.

Met vriendelijke groet,

Jules
Omhoog
Reageer

Terug naar “Analytische chemie en data-analysetechnieken”