PLoS ONE: En Undersøgelse af data reproducerbarhed i Cancer Research giver indsigt i vores begrænsede evne til Oversæt Resultaterne fra laboratoriet til Clinic

Abstrakt

Baggrund

De farmaceutiske og bioteknologiske industri afhænger resultater fra akademiske efterforskere inden påbegyndelse af programmer til at udvikle nye diagnostiske og terapeutiske midler til gavn for kræftpatienter. Succesen af ​​disse programmer afhænger af gyldigheden af ​​offentliggjorte undersøgelsesresultater. Denne gyldighed, repræsenteret ved reproducerbarhed af offentliggjorte resultater er kommet i tvivl sent som efterforskere fra virksomheder har rejst spørgsmålet om dårlig reproducerbarhed af offentliggjorte resultater fra akademiske laboratorier. Desuden er tilbagetrækningsmekanismer satser i høje tidsskrifter klatring.

Metoder og Resultater

For at undersøge et mikrokosmos af det akademiske erfaring med data reproducerbarhed, vi undersøgte fakultetet og praktikanter på MD Anderson Cancer Center ved hjælp af en anonym edb spørgeskema; Vi søgte at fastslå hyppigheden og potentielle årsager til manglende reproducerbare data. Vi fandt, at -50% af de adspurgte havde oplevet mindst én episode af den manglende evne til at reproducere offentliggjorte data; mange, der forfulgte dette spørgsmål med de oprindelige forfattere var aldrig i stand til at identificere årsagen til den manglende reproducerbarhed; nogle blev endda mødt med en mindre end “kollegial” interaktion.

Konklusioner

Disse resultater tyder på, at problemet med data reproducerbarhed er reel. Biomedicinsk videnskab har brug for at etablere processer til at mindske problemet og afgøre uoverensstemmelser i resultaterne, når de opdages

Henvisning:. Mobley A, Linder SK, Braeuer R, Ellis LM, Zwelling L (2013) En Undersøgelse af data Reproducerbarhed i Cancer Research giver indsigt i vores begrænsede evne til at omsætte resultater fra laboratoriet til klinikken. PLoS ONE 8 (5): e63221. doi: 10,1371 /journal.pone.0063221

Redaktør: Hirofumi Arakawa, National Cancer Center Research Institute, Japan

Modtaget: Februar 25, 2013; Accepteret: 29 2013; Udgivet: 15. maj 2013 |

Copyright: © 2013 Mobley et al. Dette er en åben adgang artiklen distribueres under betingelserne i Creative Commons Attribution License, som tillader ubegrænset brug, distribution og reproduktion i ethvert medie, forudsat den oprindelige forfatter og kilde krediteres

Finansiering:. Forfatterne har ingen støtte eller finansiering til at rapportere

konkurrerende interesser:.. forfatterne har erklæret, at der ikke findes konkurrerende interesser

Introduktion

fremme af grundforskning og translationel forskning er afhængig af gyldigheden og reproducerbarhed af undersøgelsesresultater som offentliggjort i den videnskabelige litteratur. De farmaceutiske og bioteknologiske industri afhængige af disse grundlæggende videnskab resultater fra den akademiske verden som grundlag for at designe programmer af nye kræftmedicin og /eller biomarkører. Desuden grundlæggende forskere og deres praktikanter bruger disse første observationer som grundlag for deres fremtidige forskningsprojekter.

Flere nyere publikationer foreslået, at skelsættende fund fra akademiske laboratorier kun kunne reproduceres 11-50% af tiden [ ,,,0],1], [2]. Manglen på data reproducerbarhed bidrager sandsynligvis til vanskeligheden med hurtigt at udvikle nye lægemidler og biomarkører, der væsentligt påvirker livet for patienter med kræft og andre sygdomme.

For nylig offentliggjorde New York Times en artikel om den stigende tilbagetrukket papirer i de sidste par år sammenlignet med de foregående årtier [3]. Artiklen fastslår, at dette større antal blot kan være et resultat af øget tilgængelighed og dermed kontrol af tidsskriftartikler grund webadgang. Alternativt fremhævede artiklen, at stigningen i tilbagetrækninger kan skyldes noget meget værre; forseelse af efterforskere kæmper for at overleve som forskere under en tid med knappe midler. Sidstnævnte forklaring understøttes af en anden undersøgelse, som foreslog, at den mest udbredte årsag til tilbagetrækning er forseelse. I deres gennemgang af alle tilbagetrukne artikler indekseret i Pubmed (over 2.000 artikler) disse forfattere opdagede, at 67,4% af tilbagetrukne artikler var blevet trukket tilbage på grund af fejl [4]. Uanset årsagerne til de ureproducerbare data, disse unøjagtige resultater kan være koster det videnskabelige samfund, og de patienter, der tæller om sit arbejde, tid, penge, og endnu vigtigere, en chance for at finde effektive lægemidler og biomarkører baseret på sund præklinisk arbejde.

Denne bekymring data reproducerbarhed er baseret på enten relativt små prøver, hvor den ikke-reproducerbarhed er blevet dokumenteret (1) eller store oversigter over den biomedicinske litteratur. Der er ikke foretaget direkte undersøgelser af en stor gruppe af arbejder akademiske forskere om deres erfaringer gengiver offentliggjorte resultater.

Vi udtænkt en simpel undersøgelse for at teste, om de tendenser, rapporteret i de ovenfor refererede manuskripter repræsenterer meninger og erfaringer fakultet og praktikanter på en enkelt institution, University of Texas MD Anderson Cancer center. Der var tre hovedmål i denne undersøgelse: 1) at estimere den hyppighed, hvormed fakultetet og praktikanter har problemer i at gentage de skelsættende fund (centrale punkter i papiret) fra publicerede resultater i den videnskabelige litteratur, 2) at bestemme svar fra fakultet og praktikanter, når de ikke kan gengive de resultater, der er offentliggjort i et peer-reviewed manuskript, og 3) at bestemme, hvilke faktorer ligger til grund tendenserne identificeret i vores undersøgelse.

Metoder

Vi har udviklet en 20- post anonym online-undersøgelse, der stillede spørgsmål relateret til erfaringer med at reproducere resultater fra peer-reviewed offentliggjorte manuskripter blandt MD Anderson fakultet og praktikanter. Efter generelle spørgsmål til alle respondenter blev besvaret, blev praktikanter (universitetsuddannede under videreuddannelse og postdocs) spurgte yderligere 8 spørgsmål om deres opfattede miljømæssige pres for at offentliggøre un-valideret eller mistænkelige fund fra deres egne laboratorieundersøgelser. I september 2012 blev fakultet og praktikanter sendt en invitation til at deltage. En e-mail påmindelse blev sendt ud en uge før online-undersøgelsen blev lukket. For at sikre involvering, inviterede vi alle University of Texas MD Anderson Cancer Center fakultet og praktikanter til at deltage. Den e-mail-invitation forudsat et link til undersøgelsen, der omfattede et samtykke erklæring, beskrivelse af undersøgelsen, og undersøgelsen poster. Denne undersøgelse og spørgeskema blev godkendt af University of Texas MD Anderson Cancer Center Institutional Review Board.

Resultater

I vores undersøgelse af fakultet og praktikanter på MD Anderson Cancer Center, fandt vi flere væsentlige fund, der gav indsigt om data reproducerbarhed, selvom svarprocenten, udgjorde mindre end 20% af dem, forespørges (samlet svarprocent på 14,75% (171/1159) for praktikanter og 17,16% (263/1533) for fakultet). Adspurgt om efterforskerne nogensinde havde forsøgt at gengive en konstatering fra en offentliggjort papir og ikke været i stand til at gøre det, 54,6% (237/434) af alle adspurgte sagde, at de havde, med 58,5% (154/263) af fakultetet har oplevet den manglende evne til at reproducere data, og 48,5% (83/171) af elever, der har den samme oplevelse (tabel 1). Notatet blev nogle af de ikke-gentagelige data offentliggjort i kendte og respekterede tidsskrifter herunder flere high impact tidsskrifter (impact factor 20).

Efter at finde resultater fra et papir, der ikke kunne gentages opstår spørgsmålet; “Hvad med det at gøre modstridende data?” Da respondenterne blev spurgt, om de kontaktede forfatterne til forskning papir, 78% (71/91), sagde, at de havde, men de ultimative resultaterne af denne kontakt var meget blandet (tabel 1 ). 38,5% (25/65) af dem, der svarede på dette spørgsmål oplyst, at de har modtaget en positiv eller nyttige svar fra forfatterne, mens 43% (28/65) modtaget en negativ eller ligegyldig respons; 18,5% (12/65) modtaget noget svar på alle (tabel S4). Samlet set kun 33,3% af de adspurgte var nogensinde i stand til at forklare eller løse deres afvigende resultater. Dette indebærer, at 66,7% af modstridende resultater mellem forskergrupper ikke blev løst gennem kommunikation med forfatterne til den oprindelige offentliggørelse (tabel 1). Når efterforskerne forsøgt at offentliggøre resultater, der modsagde dem, der findes i den offentliggjorte litteratur, 43,8% (28/64), svarede, at de mødte vanskeligheder, og kun 33,3% (66/198), sagde, at de var nogensinde i stand til at få deres resultater offentliggjort. Men kun 17,6% (12/68) af praktikanter og 28,9% (13/45) af junior fakultet offentliggjort deres modstridende data. En større andel af senior fakultet, 48,2% (41/85), erklærede de var i stand til at offentliggøre deres modstridende resultater.

De underliggende faktorer, der driver denne tendens af ikke-reproducerbare data kan ligge i selve systemet . Når elever på institutionen blev spurgt, om de nogensinde havde følt pres for at bevise mentorerne ‘hypotese, selv når dataene, at praktikanten genererede ikke støttede det, 31,4% rapporterede, at de havde følt tryk (tabel 2). Endvidere 18,6% af praktikanter sagde, at de var blevet presset til at offentliggøre resultater om, som de havde i tvivl. Derudover, når spurgt, om de var klar over mentorer, der krævede en stor indvirkning tidsskrift offentliggørelse før en praktikant kan færdiggøre sin uddannelse i laboratoriet af deres mentor, 48,9% (68/139) rapporterede, at de var klar over dette krav.

diskussion

data reproducerbarhed er fundamental i bestræbelserne på at fremme biomedicinsk forskning, der i sidste ende vil påvirke livet for patienterne. Hvis de indledende prækliniske resultater ikke er pålidelige eller reproducerbare, er kliniske forsøg er baseret på disse resultater dømt til at mislykkes. Vi har designet denne undersøgelse for at fastslå, hvor meget af et problem data reproducerbarhed er, med fokus på efterforskere i en enkelt institution. De vigtigste mål for vores undersøgelse var at vurdere frekvens, svar på, og konsekvenserne af manglende data reproducerbarhed. Vi sendte undersøgelsen til alle fakulteter og praktikanter identificeret i en database på MDACC. Det faktum, at 20% af personalet reagerede skyldes sandsynligvis spørgsmål vedrørende en) mange forespørges ikke var laboratorie efterforskere, og 2) manglende tro på, at svarene ville være anonym, trods disse oplysninger i e-mailen forespørgslen

Vi identificerede, at over halvdelen af ​​efterforskere har haft mindst en oplevelse af ikke at kunne validere tidligere rapporterede data. Dette fund er meget alarmerende som videnskabelig viden og fremskridt er baseret på peer-reviewed publikationer, hjørnestenen i adgangen til “formodede” viden. Hvis skelsættende resultater fra et forskningsprojekt manuskript er ikke reproducerbare, konsekvenserne er talrige. Nogle mistænkte fund kan føre til udvikling af hele lægemiddeludvikling eller biomarkør programmer, der er dømt til at fejle. Som anført i vores undersøgelse, vil nogle mentorer fortsætte deres hypoteser baseret på upålidelige data, pres praktikanter til at udgive deres egen mistænkte data, og plantemateriale videnskabelige “myter”. Desværre, når forfattere blev kontaktet, næsten halvdelen svarede negativt eller ligegyldigt. Når data er offentliggjort, skal forfatterne være fuldt ansvarlige for sin integritet, og derfor skal være parat til at diskutere deres resultater og hjælpe efterforskere fejlfinding eksperimenter, når andre ikke er i stand til at reproducere deres arbejde. Vores undersøgelse giver også indsigt om presset for at udgive for at opretholde en aktuel position eller til at fremme dem, videnskabelige karriere. Næsten en tredjedel af alle elever følte pres for at bevise en mentor hypotese, selv når data ikke støttede det. Dette er en uheldig dilemma, som ikke bevise en hypotese kunne misfortolkes af mentoren som ikke at vide, hvordan man udfører videnskabelige eksperimenter. Desuden er mange af disse praktikanter besøger forskere fra lande uden for USA, der er afhængige af deres praktikpladser for at bevare visum status, der påvirker dem selv og deres familier i vores land. Denne erklæring blev observeret i vores afsnit “bemærkninger” i undersøgelsen, og det var en konstatering af, at forudsat indsigt i de vidtrækkende konsekvenser af pres for at offentliggøre. Andre kommentarer bringe lys en række bekymringer fra forskellige individer, der kan føre til irreproducibility (tabel S11).

Vores undersøgelse omhandler erfaringer og synspunkter (tabel S1, S2, S3, S4, S5, S6, S7 , S8, S9, S10, S11) af forskere ved en cancer center. Ikke desto mindre vores undersøgelse støtter kraftigt de tidligere bekymringer om data reproducerbarhed og indvirkningen på banen i almindelighed, såvel som den personlige vejafgift på enkeltpersoner. Den manglende evne til at validere offentliggjorte data er ægte og vores undersøgelse og ledsagende bemærkninger viser, at problemet med data reproducerbarhed stammer fra mange årsager, mest at være akademisk forventning om efterforskere på alle niveauer. Faktisk en nylig publikation viste, at tilbagetrækninger er mere almindelige i høje tidsskrifter sammenlignet med mindre citerede tidsskrifter [5]. Men årsagerne til denne observation sandsynligvis multifaktoriel.

En metode til at korrigere problemet blev emnet for en nylig perspektiv artikel, hvor forfatterne foreslog strammere standarder for beskrivelser af metoder og inddragelse en universel rapportering standard, som bør omfatte randomisering og blinding af efterforskerne [6]. En anden nylig kommentar på integritet i laboratorieundersøgelser fremhæver problemet med data forfalskning og giver indsigt i, hvordan laboratorium ledere kan undgå fejl fra dem, der arbejder under deres tilsyn [5]. Derudover, for at mindske bias fra tidsskriftsredaktørerne eller anmeldere, en mere grundig gennemgang og højere standarder for offentliggørelse kunne bidrage til at løse problemet. Mens disse forslag kan være en begyndelse til at identificere den rette løsning, gennemførelse af disse ændringer er udfordrende. Ændringer i “system” vil kræve en samlet indsats af tidsskriftsredaktørerne, Delforsøgsledere, praktikanter, institutioner, finansieringsorganer, og offentligheden. Selv om dette virker som en skræmmende opgave, har vi intet andet valg end at løse det -. Livet for vores patienter er afhængige af det

Støtte Information

Tabel S1.

Yderligere spørgsmål til alle respondenter

doi:. 10,1371 /journal.pone.0063221.s001

(DOCX)

tabel S2. .

Yderligere trainee kun spørgsmål

doi: 10,1371 /journal.pone.0063221.s002

(DOCX)

tabel S3.

Hvis du havde et problem gengive en konstatering fra en offentliggjort papir, hvor tidsskrift blev beretningerne

doi:? 10,1371 /journal.pone.0063221.s003

(DOCX)

Tabel S4.

Når du kontaktet forfatteren, hvordan din forespørgsel blev modtaget

doi:? 10,1371 /journal.pone.0063221.s004

(DOCX)

tabel S5.

Hvis du ikke kontakte forfatterne af den oprindelige konklusion, hvorfor ikke

doi:? 10,1371 /journal.pone.0063221.s005

(DOCX)

tabel S6.

Hvordan var forskellene mellem offentliggjorte data og dine data løst

doi:? 10,1371 /journal.pone.0063221.s006

(DOCX)

tabel S7.

Hvis du ikke forsøger at offentliggøre, hvorfor ikke

doi:? 10,1371 /journal.pone.0063221.s007

(DOCX)

tabel S8.

Hvis du nogensinde har følt sig presset til at offentliggøre resultater, som du har haft tvivl, så af hvem (mentor, lab chef, mere avanceret post-doc, andet)

doi:? 10,1371 /journal.pone.0063221.s008 Hotel (DOCX)

tabel S9. Salg Kommentarer om, hvor presset for at offentliggøre tvivlsomme resultater kom fra

doi:. 10,1371 /journal.pone.0063221.s009

(DOCX)

tabel S10.

Hvis du udfører et eksperiment 10 gange, hvilken procent af tiden skal et resultat være konsekvent for dit laboratorium til at anse det reproducerbar

doi:? 10,1371 /journal.pone.0063221.s010

(DOCX)

tabel S11.

Er der nogen yderligere kommentarer, som du ønsker os til at overveje, da vi analysere resultaterne af denne undersøgelse

doi:? 10,1371 /journal.pone.0063221.s011

(DOCX)