PLoS ONE: US News and World Report Cancer Hospital Rankings: Har De afspejler Mål for Forskning Produktivitet

?

Abstrakt

Kontekst

Tidligere forskning har afbrudt US News and World Report hospital speciale placeringer for overdreven afhængighed af omdømme, et subjektivt mål for et hospital ydeevne.

mål

for at afgøre, om og i hvilket omfang ry korrelerer med objektive mål for forskning produktivitet blandt kræft hospitaler.

design

En retrospektiv observationsstudie.

Indstilling

elektronisk søgning af NIH Reporter, BioEntrez, BioMedline og ClinicalTrials.gov databaser.

Deltagere

De 50 højest rangerede kræft hospitaler i 2013 amerikanske News and World Report Rankings.

Eksponering

Vi konstateret antallet af NCI-finansierede tilskud, og de kumulative midler modtaget af hver kræft center. Derudover identificerede vi antallet af fase I, fase II, og fase III undersøgelser offentliggjort og indekseret i MEDLINE, og registreret på clinicaltrials.gov. Alle tællinger var i de foregående 5 år. For publicerede artikler, vi opsummerede virkningen faktor de tidsskrifter, hvor de optrådte. Forsøg blev tilskrevet centre på grundlag af tilslutningen af ​​den ledende forfatter eller studere principal investigator.

vigtigste resultat

Korrelationskoefficienter fra simple og multiple lineære regressioner til foranstaltninger forskning produktivitet og en centerets omdømme.

Resultater

Alle foranstaltninger forskning produktivitet viste robust korrelation med ry (middel r-squared = 0,65, median r-squared = 0,68, minimum r-squared = 0,41, maksimal r -squared = 0,80). En multivariable model viste, at 93% af variationen i anseelse skyldes objektive foranstaltninger.

Konklusion

I modsætning til tidligere kritik, de fleste af omdømme, der anvendes i US News and World Rankings, kan forklares ved objektive mål for forskning produktivitet blandt kræft hospitaler

Henvisning:. Prasad V, Goldstein JA (2014) US News and World Report Cancer Hospital Rankings: Må de Reflect Mål for forskning produktivitet? PLoS ONE 9 (9): e107803. doi: 10,1371 /journal.pone.0107803

Redaktør: K. Brad Wray, State University of New York, Oswego, USA

Modtaget: 19 Maj 2014; Accepteret: August 20, 2014; Udgivet: 23 September, 2014

Dette er en åben-adgang artiklen, fri for alle ophavsrettigheder, og kan frit gengives, distribueres, overføres, ændres, bygget på, eller på anden måde bruges af alle til ethvert lovligt formål. Værket gøres tilgængeligt under Creative Commons CC0 public domain dedikation

Data Tilgængelighed:. Forfatterne bekræfter, at alle data, der ligger til grund resultaterne er fuldt tilgængelige uden restriktioner. Alle data i dette papir er offentligt tilgængelige fra MEDLINE, clinicaltrials.gov og NIH Reporter hjemmesider

Finansiering:. Forfatterne har ingen støtte eller finansiering til at rapportere

Konkurrerende interesser:. Forfatterne har erklærede, at der ikke findes konkurrerende interesser

Baggrund og betydning

Hvert år US News and World Report (US N WR). rangerer de 50 højeste scoring amerikanske cancer-centre som en del af sin årlige hospital speciale placeringer. Disse placeringer generere opmærksomhed og kritik fra offentligheden, politiske forskere og læger [1] – [3]. Selv om placeringer for 12 af 16 specialer (herunder kræft) er baseret på en kombination af faktorer: ry blandt specialister, overlevelse statistik, patientdata sikkerhedsdata, sygepleje bemanding oplysninger, sygepleje magnet status og tålmodig volumen, har den endelige score er blevet afbrudt for overdrevent afhængige af omdømme, et subjektivt element [4] – [6]. Tidligere forskning har vist, at det ry score alene, baseret på en undersøgelse af specialister, mest stærkt korreleret med den samlede score for både voksne [4] og pædiatriske [5] placeringer. Derudover blandt voksne specialiteter, ranking på omdømme alene aftalt med endelige placeringer 100% af tiden [4]. Fordi omdømme er konstateret via en meningsmåling [7], den amerikanske N er WR rankings blevet kritiseret for ikke at give et objektivt mål. [4]

Vi søgte at vurdere, i hvilket omfang ry korrelerer med objektive mål for akademisk eller forskning produktivitet blandt kræft hospitaler. Konkret samles vi data relevante for 3 foranstaltninger af centrets forskning excellence: (1) Tilskud data-det samlede antal og kumulative midler til National Cancer Institute (NCI) finansierede tilskud via foregående fem år periode (2) Trial offentliggørelse af data-the antallet af fase i, II og III-forsøg med korrespondance rettet til en cancer center i løbet af de sidste 5 år; og den samlede virkning faktor tidsskrifter, hvor disse forsøg viste, og (3) Udfyldt og igangværende forsøg-antallet af fase I, II og III-forsøg, der er anført for hvert center i clinicaltrials.gov. Fase I forsøg er dem, der tester tolerabiliteten af ​​en roman middel eller en ny kombination af lægemidler ved varierende doser. Fase II forsøg måler aktiviteten af ​​et nyt lægemiddel eller en kombination, og kan bruge en fremadrettet kontrol arm eller historisk benchmark, og fase III forsøg er dem, der skal formelt at vurdere effekten af ​​et lægemiddel mod et acceptabelt alternativ standard for pleje. Vi søgte at vurdere hvor stor en del af variationen i omdømmet kunne forklares ved disse 3 objektive mål for forskning ydeevne. Vi overvejede de sidste 5 år til at give en tidssvarende prøve af hvert center præstation i disse målinger. Figur 1 viser vores hypotese grafisk.

Metoder

US News placeringer

Vi indsamlede oplysninger fra US News and World Report Annual Hospital Rankings i det sidste offentliggjorte år på tidspunktet for vores undersøgelse (2013). Data bruges til at generere rang og endelige resultat blev ekstraheret. Konkret omfattede disse oplysninger på kræft center omdømme, overlevelse, patientsikkerhed, sygepleje personale og sygepleje magnet status. En fuldstændig beskrivelse af US News and World Report metoden er tilgængelig her: https://health.usnews.com/health-news/best-hospitals/articles/2013/07/16/how-we-ranked-the-best-hospitals-2013-14-an-faq.

National Cancer Institute Sponsored Grants

NIC tilskud data blev opnået på følgende måde. En kopi af NIH eksportør databasen blev hentet (Dato: 2013/12/02). Tilskud finansieret af National Cancer Institute (NCI) med startdatoer mellem 2008 og 2013 blev overvejet. Institutionen givet for hvert tilskud blev matchet med en rangeret institution i automatiseret måde ved hjælp af Python. Vi genererede forenklede institution navne, fjerne tegnsætning, artikler, præpositioner og institutionstyper, således at “Cleveland Clinic, Lerner College of Medicine” blev forenklet til “Cleveland Lerner”. For institutioner, der er kendt af flere navne, f.eks The University of Washington Cancer Center og /eller The Fred Hutchinson Cancer Center, separat matching blev udført for hvert navn og de resulterende tilskud tal og mængder blev kombineret. Alle tilskud blev manuelt kontrolleret (ved JAG) for at sikre nøjagtig tilskrivning til en cancer center. Der var et lille antal tilskud med samlede betalinger på 0 eller 1 dollar. Vi overvejede disse tilskud så trivielt og fjernet dem fra endelige totaler

Udgivet kliniske forsøg og kumulative effekt faktor

Automatiserede søgninger blev udført ved hjælp BioEntrez og BioMedline på (Dato: 2014/04/28). hjælp Python pakker og den Pubmed syntaks. Søgninger blev udført for publikationer dateret mellem 2008 og 2013 ved hjælp af den store overskrift MeSH emne: kræft. Publikationstype [PT] blev angivet som fase I, fase II eller fase III, og flere permutationer blev brugt til center navne, såsom “Dana-Farber” eller “Brigham og Kvinder”, etc. For at øge afkastet, vi også søgt alle publikationer, udelade den type publikation og i stedet bruge nøgleordene fase i, fase II eller fase III tilføjet. Impact faktorer for hver publikation blev beregnet ved at forespørge de 2012 påvirkningsfaktorer, som https://www.citefactor.org/impact-factor-list-2012.html. På grund af forskelle i forkortelsen systemer, der anvendes, ikke alle papirer blev parret med en journal impact factor. For fase I publikationer, blev 4866/5973 (81%) forsøg parret. For fase II publikationer blev 1343/1580 (85%) parret, og blandt fase III forsøg blev 411/437 (94%) parret.

Kliniske forsøg, der er anført på Clinicaltrial.gov

Vi søgte efter alle sager ved clinicaltrials.gov med søgeordet “kræft”, hvilket giver i 39,422 studier. Disse forsøg downloades i XML-format (2014/04/28), og forudsat data om retssagen, startdato, studie id, fase af udvikling af lægemidler, finansieringskilde og ledende institution. Vi overvejede forsøg med startdatoer mellem 2008-2013. Forsøg blev indsamlet på grundlag af kilden institution og fusioneret med institutionens navne. Fordi enkelte institutioner kan være kendt under flere navne, blev fusioneret liste over 2702 institutioner manuelt søgt hjælp fragmenter af institutionens navn, f.eks “Cleveland” og “Lerner” for Cleveland Clinic Lerner College of Medicine.

Statistisk analyse

Statistisk analyse blev udført ved hjælp af Stata Version 13 (Stata Corp, College Station, TX). Beskrivende statistik for dataene leveres. Simpel lineær og flere lineære regressioner blev brugt.

Resultater

Vi analyserede data for 50 højest rangerende US News and World Report Cancer Hospitaler. Ud over de 6 variabler, der anvendes til at udlede hvert center endelige score, samles vi data om antallet af, og de samlede betalinger til NCI-finansierede tilskud, antallet af fase I, II og III publikationer, den kumulative effekt faktor af tidsskrifterne, hvor disse publikationer viste, og antallet af kliniske forsøg, der er anført af centrum og fase i clinicaltrials.gov, over de sidste 5 år. Et resumé af variabler bruges af USN WR og de foranstaltninger, forskning produktivitet vises i tabel 1.

Vi først forsøgt at efterprøve resultaterne af tidligere rapporter. Vi spurgte: Hvad procentvise variabilitet i score forklares ved hver af de 6 variable, der anvendes af det amerikanske News and World Report at konstruere deres endelige score. Resultaterne af en multipel lineær regression teste dette spørgsmål er vist i tabel 2. Alle 6 prædiktorer nåede statistisk signifikans, og den samlede R-kvadreret var 0,94. Således kunne 94% af variationen i endelige resultat forklares ved disse prædiktorer. Enkle lineære regressioner for hver af de 6 variable mod den endelige resultat er vist i tabel 3. Kun ry (R-squared = 0,86) og patient volumen (R∧2 = 0,48) havde korrelationskoefficienter større end 0,1, når det afprøves individuelt. Figur 2 viser grafisk forholdet mellem det endelige resultat og omdømme, variablen med stærkeste korrelation Vejviser

Vi derefter udforskes vores hypotese:., Om og i hvilket omfang objektive målinger af forskningsresultater korrelerer med omdømme. Vores hypotese er afbildet grafisk i figur 1. Tabel 4 viser korrelation og beta koefficienter mellem foranstaltningerne forskning produktivitet vi udviklet og US News and World Report kræft hospital ry score. Alle mål for forskning produktivitet demonstreret korrelation med ry (middel r-squared = 0,65, median r-squared = 0,68, minimum r-squared = 0,41, maksimal r-squared = 0,80). Derudover var der en stærk co-linearitet blandt de variabler, demonstreret af stærke parvise korrelationskoefficienter mellem alle variable (tabel S1). En multipel lineær regression ved hjælp af alle vores prædiktorer mod ry gav en samlet R-kvadreret af 0,93 (Fuld model detaljer i tabel S2).

Diskussion

US News and World Report hospital speciale placeringer er indflydelsesrige og omstridt [1], [4]. Før arbejde har vist, at det endelige resultat i høj grad er drevet af omdømme rankings, et subjektivt mål for hospitalet kvalitet [4] – [6]. Faktisk vores analyse bekræftede dette faktum. Vi fandt, at 85% af variationen i den endelige score blev forklaret af omdømme blandt kræft hospitaler. Desuden kun omdømme og tålmodig volumen demonstreret korrelationskoefficienter større end 0,10 (tabel 2).

Vi derefter forsøgt at vurdere, om og i hvilket omfang ry korrelerer med objektive mål for forskning produktivitet. Konkret om NCI finansierede tilskud, kliniske forsøg publikationer og deres indvirkning faktorer og igangværende kliniske forsøg afspejles ry (tabel 1). Faktisk fandt vi, at hver enkelt foranstaltning af forskning produktivitet udstillet en positiv og robust korrelation med ry (tabel 4).

Derudover fandt vi, at næsten alle variationen i omdømmet kunne forklares ved en kombination af vores mål foranstaltninger (R-squared = 0,93). Mens fortolkningen af ​​hver koefficient fra denne multipel lineær regression er begrænset på grund kollinearitet blandt variabler (tabel S1), er kollinearitet ikke påvirke korrelationskoefficienten.

Vores resultater synes at afvige fra en forudgående undersøgelse, som målte offentliggørelse output inden for urologi, og fundet lidt korrelation mellem USN WR placeringer og forfatternes ranking [8]. Denne undersøgelse dog fokuseret udelukkende på sammenhænge mellem endelige placeringer, i modsætning til korrelationer mellem et center publikation score og USN WR endelige score. Som sådan kan have været savnet sammenhænge på grund af en ental fokus på rang.

Kort sagt, vi bekræftet, at US News and World Report kræft hospital placeringer i vid udstrækning er baseret på omdømme. Men mens det ry undersøgelse administreres af US News and World Report er subjektiv, subjektive indtryk af specialister på hvert område ser ud til at korrelere stærkt med antallet af tilskud og antallet af kliniske forsøg, der gennemføres af hvert center. Subjektive indtryk synes at tilnærme objektive forskelle.

Begrænsninger

Der er flere begrænsninger for vores analyse. Vi valgte at vurdere sammenhængen mellem et subjektivt mål for en cancer hospital-its opfattede ry i henhold til US News and rapport-mod objektive mål for forskning produktivitet World. Det må erkendes, at forskningen er blot en del af, hvad kræft hospitaler gør, og vi var ikke i stand til at overveje kvaliteten af ​​pleje, som kræft hospitaler, og heller ikke kunne vi overveje grundlæggende forskning, der kan identificere nye terapeutiske mål i kræft. For eksempel har vi ikke overveje antallet af stor effekt grundlæggende videnskab publikationer, som en dag kan føre til nye lægemidler eller mål produceret af center. Ikke desto mindre er fase I, II og III kliniske studier almindeligt anset en vigtig målestok for forskning produktivitet i onkologi, og veje for lægemiddeludvikling ad dette spor er modne og robuste. Som sådan, erkender vi, at vores variabler selv må kun omtrentlige foranstaltninger for kræft center succes, som er vanskelige at fuldt fange.

For enhver især kræft center, vi kan have gjort fejl i både inklusion og eksklusion af tilskud , artikler eller forsøg. Mens vi mener, at sådanne fejl måling er usandsynligt, at resultere i en systematisk bias, må vi erkende dette som en grænse. Desuden har vi påberåbt sig impact factor af tidsskriftet, hvor en retssag publikation optrådte. Dette er dog en ufuldkommen tilnærmelse af virkningen af ​​papir, og en given retssag kan være mere eller mindre vigtig end impact factor af tidsskriftet, hvor det blev offentliggjort. Endelig, selv om vores resultater tyder på, at en stor del af variationen af ​​omdømme kan forklares gennem objektive foranstaltninger (93%), vi fandt ikke, at alle af variationen kunne forklares. Således kan der stadig være en subjektiv komponent til omdømme placeringer. I hvilket omfang dette findes og hvorvidt det er skadeligt, kan stadig diskuteres. generelt Men vi føler, der blev udført vores analyse baseret på en rimelig vurdering af objektive indekser for en kræft centrets forskning produktivitet.

Endelig vores resultater skal ikke misforstås at indebære, at US News and World Report kræft hospital placeringer er gyldige eller at de er nyttige. Vi har ikke vurdere, om centre, der opnåede højere placeringer giver bedre pleje, heller ikke vi udfører en systematisk gennemgang for at vurdere, om placeringerne give nyttige oplysninger til forbrugerne og politiske eksperter. I stedet valgte vi en meget fokuseret spørgsmål: om et centralt element i en sygehuse score: deres omdømme, udviklet via en undersøgelse, korrelerer med objektive mål for forskning produktivitet. For dette meget fokuseret spørgsmål, giver vi et gunstigt svar.

Konklusion

I modsætning til tidligere kritik, fandt vi, at størstedelen af ​​variationen i USA News and World Report ry score kan forklares med objektive mål for forskning produktivitet blandt top 50 rangerede kræft hospitaler. Disse resultater ikke indebærer USN WR placeringer er gyldige eller nyttigt

Støtte oplysninger

tabel S1.. Salg Alle parvise korrelationskoefficienter (R2) mellem US News and World Report Reputation Score, og foranstaltninger til forskning produktivitet

doi:. 10,1371 /journal.pone.0107803.s001

(DOCX)

tabel S2 .

Multipel lineær regression for alle faktorer, versus ry

doi:. 10,1371 /journal.pone.0107803.s002

(DOCX)

Tak

De synspunkter og holdninger Dr. Prasad afspejler ikke de af National Institutes of Health.