На пути к научно-обоснованным исследованиям
- Авторы: Lund H.1,2, Brunnhuber K.2, Juhl C.1,3, Robinson K.4, Leenaar M.5, Dorch B.F6, Jamtvedt G.2,7, Nortvedt M.W2, Christensen R.2, Chalmers I.8
-
Учреждения:
- SEARCH Research Group, Department of Sports Sciences and Clinical Biomechanics, University of Southern Denmark
- Centre for Evidence-Based Practice, Bergen University College
- Department of Rehabilitation, Copenhagen University Hospital, Herlev and Gentofte
- Johns Hopkins University
- SYRCLE, Central Animal Laboratory, Radboud University Medical Center
- University Library of Southern Denmark, University of Southern Denmark
- Department for Evidence Synthesis, Norwegian Knowledge Center for the Health Services
- James Lind Initiative
- Выпуск: Том 100, № 5 (2019)
- Страницы: 733-739
- Тип: Статьи
- Статья получена: 01.10.2019
- Статья одобрена: 01.10.2019
- Статья опубликована: 14.10.2019
- URL: https://kazanmedjournal.ru/kazanmedj/article/view/16308
- DOI: https://doi.org/10.17816/KMJ2019-733
- ID: 16308
Цитировать
Полный текст
Полный текст
Перевод статьи: Lund H., Brunnhuber K., Juhl C., Robinson K., Leenaars M., Dorch B.F., Jamtvedt G., Nortvedt M.W., Christensen R., Chalmers I. Towards evidence based research. BMJ. 2016 Oct 21; 355: i5440. DOI: 10.1136/bmj.i5440.
Независимо от того, считают ли себя современные медицинские исследователи, так же как и Исаак Ньютон, «стоящими на плечах гигантов», можно всё же ожидать, что они будут систематически опираться на предыдущие исследования при планировании новых исследований. Хотя эта проблема была освещена ещё в 2005 г. [1, 2], многочисленные исследования показывают, что исследователи не используют систематическую методологию для выявления и ссылки на более ранние исследования при обосновании, разработке или обсуждении новых исследований [3–11]. Это верно даже для качественных клинических исследований, опубликованных в самых престижных медицинских журналах [4–12]. Вместо этого (систематического подхода) медицинские исследователи выбирают исследования для цитирования, основываясь в первую очередь на предпочтениях и стратегических соображениях [13–18].
Термин «научно-обоснованные исследования» был введён в 2009 г. для обозначения подхода, который необходим для уменьшения этой практики, являющейся важным источником пустых растрат на исследования [19] и рискующей причинить ненужный вред пациентам и участникам исследований.
Ввиду лёгкого доступа как к электронным базам данных исследований, так и к высококачественным систематическим обзорам, возглавляемым такими группами, как Кокрейновское сотрудничество, и многочисленными центрами синтеза доказательств по всему миру, у исследователей практически нет оправданий тому, что они не ссылаются на текущие систематические оценки предыдущих исследований. Несмотря на это обстоятельство, авторам, похоже, удаётся уйти от ответственности, оставаясь очень избирательными [13, 14], при предпочтительном выборе ссылок на исследования с результатами, которые поддерживают вмешательство, оцениваемое ими [15–18]. Некоторые исследовательские фонды уже приняли меры. К примеру, Национальный институт исследований в здравоохранении в Англии в настоящее время требует, чтобы заявители на финансирование первичных исследований обосновывали любые предлагаемые новые исследования, ссылаясь на текущий систематический обзор соответствующих существующих исследований, чтобы показать, что они приняли во внимание знания, полученные из предыдущих исследований [20]. Однако многое ещё предстоит сделать.
Именно на этом основании группа исследователей решила создать международное сообщество за научно-обоснованные исследования (EBRNetwork, http://ebrnetwork.org) для повышения осведомлённости и противостояния этой проблеме исследований в здравоохранении. Цель этого сообщества — сокращение пустых растрат на исследования с продвижением принципа: «Ни одного нового исследования без систематического обзора существующих доказательств и эффективной разработки, обновления и распространения систематических обзоров».
Ни одного нового исследования без систематического обзора существующих доказательств
Методология систематических обзоров требует предопределённых вопросов исследования, критериев включения, методов поиска, процедур отбора, оценки качества, извлечения данных и анализа данных, при этом соответствующие исследования не могут быть исключены без объяснения, а результаты каждого исследования вносят вклад в выводы обзора [21, 22]. Базовая подготовка исследователей должна включать понимание необходимости систематического обзора существующих фактических данных [21, 23] и навыков критической оценки, интерпретации и использования этих обзоров. По научным, этическим и экономическим причинам текущие высококачественные систематические обзоры следует рассматривать как необходимый компонент при принятии решения о том, оправдано ли проведение дальнейшего исследования, о дизайне новых исследований и интерпретации их результатов [1–24].
Рис. 1 демонстрирует алгоритм научно-обоснованных исследований, начиная с начального вопроса исследования до окончательного решения о проведении исследования, используя оптимальный его дизайн. Цель предлагаемого алгоритма — поддержать исследователей, а не ограничивать их. Алгоритм не претендует на предоставление всех ответов: систематический анализ служит лишь одним из многих соображений при формулировании вопроса исследования. Исследователи могут опираться на клинический опыт, инновации и интуитивную прозорливость — аналогично широкому кругу соображений в процессе журнального рецензирования [25].
Рис. 1. Блок-схема научно-обоснованных исследований
Число опубликованных систематических обзоров за последние годы резко возросло [26], поэтому (в принципе) исследователи в большинстве областей должны быть в состоянии идентифицировать, по крайней мере, один соответствующий обзор. Однако даже при наличии систематических обзоров исследователи всё ещё сталкиваются с рядом трудностей. К примеру, выявленные систематические обзоры могут быть устаревшими или плохого качества, что потребует дополнительной работы (соответствующих навыков, времени и ресурсов) перед первичным исследованием. С другой стороны, отсутствие общих / единых измеряемых показателей и определений во включённых исследованиях может помешать статистическому синтезу результатов, что затруднит интеграцию новых результатов.
Принятие во внимание соответствующих текущих исследований при подготовке систематических обзоров и планировании новых исследований представляет собой ещё одну проблему для научно-обоснованных исследований. Несмотря на тот факт, что регистрация новых клинических испытаний стала стандартом [27], меньший прогресс существует в регистрации других видов исследований.
Эффективная разработка, обновление и распространение
Проведение систематических обзоров требует много времени и ресурсов, а многие клинические исследователи не обучены этому. Интеграция систематических обзоров в исследовательский контекст не только становится сложным аспектом для исследователей, которым нужно приобретать необходимые навыки, но и обеспечить условия, чтобы любые попытки ускорить основные процессы разработки систематических обзоров не ухудшали их качество. Это требует изменений в учебных программах, тесного сотрудничества между исследователями и библиотекарями, специалистами по информации и экспертами в области информационных технологий; целенаправленных инвестиций в оптимизацию и автоматизацию процессов.
В последние годы различные инициативы начали решать эту проблему. Наиболее заметная серия статей, посвящённых тому, как избежать пустых растрат затрат на исследования [28–34], привела к инициативе REWARD (Уменьшение пустых растрат и награда за усердие; http://researchwaste.net/). Другие важные инициативы были предприняты для более эффективной подготовки, обновления и распространения систематических обзоров, такие как Кокрейновское сотрудничество [35]. Осознание того, что многие из задач подготовки систематического обзора могут быть автоматизированы, привело к созданию в 2015 г. Международного сотрудничества в области автоматизации систематических обзоров. Были разработаны новые способы подготовки и обновления систематических обзоров, например «живые систематические обзоры» [36, 37]. Для определения необходимости новых исследований используют кумулятивный мета-анализ и другие методы [38–41]. Особый интерес для исследователей, планирующих проводить систематический обзор, представляют новые удобные для пользователя программные решения (http://systematicreviewtools.com/). Чтобы избежать дублирования усилий и обеспечить публикацию всех обзоров, теперь можно зарегистрировать систематические обзоры в PROSPERO [42], разработан другой реестр, посвящённый систематическим обзорам исследований на животных (http://www.syrcle.nl/).
Ответственность за научно-обоснованные исследования
Наше заявление по научно-обоснованным исследованиям определяет обязанности каждого, кто участвует в исследованиях (блок-схема). Как показано на рис. 1, ответственность исследователя заключается в планировании и проведении новых исследований, основанных на всех предыдущих и текущих исследованиях, имеющих отношение к предлагаемому новому исследованию. Нет необходимости готовить новый систематический обзор, если качественные обзоры уже существуют. Все исследователи должны быть способны проводить поиск, критически оценивать и интерпретировать систематические обзоры в контексте новых результатов исследования. Проведение или обновление систематического обзора можно поручить сторонним организациям, хотя было предложено, чтобы все исследователи начинали своё обучение исследовательской деятельности в области здравоохранения с подготовки, по меньшей мере, одного систематического обзора для обеспечения достаточного понимания специфики [23].
Критически важно, чтобы не только исследователи, но и все другие ключевые заинтересованные стороны в научном процессе — пациенты, финансирующие фонды и регуляторы (Примечание переводчика: государственные регуляторные органы), этические комитеты и издатели — признали свою ответственность за научно-обоснованные исследования. Пустые затраты на исследования и ненужный вред для пациентов можно предотвратить путём предоставления одобрения (финансирования) только тем предложениям (заявкам), которые обоснованы актуальным систематическим обзором. Требование ссылок на систематические обзоры, в которых обобщены все соответствующие более ранние исследования, должно стать руководящим принципом для всех, кто защищает исследовательский процесс вплоть до публикации. Старшие исследователи и преподаватели должны обеспечить условия, чтобы новые/молодые исследователи были обучены тому, как проводить научно-обоснованные исследования [23]. Специалисты в области информации и библиотекари играют решающую роль в обучении студентов систематическому поиску систематических обзоров, а также в подготовке и публикации исследований об улучшенных способах поиска литературы.
И последнее, но не менее важное: исследования и достаточные инвестиции в автоматизацию процесса систематического обзора имеют решающее значение для достижения и поддержания научно-обоснованных исследований, поскольку растущий объём медицинской литературы и усложнение изучаемых вмешательств [26] делают невозможным выполнение возросшего объёма работы, используя традиционные ручные методы подготовки обзоров.
Приглашение к действию
Задача определения и решения проблем для всех заинтересованных сторон может быть эффективно решена только посредством международного сотрудничества. Сообщество научно-обоснованных исследований EBRNetwork подготовило «дорожную карту» для публикаций (включая систематический обзор текущего состояния и влияния самих научно-обоснованных исследований), чтобы повысить осведомлённость о проблемах для различных групп заинтересованных сторон (документы о причастности) и предложить, как справляться с задачами, определёнными или обозначенными «Заявлением по научно-обоснованным исследованиям» (статьи: как делать). Для получения дополнительной информации перейдите на сайт: ebrnetwork.org.
Благодарности. Мы благодарим участников встречи в Бергене и членов сообщества научно-обоснованных исследований EVBRESNetwork за помощь в создании этого заявления. Мы также благодарны за финансовую поддержку со стороны Исследовательского совета Норвегии, Университетского колледжа Бергена, Норвежского центра знаний для служб здравоохранения, отдела статистики скелетно-мышечной группы, института Паркер (при поддержке Oak Foundation) и исследовательской группы SEARCH ПОИСК (Синтез доказательства и исследования) в Университете Южной Дании за то, что сделали это заявление и существование сообщества научно-обоснованных исследований (EBRNetwork) реальностью.
Авторы и источники. Это заявление разработано на инаугурационной встрече сообщества EBRNetwork в Бергене в декабре 2014 г., организованной MWN, GJ и HL. Все авторы участвовали во встрече и разработке заявления по научно-обоснованным исследованиям, EBR.
Конкурирующие интересы. Мы прочитали и поняли политику Британского медицинского журнала в отношении декларации интересов, и у нас нет соответствующих интересов, чтобы их декларировать. Сообщество научно-обоснованных исследований EBRNetwork не принимает поддержку от компаний, работающих в сфере здравоохранения.
Происхождение и рецензирование: не заказано; прошло внешнее рецензирование.
Научно-обоснованные исследования (НОИ), или исследования, основанные на доказательствах (ИОД) [Evidence-based research (EBR)]Заявление Начинать исследования, когда нет систематических обзоров, показывающих, что существует подлинная неопределённость, особенно когда в исследованиях участвуют люди и животные, неэтично, ненаучно и расточительно. Исследователи, фонды научных исследований, комитеты, ответственные за регуляцию исследований, и комитеты по этике исследований / учрежденческие контролирующие или наблюдательные комитеты, издатели исследований, исследовательские институты / преподаватели и специалисты по информации (библиотекари) часто не используют систематическим образом результаты более ранних исследований при подготовке к инициированию, финансированию или публикации результатов новых исследований. Ниже мы устанавливаем обязанности заинтересованных сторон для достижения целей научно-обоснованных исследований (или исследований, основанных на доказательствах):
Цель 1. Ни одного нового исследования без адекватного систематического обзора существующих доказательств того, что новое исследование является оправданным Исследователи
Финансирующие агентства
Комитеты, ответственные за регуляцию исследований, в том числе комитеты по этике исследований / учрежденческие контролирующие или наблюдательные комитеты
Редакторы и рецензенты
Преподаватели
Пациенты и потребители
Цель 2. Эффективная разработка, обновление и доступность систематических обзоров Специалисты по систематическим обзорам
|
Переводчик: А.И. Габдрахманов.
Редактор: Л.Е. Зиганшина.
(НОЦ Доказательной медицины Кокрейн Россия, Казанский федеральный университет).
Об авторах
Hans Lund
SEARCH Research Group, Department of Sports Sciences and Clinical Biomechanics, University of Southern Denmark; Centre for Evidence-Based Practice, Bergen University College
Автор, ответственный за переписку.
Email: hlund@health.sdu.dk
Норвегия, 55 DK 5230 Odense, Denmark; Bergen, Norway
Klara Brunnhuber
Centre for Evidence-Based Practice, Bergen University College
Email: hlund@health.sdu.dk
Норвегия, Bergen, Norway
Carsten Juhl
SEARCH Research Group, Department of Sports Sciences and Clinical Biomechanics, University of Southern Denmark; Department of Rehabilitation, Copenhagen University Hospital, Herlev and Gentofte
Email: hlund@health.sdu.dk
Дания, 55 DK 5230 Odense, Denmark; Copenhagen, Denmark
Karen Robinson
Johns Hopkins University
Email: hlund@health.sdu.dk
США, Baltimore, MD, USA
Marlies Leenaar
SYRCLE, Central Animal Laboratory, Radboud University Medical Center
Email: hlund@health.sdu.dk
Нидерланды, Nijmegen, the Netherlands
Bertil F Dorch
University Library of Southern Denmark, University of Southern Denmark
Email: hlund@health.sdu.dk
Дания, Odense, Denmark
Gro Jamtvedt
Centre for Evidence-Based Practice, Bergen University College; Department for Evidence Synthesis, Norwegian Knowledge Center for the Health Services
Email: hlund@health.sdu.dk
Норвегия, Bergen, Norway; Oslo, Norway
Monica W Nortvedt
Centre for Evidence-Based Practice, Bergen University College
Email: hlund@health.sdu.dk
Норвегия, Bergen, Norway
Robin Christensen
Email: hlund@health.sdu.dk
Copenhagen, Denmark
Дания, Musculoskeletal Statistics Unit, Parker Institute, Bispebjerg and Frederiksberg HospitalIain Chalmers
James Lind Initiative
Email: hlund@health.sdu.dk
Великобритания, Oxford, UK
Список литературы
- Young C., Horton R. Putting clinical trials into context. Lancet. 2005; 366: 107–108. doi: 10.1016/S0140-6736(05)66846-8. PMID: 16005318.
- Chalmers I. Academia’s failure to support systematic reviews. Lancet. 2005; 365: 469. doi: 10.1016/S0140-6736(05)70260-9. PMID: 15705448.
- Robinson K.A., Goodman S.N. A systematic examination of the citation of prior research in reports of randomized, controlled trials. Ann. Intern. Med. 2011; 154: 50–55. doi: 10.7326/0003-4819-154-1-201101040-00007. PMID: 21200038.
- Clarke M., Chalmers I. Discussion sections in reports of controlled trials published in general medical journals: islands in search of continents? JAMA. 1998; 280: 280–282. doi: 10.1001/jama.280.3.280. PMID: 9676682.
- Clarke M., Alderson P., Chalmers I. Discussion sections in reports of controlled trials published in general medical journals. JAMA. 2002; 287: 2799–2801. doi: 10.1001/jama.28721.2799. PMID: 12038916.
- Cooper N.J., Jones D.R., Sutton A.J. The use of systematic reviews when designing studies. Clin. Trials. 2005; 2: 260–264. doi: 10.1191/1740774505cn090oa. PMID: 16279149.
- Fergusson D., Glass K.C., Hutton B., Shapiro S. Randomized controlled trials of aprotinin in cardiac surgery: could clinical equipoise have stopped the bleeding? Clin. Trials. 2005; 2: 218–229, discussion 229-32. doi: 10.1191/1740774505cn085oa. PMID: 16279145.
- Clarke M., Hopewell S., Chalmers I. Clinical trials should begin and end with systematic reviews of relevant evidence: 12 years and waiting. Lancet. 2010; 376: 20–21. DOI: 10.1016/ S0140-6736(10)61045-8. PMID: 20609983.
- Sheth U., Simunovic N., Tornetta P 3rd et al. Poor citation of prior evidence in hipfracturetrials. J. Bone. Joint Surg. Am. 2011; 93: 2079–2086. doi: 10.2106/JBJS. J.01274. PMID: 22262379.
- Habre C., Tramer M.R., Popping D.M., Elia N. Ability of a meta-analysis to prevent redundant research: systematic review of studies on pain from propofol injection. BMJ. 2014; 348: g5219. doi: 10.1136/bmj.g5219. PMID: 25161280.
- Sawin V.I., Robinson K.A. Biased and inadequate citation of prior research in reports of cardiovasculartrials is a continuing source ofwaste in research. J. Clin. Epidemiol. 2016; 69: 174–178. PMID: 26086727.
- Clarke M., Hopewell S., Chalmers I. Reports of clinical trials should begin and end with up-to-date systematic reviews of other relevant evidence: a status report. J. R. Soc. Med. 2007; 100: 187–190. doi: 10.1258/jrsm.100.4.187. PMID: 17404342.
- Greenberg S.A. How citation distortions create unfounded authority: analysis ofacitation network. BMJ. 2009; 339: b2680. doi: 10.1136/bmj.b2680. PMID: 19622839.
- Bastiaansen J.A., de Vries Y.A., Munafo M.R. Citation distortions in the literature on the serotonin-transporter-linked polymorphic region and amygdala activation. Biol. Psychiatry. 2015; 78: e35–36. doi: 10.1016/j.biopsych.2014.12.007. PMID: 25866295.
- Thornley C., Watkinson A., Nicholas D. et al. The role of trust and authority in the citation behaviour of researchers. Information Research. 2015; 20: 677.
- Perino A.C., Hoang D.D., Holmes T.H. et al. Association between success rate and citation count of studies of radiofrequency catheter ablation for atrial fibrillation: possible evidence of citation bias. Circ. Cardiovasc. Qual. Outcomes. 2014; 7: 687–692. doi: 10.1161/CIRCOUTCOMES.114.000912. PMID: 25205786.
- Jannot A.S., Agoritsas T., Gayet-Ageron A., Perneger T.V. Citation bias favoring statistically significant studies was present in medical research. J. Clin. Epidemiol. 2013; 66: 296–301. doi: 10.1016/j.jclinepi.2012.09.015. PMID: 23347853.
- Fiorentino F., Vasilakis C., Treasure T. Clinical reports of pulmonary metastasectomy for colorectal cancer: a citation network analysis. Br. J. Cancer. 2011; 104: 1085–1097. doi: 10.1038/sj.bjc.6606060. PMID: 21386844.
- Robinson K.A. Use of prior research in the justification and interpretation of clinical trials. Johns Hopkins University, 2009.
- National Institute for Health Research. Guidance notes for applicants: outline applications. NIHR, 2016.
- Chalmers I. The lethal consequences of failing to make full use of all relevant evidence about the effects of medical treatments: the importance of systematic reviews. In: Rothwell P.M. ed. Treating individuals — from randomised trials to personalised medicine. Lancet. 2007; 37–58.
- Lund H., Juhl C., Christensen R. Systematic reviews and research waste. Lancet. 2016; 387: 123–124. doi: 10.1016/S0140-6736(15)01354-9. PMID: 26841992.
- Mahtani K.R. All health researchers should begin their training by preparing at least one systematic review. J. R. Soc. Med. 2016; 109: 264–268. doi: 10.1177/0141076816643954. PMID: 27118697.
- Kleinert S., Benham L., Collingridge D. et al. Further emphasis on research in context. Lancet. 2014; 384: 2176–2177. doi: 10.1016/S0140-6736(14)62047-X. PMID: 25625383.
- Jefferson T., Deeks J. The use of systematic reviews for editorial peer reviewing: a population approach. In: Godlee F., Jefferson T. eds. Peer review in health sciences. BMJ Books. 1999: 224–234.
- Bastian H., Glasziou P., Chalmers I. Seventy-five trials and eleven systematic reviews a day: how will we ever keep up? PLoS Med. 2010; 7: e1000326. doi: 10.1371/journal.pmed.1000326. PMID: 20877712.
- Dickersin K., Rennie D. Registering clinical trials. JAMA. 2003; 290: 516–523. doi: 10.1001/jama.290.4.516. PMID: 12876095.
- Chalmers I., Glasziou P. Systematic reviews and research waste. Lancet. 2016; 387: 122–123. doi: 10.1016/S0140-6736(15)01353-7. PMID: 26841991.
- Macleod M.R., Michie S., Roberts I. et al. Biomedical research: increasing value, reducing waste. Lancet. 2014; 383: 101–104. doi: 10.1016/S0140-6736(13)62329-6. PMID: 24411643.
- Ioannidis J.P., Greenland S., Hlatky M.A. et al. Increasing value and reducing waste in research design, conduct, and analysis. Lancet. 2014; 383: 166–175. doi: 10.1016/S0140- 6736(13)62227-8. PMID: 24411645.
- Glasziou P., Altman D.G., Bossuyt P. et al. Reducing waste from incomplete or unusable reports of biomedical research. Lancet. 2014; 383: 267–276. doi: 10.1016/S0140-6736(13) 62228-X. PMID: 24411647.
- Chan A.W., Song F., Vickers A. et al. Increasing value and reducing waste: addressing inaccessible research. Lancet. 2014; 383: 257–266. doi: 10.1016/S0140-6736(13)62296-5. PMID: 24411650.
- Al-Shahi Salman R., Beller E., Kagan J. et al. Increasing value and reducing waste in biomedical research regulation and management. Lancet. 2014; 383: 176–185. DOI: 10.1016/ S0140-6736(13)62297-7. PMID: 24411646.
- Chalmers I., Glasziou P. Avoidable waste in the production and reporting of research evidence. Lancet. 2009; 374: 86–89. doi: 10.1016/S0140-6736(09)60329-9. PMID: 19525005.
- Starr M., Chalmers I., Clarke M., Oxman A.D. The origins, evolution, and future of The Cochrane Database of Systematic Reviews. Int. J. Technol. Assess Health Care. 2009; 25 (Suppl. 1): 182–195. doi: 10.1017/S026646230909062X. PMID: 19534840.
- Elliott J.H., Turner T., Clavisi O. et al. Living systematic reviews: an emerging opportunity to narrow the evidence-practice gap. PLoS Med. 2014; 11: e1001603. doi: 10.1371/journal. pmed.1001603. PMID: 24558353.
- Vandvik P.O., Brignardello-Petersen R., Guyatt G.H. Living cumulative network meta-analysis to reduce waste in research: A paradigmatic shift for systematic reviews? BMC Med. 2016; 14: 59. doi: 10.1186/s12916-016-0596-4. PMID: 27025849.
- Clarke M., Brice A., Chalmers I. Accumulating research: a systematic account of how cumulative meta-analyses would have provided knowledge, improved health, reduced harm and saved resources. PLoS One. 2014; 9: e102670. doi: 10.1371/journal.pone. 0102670. PMID: 25068257.
- Siebert U., Rochau U., Claxton K. When is enough evidence enough? — Using systematic decision analysis and value-of-information analysis to determine the need for further evidence. Z. Evid. Fortbild. Qual. Gesundhwes 2013; 107: 575–584. doi: 10.1016/j.zefq.2013.10.020. PMID: 24315327.
- Garner P., Hopewell S., Chandler J. et al. Panel for updating guidance for systematic reviews (PUGs). When and how to update systematic reviews: consensus and checklist. BMJ. 2016; 354: i3507. doi: 10.1136/bmj.i3507. PMID: 27443385.
- Wetterslev J., Thorlund K., Brok J., Gluud C. Trial sequential analysis may establish when firm evidence is reached in cumulative meta-analysis. J. Clin. Epidemiol. 2008; 61: 64–75. doi: 10.1016/j.jclinepi.2007.03.013. PMID: 18083463.
- Booth A., Clarke M., Dooley G. et al. The nuts and bolts of PROSPERO: an international prospective register of systematic reviews. Syst. Rev. 2012; 1: 2. doi: 10.1186/2046-4053-1-2. PMID: 22587842.