Assessment of presentation quality of the results of clinical trials in accordance with the standards of CONSORT

Abstract


Randomized clinical trials (RCTs) are currently recognized as the gold standard for evaluating the efficacy and safety of medical interventions. However, often the presentation of the results of RCTs in reports and articles does not give a complete and reliable description of all the results of the test, which often leads to incorrect conclusions and guidelines. In order to comply with certain uniform requirements for reporting documents based on materials of the conducted RCT, a group of authors and editors of medical journals in the early 1990s came out with a proposal to the medical community about using common standards for presenting RCT results, which they called CONSORT (CONsolidated Standards Of Reporting). The first version of CONSORT, however, caused a lot of criticism from both authors and editors of journals. The accumulated critical comments were taken into account by the developers of the revised and published in 2010 version of CONSORT, which is currently accepted as a reference for presenting the results of RCT in the world's leading medical journals. CONSORT 2010 contains a statement, supplemented with a set of questions on the conducted RCT, requiring a clearly formalized answer, and a flowchart for visual presentation of the results. In addition, the CONSORT developers submitted a separate document to clarify the terms in order to clarify the cases of application of this methodology. It is important to understand that CONSORT does not include recommendations for developing, conducting and analyzing the trials. It contains only reports on what and how it was done, what was eventually established, and only indirectly affects the design and conduct of RCT. However, authors who are familiar with the requirements of CONSORT will strive to meet these requirements when planning and conducting RCTs. As an example, the article presents a case of assessing the quality of the presentation of one of the RCTs according to CONSORT 2010 standards.


Клиническое исследование — научное исследование с участием людей-добровольцев, именуемых участниками, призванное ответить на важный, но пока не решённый вопрос здравоохранения. Различают два основных типа клинических исследований: клиническое испытание, или интервенционное исследование, и обсервационное, или наблюдательное, ис­следование.

Клинические испытания служат основным способом, с помощью которого исследователи выясняют, является ли лечение с применением нового лекарства либо медицинского устройства (например, кардиостимулятора) или новая диагностическая процедура, или новый способ оказания либо организации помощи безопасными и эффективными для людей. Важная задача клинического испытания — сравнение нового метода с уже используемым, стандартным, то есть оценка того, является ли новое вмешательство более эффективным и/или менее опасным, чем стандартное лечение [1, 2].

Золотым стандартом в оценке медицинских вмешательств служат рандомизированные клинические испытания (РКИ), когда участников исследования распределяют в группы случайным образом. Однако для объективной оценки результатов РКИ должны быть подготовлены, проведены и представлены надлежащим образом, поскольку зачастую они дают необъективные результаты при несоблюдении строгой методологии. Ошибки при организации исследования, недостатки при представлении результатов приводят к риску смещения (систематической ошибке) при оценке эффекта лечения. Такие ошибки отражают несовершенство научного подхода и могут поставить под сомнение соблюдение необходимых и обязательных этических норм [3, 4].

Для правильной интерпретации данных опубликованные статьи о результатах клинических испытаний нуждаются в полноценной, ясной и прозрачной информации о методологии проведения испытания и его результатах. К сожалению, во многих случаях авторы отчётов не предоставляют ясных и полных описаний всего процесса проведения и анализа РКИ [5, 6].

Сложившаяся ситуация привела в начале 90-х годов прошлого века к разработке стандартного инструмента представления результатов РКИ. Для этого две группы учёных объединили усилия, в их состав вошли редакторы медицинских журналов, исследователи и специалисты по методологии проведения исследований, которые ранее независимо друг от друга опубликовали рекомендации по представлению результатов РКИ [7, 8].

Пусковым моментом стала редакционная статья D. Rennie [9], заместителя главного редактора JAMA (Журнала Американской медицинской ассоциации), ранее содиректора Кокрейновского центра Сан-Франциско, в которой автор призвал эти две группы объединить усилия и разработать единые материалы по данной ­проблеме. Так были созданы единые стандарты представления результатов РКИ (CONSORT — от англ. CONsolidated Standards Of Reporting Trials) с целью оказания помощи авторам в повышении качества представления результатов путём применения специального контрольного списка и схемы проведения РКИ [10].

Первоначальная версия CONSORT была опубликована в 1996 г., после чего стандарты были признаны редакционными коллективами многих медицинских журналов [11–14] и крупными международными сообществами редакторов, включая Международный комитет редакторов медицинских журналов, также известный как Ванкуверская группа [15].

Несмотря на то обстоятельство, что предварительные данные указывали на достоверное повышение качества представления результатов клинических испытаний при использовании инструмента CONSORT, первый его вариант вызвал множество замечаний, в том числе и критических. В частности, критиковали, что в документе были использованы не вполне понятные термины, а в схеме проведения РКИ не была представлена важная информация о количестве участников в каждой его стадии [16]. В связи с этим была начата работа по пересмотру CONSORT, и в результате появился его обновлённый вариант [17–21].

Во время работы над новым вариантом стало ясно, что инструмент улучшил качество отчётов, но проблемы сохранялись, а также появились новые методологические доказательства. По этой причине разработчики CONSORT созывают рабочую группу на совещание и ставят задачу обновления инструмента (контрольного списка, или чек-листа) [22]. В результате кропотливого процесса появляется CONSORT 2010 [23].

Основные документы CONSORT 2010 следующие: заявление (CONSORT 2010 Statement), контрольный список, или чек-лист (CONSORT 2010 Checklist), блок-схема (­CONSORT 2010 Flow Diagram) и разъяснения (CONSORT 2010 Explanation and Elaboration). В этих документах содержится описание рекомендаций CONSORT по составлению отчётов (представлению результатов) обо всех РКИ, представлены блок-схема и список контрольных вопросов, на которые следует ответить авторам, приведены объяснения и пояснения, которые обеспечивают методологическое обоснование и дают примеры должного или прозрачного представления результатов. Разработчики CONSORT 2010 публикуют в нескольких ведущих журналах подробное описание всех документов, разъясняют варианты, приводят примеры [24–26].

В блок-схеме CONSORT 2010 в основном изложены требования к цифровым показателям проведённого исследования — сколько всего пациентов были отобраны для проведения испытания, сколько из них были исключены по разным причинам (не соответствовали критериям включения, не захотели участвовать, другие причины), сколько пациентов участвовали в рандомизации в группу контроля (плацебо или стандартной терапии) и группу исследуемого вмешательства. В блоке о распределении в каждой из этих групп следует указать количество пациентов, получивших и не получивших назначенное лечение, назвав причины того, почему они не получили лечение. В следующем блоке указывают число пациентов, прекративших участие в испытании и/или за которыми было невозможно проводить наблюдение. В последнем блоке указывают количество пациентов, которые в итоге подвергались анализу, а также число пациентов, не попавших в анализ, и причины этого.

Чек-лист CONSORT 2010 состоит из 25 вопросов (некоторые имеют два подпункта), описывающих все части отчёта (статьи) по проведённому испытанию. Вопросы объединены в разделы, такие как «Название и реферат», «Введение», «Методы», «Участники», «Вмешательства», «Исходы», «Величина выборки», «Рандомизация», «Результаты», «Вред», «Обсуждение», «Финансирование». Автор должен вписать в чек-лист номер страницы отчёта (статьи), где даётся ответ на этот вопрос. Следует отметить, что некоторые вопросы не представляют каких-­либо сложностей для ответа, например «Определено ли в названии, что это рандомизированное испытание?». Однако бо́льшая часть вопросов требует более обстоятельного понимания сути вопроса и используемых терминов, для чего существуют специальные разъяснения [27].

Важно понимать, что CONSORT 2010 не включает рекомендаций по разработке, проведению и анализу испытаний. Он содержит исключительно план сообщения о том, что и как было сделано, что было в итоге установлено, и лишь косвенно влияет на дизайн и проведение РКИ. Однако авторы, имеющие представление о требованиях CONSORT, будут стремиться при планировании и проведении РКИ соответствовать этим требованиям.

В настоящее время CONSORT получил признание и поддержку редакциями 585 журналов, публикующих результаты РКИ на многих языках мира. Международный комитет редакторов медицинских журналов (www.icmje.org), Совет научных редакторов и Всемирная ассоциация медицинских редакторов официально поддерживают CONSORT и рекомендуют, а нередко и обязывают использовать его при публикации результатов РКИ.

В качестве примера приводим результат анализа по правилам CONSORT 2010 статьи, опубликованной в отечественном журнале с описанием результатов РКИ [28].

В этой статье группа авторов описывает результаты РКИ, посвящённого фармакотерапевтической эффективности и безопасности с оценкой риска неблагоприятных исходов включения ремаксола в терапию хронических поражений печени.

Заполнение блок-схемы CONSORT 2010 (рис. 1) по этому РКИ выявило отсутствие в ­статье некоторых важных цифр (в блок-схеме поставлены вопросительные знаки), в частности в ней не указано, какое количество пациентов было изначально оценено на приемлемость, сколько пациентов и по каким причинам были исключены из исследования. Затем косвенно по таблицам с результатами можно установить, что в группе ремаксола препарат получали 293 пациента из 294 человек в этой группе. В отношении 1 пациента неясно: то ли он не получал препарата, то ли прекратил его принимать, то ли просто его результаты были по каким-то причинам исключены. Те же вопросы возникают в отношении 3 пациентов из группы контроля, получавших стандартную терапию.

 

Рис. 1. Блок-схема CONSORT 20101, составленная по результатам рандомизированного клинического исследования, описанного Т.В. Сологуб и соавт. [29]

 

Заполнение контрольного списка CONSORT 2010 также выявило существенный недостаток фактического материала в статье (табл. 1). В частности, реферат статьи не структурирован, дизайн РКИ не указан, не указаны место, время и количество участников исследования в конкретных медучреждениях и т.д. Многие вопросы, касающиеся рандомизации, представления результатов и их обсуждения, остаются без ответа.

 

Таблица 1. Контрольный лист CONSORT 20102 по информации, которая присутствует в статье, представляющей ­результаты рандомизированного клинического испытания [28]

Раздел/Тема

№ вопроса

Пункт контрольного листа

Изложено на странице №

Заголовок и реферат

1a

В названии определено, что это рандомизированное испытание

116

1b

Структурированное резюме дизайна испытания, методов, результатов и выводов (для конкретных указаний смотрите ­CONSORT по рефератам)

Введение

Предпосылки и цели

2a

Научные предпосылки / актуальность и обоснование смысла проведения испытания

117–118

2b

Конкретные цели и гипотезы

118

Методы

Дизайн испытания

3a

Описание дизайна испытания (например, параллельный, факторный), в том числе соотношение для определения в группу исследования

3b

Важные изменения, внесённые в методы после начала испытания (например, критерии приемлемости), с объяснением причин

Участники

4a

Критерии приемлемости для участников

4b

Условия и местоположения, где производился сбор данных

Вмешательства

5

Вмешательства для каждой группы с приведением деталей, достаточных для воспроизведения, в том числе, сколько, как и когда они были фактически применены

118

Исходы

6a

Полностью определены заранее конкретизированные первичные и вторичные показатели исходов, включая указание на то, как и когда они были оценены

118

6b

Любые изменения, внесённые в исходы испытаний после начала испытания, с объяснением причин

Величина выборки

7a

Как была определена величина выборки

7b

Когда это применимо, объяснение любого промежуточного анализа и руководящих принципов прекращения исследования

Рандомизация

Генерирование последовательности для определения участников в группы исследования

8a

Метод, использованный для генерирования случайной последовательности определения участников в группы исследования

118

8b

Тип рандомизации; детали любого ограничения (например, объединение в блоки, размер блока)

Механизм сокрытия

определения участников в группы исследования

9

Механизм, использованный для осуществления случайной последовательности определения участников в группы исследования (такой, как последовательно пронумерованные контейнеры), описаны любые шаги, предпринятые для сокрытия этой последовательности, до того как вмешательства были назначены

Осуществление / выполнение

10

Кто генерировал случайную последовательность определения участников в группы исследования, кто вводил в список участников, кто определил участников в группы вмешательств

Ослепление

11a

Если проводилось, кто был ослеплён после определения в группы вмешательств (например, участники, медицинские работники, лица, оценивающие исходы) и каким образом

11b

Если применимо, описание подобия вмешательств

118

Статистические методы

12a

Статистические методы, использованные для сравнения групп по первичным и вторичным исходам

118

12b

Методы дополнительных анализов, такие как анализы по подгруппам и скорректированные анализы

Результаты

Представление участников в числах по ходу испытания (настоятельно рекомендуется диаграмма)

13a

Для каждой группы чётко указано число участников, которые 1) были случайным образом определены в группы вмешательств, 2) получили намеченное лечение, 3) были включены в анализ первичных исходов

13b

Для каждой группы, чётко указаны потери и исключения участников после рандомизации с причинами

Набор участников исследования

14a

Даты, определяющие периоды набора участников и последующего наблюдения

14b

Почему испытание завершилось или было остановлено

Исходные данные

15

Таблица, указывающая исходные демографические и клинические характеристики каждой группы

119

Числа для анализа

16

Для каждой группы, число участников (знаменатель), включённых в каждый анализ, и был ли анализ проведён в первоначально определённых группах

Исходы и оценки

17a

Для каждого первичного и вторичного исхода результаты представлены по каждой группе, а также оцененная величина эффекта и её точность (например, доверительный интервал 95%)

119–121

17b

Для бинарных исходов рекомендуется представление как абсолютных, так и относительных показателей величин эффекта

Дополнительные анализы

18

Результаты любых других проведённых анализов, включая анализы по подгруппам и скорректированные анализы, представлены. При этом должны быть разделены анализы, заранее конкретизированные (утверждённые на предварительном этапе) и носящие исследующий характер

119–120

Вред

19

Все важные виды вреда или непреднамеренные эффекты в каждой группе (для конкретных указаний смотрите CONSORT по вреду)

122

Обсуждение

Ограничения

20

Ограничения исследования, рассмотрение источников потенциальной предвзятости (смещения), неточности и, если применимо, многообразие использованных видов анализа

Обобщаемость

21

Обобщаемость (внешняя валидность, применимость) результатов испытания

Интерпретация

22

Интерпретация соответствует результатам, представлен баланс пользы и вреда, приняты во внимание другие соответствующие доказательства

Другая информация

Регистрация

23

Регистрационный номер и наименование регистра испытаний

Протокол

24

Где можно получить доступ к полному протоколу испытания, если имеется

Финансирование

25

Источники финансирования и другая поддержка (например, снабжение лекарственными средствами), роль финансирующих организаций

 

Таким образом, простое заполнение блок-схемы и контрольного списка выявило значительный дефицит сведений по этому РКИ, что ограничивает его объективную оценку. Это не означает, однако, что это РКИ проведено не надлежащим образом, или что у авторов нет этих сведений, речь идёт о неполноценном представлении результатов РКИ. Очевидно, что если бы авторы при написании статьи имели перед собой требования CONSORT, то, вероятно, они бы смогли представить всю необходимую информацию, и читатель смог бы получить полную объективную картину о результатах проведённого РКИ.

В заключение, CONSORT 2010 является мощным инструментом, позволяющим разрабатывать план-дизайн и полноценно описать проведённое РКИ, которое поддерживается значительным числом ведущих медицинских журналов. На сайте Consort в настоящее время представлены документы на 13 языках, в том числе на русском [29]. Мы считаем, что было бы правильно, если бы редакции отечественных медицинских журналов рекомендовали своим авторам придерживаться требований CONSORT 2010 при представлении результатов РКИ и их планировании.

 

Авторы заявляют об отсутствии конфликта интересов по представленной статье.

L V Kisar’

Department of drug supply and information technologies

Email: lezign@gmail.com
Kaliningrad, Russia

A U Ziganshin

Kazan State Medical University

Email: lezign@gmail.com
Kazan, Russia

L E Ziganshina

Cochrane Russia, Research and Education Center for Evidence-Based Medicine, Kazan Federal University

Author for correspondence.
Email: lezign@gmail.com
Kazan, Russia

  1. Association of Clinical Research Organizations. http://acto-russia.org/index.php?option=com_content&task=view&id=184 (access date: 17.04.2019). (In Russ.)
  2. Clinical trials in Russian Federation. http://clinical-rials.ru/about_trials.html (access date: 17.04.2019). (In Russ.)
  3. Jüni P., Altman D.G., Egger M. Systematic reviews in health care: Assessing the quality of controlled clinical trials. Brit. Med. J. 2001; 323: 42–46. doi: 10.1136/bmj.323.7303.42.
  4. Chan A.W., Altman D.G. Epidemiology and reporting of randomised trials published in PubMed journals. Lancet. 2005; 365: 1159–1162. doi: 10.1016/S0140-6736(05)71879-1.
  5. Glasziou P., Meats E., Heneghan C., Shepperd S. What is missing from descriptions of treatment in trials and reviews? Brit. Med. J. 2008; 336: 1472–1474. doi: 10.1136/bmj.39590.732037.47.
  6. Dwan K., Altman D.G., Arnaiz J.A. et al. Systematic review of the empirical evidence of study publication bias and outcome reporting bias. PLoS ONE. 2008; 3: e3081. doi: 10.1371/journal.pone.0003081.
  7. A proposal for structured reporting of randomized controlled trials. The Standards of Reporting Trials Group. JAMA. 1994; 272: 1926–1931. doi: 10.1001/jama.272.24.1926.
  8. Call for comments on a proposal to improve repor­ting of clinical trials in the biomedical literature. Working Group on Recommendations for Reporting of Clinical Trials in the Biomedical Literature. Ann. Intern. Med. 1994; 121: ­894–895. doi: 10.7326/0003-4819-121-11-199412010-00015.
  9. Rennie D. Reporting randomized controlled trials. An experiment and a call for responses from readers. JAMA. 1995; 273: 1054–1055. doi: 10.1001/jama.273.13.1054.
  10. Begg C., Cho M., Eastwood S. et al. Improving the quality of reporting of randomized controlled trials. The CONSORT statement. JAMA. 1996; 276: 637–639. doi: 10.1001/jama.1996.03540080059030.
  11. Altman D.G. Better reporting of randomized controlled trials: the CONSORT statement. Brit. Med. J. 1996; 313: 570–571. doi: 10.1136/bmj.313.7057.570.
  12. A standard method for reporting randomized me­dical scientific research; the Consolidation of the standards of reporting trials (CONSORT). Ned. Tijdschr. Geneeskd. 1998; 142: 1089–1091. PMID: 9623225.
  13. Huston P., Hoey J. CMAJ endorses the CONSORT statement. CONsolidation of Standards for Reporting Trials. CMAJ. 1996; 155: 1277–1282. PMID: 8911294.
  14. Ausejo M., Saenz A., Moher D. CONSORT: an attempt to improve the quality of publication of clinical trials. Aten. Primaria. 1998; 21: 351–352. PMID: 9633133.
  15. Davidoff F. News from the International Committee of Medical Journal Editors. Ann. Intern. Med. 2000; 133: 229–231. doi: 10.7326/0003-4819-133-3-200008010-00017.
  16. Meinert C.L. Beyond CONSORT: need for improved reporting standards for clinical trials. Consolidated Standards of Reporting Trials. JAMA. 1998; 279: 1487–1489. doi: 10.1001/jama.279.18.1487.
  17. Moher D., Jones A., Lepage L. Use of the ­CONSORT statement and quality of reports of randomized trials: a comparative before-and-after evaluation. JAMA. 2001; 285: 1992–1995. doi: 10.1001/jama.285.15.1992.
  18. Moher D., Schulz K.F., Altman D. The ­CONSORT statement: revised recommendations for improving the qua­lity of reports of parallel-group randomized trials. JAMA. 2001; 285: 1987–1991. doi: 10.1001/jama.285.15.1987.
  19. Egger M., Juni P., Bartlett C. Value of flow diagrams in reports of randomized controlled trials. JAMA. 2001; 285: 1996–1999. doi: 10.1001/jama.285.15.1996.
  20. Moher D., Schulz K.F., Altman D.G. The ­CONSORT statement: revised recommendations for improving the quality of reports of parallel group randomized trials. Ann. Intern. Med. 2001; 134: 657–662. doi: 10.7326/0003-4819-134-8-200104170-00011.
  21. Moher D., Schulz K.F., Altman D.G. The ­CONSORT statement: revised recommendations for improving the qua­lity of reports of parallel-group randomised trials. Lancet. 2001; 357: 1191–1194. doi: 10.1016/S0140-6736(00)04337-3.
  22. Campbell M.K., Elbourne D.R., Altman D.G. ­CONSORT statement: extension to cluster randomised trials. Brit. Med. J. 2004; 328: 702–708. doi: 10.1136/bmj.328.7441.702.
  23. CONSORT Transparent reporting of trials. http://www.consort-statement.org/about-consort (access date: 17.04.2019).
  24. Schulz K.F., Altman D.G., Moher D. ­CONSORT 2010 statement: Updated guidelines for reporting parallel group randomised trials. Int. J. Surg. 2012; 9 (8): 672–677. doi: 10.1016/j.ijsu.2011.09.004.
  25. Schulz K.F., Altman D.G., Moher D. ­CONSORT 2010 statement: Updated guidelines for reporting parallel group randomised trials. J. Clin. Epidemiol. 2010; 63 (8): 834–840. doi: 10.1016/j.jclinepi.2010.02.005.
  26. Schulz K.F., Altman D.G., Moher D., Fergusson D. CONSORT 2010 changes and testing blindness in RCTs. Lancet. 2010; 375: 1144–1146. doi: 10.1016/S0140-6736(10)60413-8.
  27. Moher D., Hopewell S., Schulz K.F. et al. ­CONSORT 2010 explanation and elaboration: updated guidelines for reporting parallel group randomised trials. Int. J. Surg. 2012; 10 (1): 28–55. doi: 10.1016/j.ijsu.2011.10.001.
  28. Sologub T.V., Goryacheva L.G., Sukhanov D.S. et al. Study of pharmacotherapeutic efficacy, safety with an assessment of the risk of adverse outcomes of inclusion of remaxol in the treatment of chronic liver da­mage (based on multicenter randomized clinical trials). Vestnik Sankt-Peterburgskoy gosudarstvennoy meditsinskoy aka­demii im. I.I. Mechnikova. 2009; (2): 116–124. (In Russ.)
  29. CONSORT Transparent reporting of trials. http://www.consort-statement.org/downloads/translations (access date: 17.04.2019).

Supplementary files

There are no supplementary files to display.

Views

Abstract - 71

PDF (Russian) - 86

Cited-By


PlumX


© 2019 Kisar’ L.V., Ziganshin A.U., Ziganshina L.E.

Creative Commons License

This work is licensed
under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.


Свидетельство о регистрации СМИ ЭЛ № ФС 77-75008 от 1 февраля 2019 года выдано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор)


This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies