Тестирование нового терапевтического вмешательства (например, лекарственного препарата или хирургической процедуры) на людях – дело дорогое, рискованное и этически сложное, поэтому подавляющее большинство сначала тестируется на животных. К сожалению, стоимость и этические вопросы ограничивают размер исследований на животных, что дает им ограниченную статистическую мощность, и в результате в научной литературе содержится множество исследований, результаты которых либо не уверены в своих результатах, либо противоречат друг другу. Способом обойти это ограничение было проведение «метаанализа»: ученые собирают данные из большого количества опубликованных исследований по одному и тому же вмешательству, объединяют их, используя сложные статистические методы, а затем получают гораздо более прочную основу, на которой решить, продолжать ли клинические испытания на людях.
В новом исследовании Константинос Цилидис, Джон Иоаннидис и его коллеги из Стэнфордского университета изучили 160 ранее опубликованных метаанализов исследований на животных, посвященных потенциальным методам лечения ряда серьезных неврологических расстройств человека (рассеянный склероз, инсульт, болезнь Паркинсона, болезнь Альцгеймера и позвоночник). травма пуповины).
Эти метаанализы охватили 1000 опубликованных оригинальных исследований на животных, в которых сравнивались более 4000 наборов животных. Авторы "метаанализа метаанализа" использовали наиболее точное исследование в каждом метаанализе как оценку истинной величины эффекта конкретного лечения.
Затем он спросил, содержит ли ожидаемое количество исследований статистически значимые выводы. Вызывает тревогу то, что авторы обнаружили, что более чем в два раза больше исследований, чем ожидалось, оказались статистически значимыми.
Авторы предполагают, что это «предвзятость из-за чрезмерной значимости», а не умышленное мошенничество со стороны ученых, проводивших оригинальные исследования, происходит из двух основных источников.
Во-первых, ученые, проводящие исследования на животных, склонны выбирать метод анализа данных, который дает им «лучший» результат. Вторая возникает потому, что ученые обычно хотят публиковаться в престижных журналах; такие журналы, как правило, предпочитают исследования с положительными, а не отрицательными результатами. Многие исследования с отрицательными результатами даже не отправляются для публикации или, если они представлены, либо не могут быть опубликованы, либо публикуются с опозданием в малозаметных журналах, что снижает их шансы на включение в метаанализ.
Вполне вероятно, что типы систематической ошибки, описанные в новом документе PLOS Biology, были ответственны за ненадлежащее продвижение методов лечения из исследований на животных в клинические испытания на людях. Также кажется маловероятным, что это явление ограничивается исследованиями неврологических расстройств; скорее, это, вероятно, общая черта отчетов об исследованиях на животных.
Авторы предлагают несколько способов устранения наблюдаемой ими систематической ошибки. Во-первых, исследования на животных должны соответствовать строгим руководящим принципам (например, руководствам ARRIVE) по дизайну и анализу исследований.
Во-вторых, исследования на животных (например, клинические испытания на людях) должны быть предварительно зарегистрированы, чтобы гарантировать публикацию результатов, какими бы отрицательными они ни были. В-третьих, доступность методологических деталей и необработанных данных облегчит другим ученым проверку опубликованных исследований.