Как не быть обманутым фальшивой наукой

Как не быть обманутым фальшивой наукой
Как не быть обманутым фальшивой наукой

Допустим, вы видите статью о том, как шоколад может предотвратить старение. Вы хотите выяснить, что происходит на самом деле, поэтому вы берете исходное исследование. Вот как вы это правильно прочитали.

Итак, вы хотите прочитать исследование?

Прежде всего, поздравляю. Большинство людей не остаются в стороне от заголовков СМИ, которые часто пишутся с расчетом на клики, а не с точной правдой. Чтение оригинальной исследовательской работы может дать вам подробный отчет о новом открытии и поместить результаты в надлежащий контекст. Новость из крупного издания теоретически должна делать то же самое - а в наши дни есть множество примеров выдающейся научной журналистики, - но даже самые лучшие репортажи, вероятно, не будут содержать тех же деталей, что и сами ученые.

Проблема в том, что рецензируемые исследования плотны, детализированы и сложны для навигации. Как внештатный научный журналист для таких изданий, как Science и Nautilus, у меня была возможность освещать все, от сексуальной жизни кальмаров-вампиров до стрельбы в полиции и роботизированных экзоскелетов. Не существует единственного правильного способа прочитать исследовательскую работу, но попутно я разработал достаточно исчерпывающее руководство по наиболее важным вещам, на которые следует обратить внимание при чтении исследования. Вот некоторые из привычек и техник, которые мне помогли.

Прежде чем вы начнете

Во-первых, поймите, что наука - это постепенный процесс: каждое исследование основывается на предыдущей работе, и в большинстве случаев наши знания по предмету очень незначительны. Такие выдающиеся открытия, как двойная спираль ДНК или бозон Хиггса, редки и обычно получают освещение в крупных СМИ и, возможно, присуждение Нобелевской премии. Большая часть науки имеет чрезвычайно узкую направленность: один белок, один ген, одна молекула лекарства в одной группе подопытных животных. Обычное исследование - это всего лишь часть огромной неполной головоломки. Это может быть бесценный материал, но люди, в том числе журналисты, попадают в затруднительное положение, чрезмерно обобщая результаты, вырывая их из контекста или экстраполируя результаты на ситуации, которые ученые никогда не собирались рассматривать.

Кроме того, прежде чем вы начнете читать, найдите в Google журнал, в котором публикуется данная публикация. Ученые любят говорить о «импакт-факторах» или об относительном престиже различных журналов, но тонны великих научных работ публикуются в меньших, менее известных журналы и даже такие гиганты, как Science и Nature, не застрахованы от периодической публикации мусора. Вы должны быть уверены, что не читаете из журнала с оплатой за публикацию, который будет брать деньги у кого угодно и печатать что угодно, независимо от его качества и без рецензирования. Рецензирование - это основа научного процесса, и этот процесс жизненно важен, даже если он несовершенен. Ни одному журналу, который экономит на этом, нельзя доверять.

Чтобы дать вам представление о том, каких публикаций следует избегать, вот список «потенциальных, возможных или вероятных хищных научных издателей с открытым доступом».

Наконец, погуглите авторов. Какая у них квалификация? Что они делали в прошлом? Где они работают?

Когда начать

Начните с аннотации статьи - вводной версии исследования CliffsNotes, состоящей из одного абзаца. Хороший будет написан простым языком и должен примерно объяснять то, что исследователи хотели знать, эксперимент, который они провели, и суть их результатов. Поскольку предполагается, что это краткое изложение, оно, вероятно, не будет пытаться поместить результаты в контекст или объяснить пределы эксперимента - в нем приоритет отдается ясности и краткости, а не нюансам, а также количественной оценке риска или неопределенности. Итак, хотя сначала чтение аннотации полезно, невозможно написать тщательную и взвешенную статью, основанную исключительно на аннотации статьи, хотя ленивые журналисты иногда пытаются.

Фон

Вслед за аннотацией во многих журналах будет раздел «предыстория», который помогает контекстуализировать исследование в рамках существующего объема исследований. Этот раздел полезен для выяснения того, насколько важен новый вывод. Например, вы можете увидеть новостную статью, провозглашающую огромный прорыв в лечении рака, но на самом деле ученые просто усовершенствовали существующее лечение рака и сделали его немного более безопасным или более эффективным. Фон поможет умерить шумиху.

Материалы и методы

Этот раздел обычно довольно плотный, и если вы не эксперт, не ожидайте, что поймете каждое предложение. Но часто он содержит важную информацию, которая поможет вам получить представление о значении и особенностях результатов.

Обратите внимание на особо важную информацию, такую как размер выборки и вид модели животного. В частности, размер выборки может помочь вам решить, насколько доверять результатам. Исследования с дюжиной испытуемых (крысы, хорьки, люди, камни, культуры клеток, небесные явления) могут быть интересными и помочь направить будущие исследования, но такая небольшая выборка увеличивает вероятность как ложноположительных, так и ложноотрицательных результатов. Небольшой размер выборки по своей сути не означает, что исследование плохое, но читатели должны скептически относиться к любым утверждениям о том, что результаты означают для мира в целом. Например, исследование того, как кишечные микробы влияют на прибавку в весе среди 15 американцев, может быть полезным в качестве исследовательского инструмента, но итоговая статья, в которой утверждается, что кишечные микробы делают вас толстыми, должна рассматриваться в лучшем случае как сомнительная и безответственная. наихудший.

Среднее исследование - это часть огромной неполной головоломки.

Вы также захотите обратить пристальное внимание на модели, используемые в исследовании. Кажется очевидным, что лабораторная мышь - не идеальный эквивалент человека, но ее легко взволновать, когда новое лекарство, диета или операция выглядят многообещающими для мышей. Модели на животных являются полигоном, а не полигоном; они информируют исследователей о том, что может работать на людях.

Также полезно посмотреть на тип эксперимента, проведенного учеными. Рандомизированные контрольные испытания, которые объединяют субъектов в группы, которые получают или не получают указанное лечение, часто считаются золотым стандартом. Однако эти эксперименты дороги и сопряжены с этическими проблемами - вы не можете назначать людей в группы лечения, например, если лечением является голодание или потеря конечностей. Однако у всех дизайнов исследований есть свои сильные и слабые стороны: определение того, какой дизайн подходит для работы, - сложная задача, которую исследователи и критически настроенные читатели должны оценивать в каждом конкретном случае.

Полученные результаты

Это та часть статьи, на которую вы хотите обратить больше всего внимания, поскольку она позволяет узнать, что произошло в эксперименте. Посмотрите, что, по словам ученых, они обнаружили, но также посмотрите, как они квалифицируют и выражают свои результаты с помощью статистических выражений, таких как доверительные интервалы и p-значения, которые говорят вам, насколько вероятно, что наблюдаемый результат на самом деле вызван исследуемым фактором.. Например, значение p 0,05 указывает на то, что, если исследователи повторили эксперимент 100 раз, они ожидали увидеть результат, равный или более экстремальный, чем тот, который они наблюдали, по крайней мере, 95 раз. Вообще говоря, p-значения должны быть меньше или равными 0,05, чтобы считаться статистически значимыми - чем ниже, тем лучше.

Доверительный интервал сообщает нам, в какой диапазон значений мы можем ожидать попадания результата с заданным уровнем достоверности. Например, в одном исследовании можно сказать, что оно показало, что лекарство увеличивает производительность езды на велосипеде на 10 метров в секунду (м / с) с 95-процентным доверительным интервалом +/- 2, что означает, что, хотя они и не являются положительными, улучшение составляет ровно 10 м / с, исследователи на 95 процентов уверены, что оно составляет от 8 до 12 м / с.

Хотя ни p-значения, ни доверительные интервалы не идеальны, они дают нам представление о том, насколько мы можем быть уверены в результатах исследования, и их относительно легко понять. Конечно, в науке не существует вещей - всегда есть шанс, что наблюдение является результатом случайного совпадения. Хорошая наука оценивает этот риск и сводит его к минимуму, где это возможно.

Обсуждение и вывод

Большинство ученых будут использовать разделы обсуждения и заключения, часто объединенные в один, чтобы объяснить, как они интерпретируют результаты. Обратите особое внимание на этот раздел и внимательно следите за информацией о пределах исследования. Большинство ученых боятся сенсационности и поэтому осторожны и осторожны в представлении разветвлений своих результатов. Используйте аналогичный подход. Если вы уже прочитали аннотацию и результаты, вы должны хорошо понимать, что произошло. Используйте эти разделы, чтобы убедиться, что вы все правильно интерпретируете.

Рисунки, графики и диаграммы

Не пропускайте это. Часто целые эксперименты или их части можно суммировать визуально. Графика даст вам еще один шанс осмыслить то, что обнаружили исследователи - некоторые люди даже сначала смотрят на них, прочитав аннотацию. Доверительные интервалы могут быть представлены графически в виде планок погрешностей.

Эти цифры и диаграммы обычно разбросаны по всей бумаге в соответствующих местах, хотя в некоторых публикациях они помещаются в конце. Полезное практическое правило: если вы не можете описать другу, что происходит в цифрах, велика вероятность, что вы еще не совсем поняли исследование.

Конфликт интересов

Все авторитетные журналы требуют от ученых раскрывать любые потенциальные конфликты интересов в их работе. Проверяйте это каждый раз; вы обычно можете найти заявление о раскрытии информации в конце исследования, но его точное местоположение может отличаться. Если исследователь признает потенциальный конфликт, например получение денег или оборудования от заинтересованной стороны, это не сразу же не делает исследование недействительным, но является поводом для более критического анализа работы. Подумайте, как индустрия газировки направила много денег на исследования воздействия сахара на здоровье: многие из этих исследований продемонстрировали предвзятость, даже несмотря на то, что они проводились «независимыми экспертами» из уважаемых университетов.

Внешний комментарий

В научной статье нет раздела, который позволял бы другим исследователям в данной области делать комментарии, так что это область, в которой журналистика может принести реальную пользу. Если вы читаете новостную статью о новом открытии, поищите комментарий хотя бы от одного стороннего эксперта. Часто этот человек просто подтверждает, что не видит никаких проблем с исследованием. В других случаях они укажут на недостаток или проблему, которые будут невидимы для непосвященных, или помогут поместить результаты в контекст. Все это очень ценно.