imhotype (imhotype) wrote,
imhotype
imhotype

Category:

ПЛОХАЯ НАУКА

Маленькая выборка

В конце 70-х годов США страдали от сильнейшей нехватки нефти. В этих условиях правительства многих штатов разрешили водителям поворачивать направо на красный свет — это позволяло меньше стоять на перекрёстках и экономить топливо. Сразу возник вопрос: не спровоцирует ли новое правило рост числа аварий? В разных городах стали проводить исследования, сравнивая число дорожных происшествий до и после нововведения. Одним из первых свои результаты представил консультант департамента автомобильных дорог и транспорта штата Виргиния по фамилии Паркер, по его данным, до изменения правил на 20 перекрёстках произошло 308 происшествий, после — 337. Разницу консультант справедливо назвал статистически незначимой, а начальник департамента отправил отчёт губернатору, указав, что существенного увеличения числа аварий исследование не выявило.
Конечно, одной работой по такому важному вопросу исследования не ограничились. В следующем году вышла ещё одна статья (19 аварий до разрешения поворачивать на красный и 24 после), а затем — ещё и ещё (287 аварий и 313, 74 и 82, 81 и 87). Все исследования показали, что после изменения правил аварий стало больше. Однако все результаты были статистически незначимыми; различия в числе аварий лежали в пределах ожидаемых случайных флуктуации.
Новое правило ввели в США почти повсеместно, и вскоре накопилось достаточно данных, чтобы уверенно сказать: частота дорожных происшествий из-за него резко повысилась (почти в два раза). Так почему первые исследования не выявили столь ощутимый эффект? Проблема в том, что не каждая установленная зависимость является статистически достоверной,
Отделить случайность от неслучайности помогают математические критерии. Ещё до начала эксперимента учёный должен выбрать небольшое число (0,05 или меньше), называемое р-value. Это число означает вероятность получить необычный набор результатов в самом обычном и предсказуемом эксперименте, Например, если мы бросаем монетку десять раз и получаем только четыре решки, у нас недостаточно данных, чтобы сказать, что у монетки смещён центр тяжести. Вот если бы её подбросили тысячу раз и выпало четыреста решек, то можно было бы говорить о закономерности. Отклонение от ожидаемого нейтрального результата может быть слишком маленьким, чтобы отличить его от случайности. С небольшой вероятностью экзотические данные можно получить в любом эксперименте. Р-vа1ue выбирается по правилам, принятым в данной области исследований,— для этого есть специальные таблицы. Если взято очень маленькое значение р-vа1ue, меньше шансов получить ложноположительный результат, то есть увидеть закономерность там, еде её нет («ошибка первого рода»). Но выбирать слишком низкое значение тоже нельзя: можно ошибочно принять существенное различие за случайность и совершить «ошибку второго рода».
Чтобы быть уверенными в том, что выявленная закономерность действительно существует, а не является просто погрешностью, разработан мощный математический аппарат. Есть, например, больше десятка статических критериев, позволяющих определить, подтвердилась гипотеза или нет: критерий Пирсона, критерий Колмогорова, Z-тест, U-критерий Манна — Уитни, критерий Уилкоксона, t-критерий Стьюдента и так далее. Результаты, полученные на маленьких выборках, не позволяют ни подтвердить, ни опровергнуть гипотезу. Так было с первыми исследованиями поворотов на красный свет: статистически значимый эффект обнаружен не был, но авторы не имели права заявлять, что его нет. Небрежность со статистикой может стоить человеческих жизней. Правый поворот на красный свет сейчас запрещён в большинстве стран с правосторонним движением. Но не в США.

Нет контрольного эксперимента

В 1998 году в авторитетном медицинском журнале Lancet вышла одна из самых печально знаменитых
научных работ — исследование Эндрю Вейкфилда и группы его коллег: комплексная прививка от кори, свинки и краснухи может вызвать аутизм у детей. Авторы опросили родителей двенадцати детей с симптомами аутизма и выяснили, что у восьми из них заболевание прояви лось вскоре после вакцинации, до которой они были здоровы. Кроме того, у детей обнаружились повреждения стенки кишечника, и авторы предположили, что аутизм вызываемый прививкой, особенный и характеризуется ещё и специфическим заболеванием пищеварительного тракта, На пресс-конференции, предшествовавшей публикации работы, Эндрю Вейкфилд предостерёг родителей от использования этой вакцины. Его выступление вызвало настоящий взрыв паники по всему миру, развитие движения антипрививочников
как следствие, вспышки кори, которая до этого считалась практически побеждённой болезнью.
С тех пор выводы Вейкфилда опровергло множество исследований, в том числе весьма масштабный. В результате журнал Lancet в 2010 году отозвал скандальную публикацию. Но до сих пор многие родители боятся, что из-за прививок у детей разовьётся аутизм; а движение антипрививочников живёт и здравствует.
Работа Вейкфилда — классический пример отсутствия контрольного эксперимента. Контроль — это опыт, который должен/подтвердить, что наблюдаемый эффект объясняется именно исследуемыми причинами. В нём всё должно быть так же, как и в основном эксперименте, за исключением этой причины.
Допустим, вам пришла в голову гипотеза; после прослушивания классической музыки коровы дают более высокие удои. Чтобы это проверить, нужно взять две группы коров одной и той же породы, возраста и массы, с примерно равными удоями до начала эксперимента. Обе группы нужно поместь в абсолютно идентичные стойла и кормить одной и той же пищей. У них всё должно быть одинаковым, кроме одного: первой группе дают слушать Баха с Бетховеном, а второй нет И если у экспериментальной группы (те, где была музыка) удои окажутся выше, чем у контрольной (которую не подвергали воздействию), то можно говорить о существовании зависимости. Вейкфилд исследовал детей с аутизмом и предположил, что их болезнь вызвана вакциной. В этом случае контрольную группу должны были составить дети, не получившие прививку. Если среди них количество аутистов оказалось бы меньше, это свидетельствовало бы в пользу выводов Вейкфилда. Но так не было сделано. Последующие исследования других учёных поставили данные о связи прививки и аутизма под сомнение.

Нарушение чистоты эксперимента

В 2012 году журнал Food and Chemical Toxology опубликовал статью Жиль-Эрика Сералини, в которой утверждалось, что потребление генетически модифицированной кукурузы вызвало рак у подопытных крыс. Это была не первая работа, в которой учёный указывал на вред ГМО, но к новой статье прилагались ужасающие фотографии крыс с огромными опухолями, моментально разлетевшиеся по Сети и напечатанные во множестве газет.
Однако сразу после публикации на автора посыпались вопросы. Главный из них: почему Сералини использовал линию крыс, склонную к заболеванию раком? Учёный проводил опыты на крысах Sprague-Dawley, известных своим спокойным характером, удобством в обращении, а также предрасположенностью к онкологическим заболеваниям. По данным одного из исследований, у самцов этой линии вероятность развития опухолей в нормальных условиях составляет 80 %, у самок — 70 %. Средняя продолжительность жизни крыс этой линии два года, и именно столько длился эксперимент Сералини — за это время у большей части подопытных животных по естественным причинам развился рак.
Учёный включил в рацион крыс трансгенную кукурузу, причём у одной из групп её доля в рационе была больше, у другой меньше. Контрольная группа крыс эту кукурузу не употребляла вовсе — и опухоли у них развивались реже, а смертность была не такой высокой. Но всё же разница между группами в основном и контрольном экспериментах была небольшой, её вполне можно было объяснить случайной флуктуацией. Подтверждалось это предположение и отсутствием зависимости между дозой ГМО-кукурузы в пище животного и риском возникновения опухоли: у крыс, в рационе которых трансгенов было меньше, опухоли развивались чаще, чем у грызунов, получавших больше кукурузы.
Вскоре Сералини опубликовал том же журнале статью с оправданиями, но ему не удалось убедить научное сообщество в корректности своих экспериментов. В 2013 году Food and Chemical Toxology отозвал его скандальную работу, несмотря на бурные протесты автора. Интересно, что год спустя это исследование принял к публикации другой, значительно менее престижный журнал. Работу даже не стали повторно отправлять на рецензирование, раз уж она однажды его прошла, Действия редакторов этого журнала вызвали в научном сообществе недоумение…

Неподходящие методы

Примета нашего времени — повсеместное распространение гаджетов, без которых жителя развитых стран уже невозможно представить. При этом у нас до сих пор нет полной уверенности, что частое использование мобильного телефона не вредит здоровью. Причина всё та же: корректный эксперимент поставить сложно, а корректный эксперимент на людях — ещё сложнее. Сотовые телефоны излучают волны в радиочастотном диапазоне. Их энергия слишком мала, чтобы повредить ДНК, но когда мобильник находится близко к телу, какое-то излучение нашими тканями всё-таки поглощается. Не может ли частое использование мобильного телефона спровоцировать рак? Было проведено много исследований, в том числе довольно масштабных..., и у всех были недочёты, из-за которых мы не можем быть полностью уверены в безопасности мобильных телефонов и безбоязненно разговаривать по ним три-четыре часа в день.
В ходе международного исследования Interphone было опрошено 10 000 жителей из 13 стран; у половины респондентов опухоли были, у половины нет. Участники эксперимента рассказали, как давно они пользуются телефоном, как часто и сколько в среднем длится звонок, Исследование не выявило связи между этими параметрами и риском развития рака. Тем не менее выстроенные по этой схеме эксперименты многим кажутся неубедительными, ведь информация, на которую они опираются, воспроизводится по памяти.
Искажения возникают и из-за того, что больные раком люди начинают искать причину своего заболевания, и им может показаться, что они действительно слишком много разговаривали по телефону. Модель, использованная учёными из Дании, основана на более объективных принципах: авторы в течение многих лет получали о состоянии здоровья группы испытуемых. Такой дизайн эксперимента лучше подходит, когда нужно понять динамику какого-то процесса: вот пользуется человек телефоном, пользуется, и в какой-то момент у него развивается рак. Но, к сожалению, исследователи лишь узнавали, есть ли у респондента телефон, а ведь это не гарантирует, что он вообще его использует. И никакой информации о том, как часто участники эксперимента пользовались мобильными, Как бы то ни было, связь между наличием телефона и шансом заболеть раком не обнаружена. Исследования третьей группы учёных — из Швеции — учитывали данные не только для мобильных телефонов, но и для стационарных, потому что руководитель группы и их считал опасными. Эти исследования одни из немногих, в которых утверждается, что связь между телефоном и раком всё-таки есть. Однако они тоже вызывают сомнения: количество опухолей мозга в Швеции в те годы не выросло, несмотря на взрывное распространение мобильных телефонов.
В подавляющем большинстве работ связь между использованием мобильного телефона и риском развития рака не выявлена. Но почему так сложно поставить хороший эксперимент? Проблема в том, что ситуация меняется очень быстро: плохо применимы сегодня многие чувствуют себя неуютно, если им приходится хотя бы полчаса обойтись без телефона. В то же время опухоли порой формируются десятки лет, и чтобы сказать что-то наверняка, требуются долгосрочные эксперименты.
Получается противоречие: нужны длительные исследования того, что быстро и масштабно меняется. Авторы Interphone не учли, что использование телефона скоро перестанет быть событием, которое откладывается в памяти (никто ведь не помнит, сколько времени он сегодня сидел на стуле или смотрел в окно), а учёные из Дании не знали, что интенсивность использования мобильных телефонов скоро но варьироваться. Но именно тогда, когда мир вокруг резко и кардинально меняется, особенно важно ставить аккуратные эксперименты и добиваться чётких ответов на вопросы.
А. Таранин; Ю. Кондратенко «Плохая наука»
Журнал Кот Шредигера 7-8 (9-10)
.
Tags: Наука и ЖестЪ
Subscribe

  • механизмы ГМО

    Прежде чем рассказывать про ГМО (генетически модифицированные организмы), кратко напомню основы биологии. Все многообразие жизни основывается…

  • Китайский демографический крест

    В начале 2020 года, уже 18 января статистики Китая выдали основные демографические показатели по стране. Население Китая к концу 2019 года…

  • Степан Костецкий "Кислотные застенки"

    ЦРУ десятилетиями испытывало наркотики и яды на американцах. Информацию об этом уничтожили. Ноябрьской ночью 1953 года над Седьмой авеню…

  • Post a new comment

    Error

    Comments allowed for friends only

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments