Однажды знаменитый Фишер провел статистический анализ данных еще более знаменитого монаха Менделя, и пришел к выводы, что его данные too good to be true.

Мысль его была в том, что системное получение красивых цифр и пропорций в нашем рандомном мире не обязательно и выглядит неправдоподобно. У вас не (скорее всего) не получится бросить монетку ровно 100 раз и получить ровно 50 орлов. Вы почти наверняка жулик, если в нескольких сериях бросков монетки по 100 раз вы получили по 50 орлов. В общем, если какая-то (статистическая) гипотеза всегда подтверждается экспериментом (p < .05), то что-то здесь не так. Именно эту странность результатов Менделя и отметил тогда Фишер.

Подробный анализ был опубликован Фишером в 1936 году, в нем автор делает вывод, что результаты Менделя исключительно, невероятно хороши. Анализ не родился у него одномоментно, он шел к нему несколько лет. Еще в 1911 году Фишер заявлял:

“It is interesting that Mendel’s original results all fall within the limits of probable error; if his experiments were repeated the odds against getting such good results is about 16 to one. It may just have been luck; or it may be that the worthy German abbot, in his ignorance of probable error, unconsciously placed doubtful plants on the side which favoured his hypothesis”

“Занимательно, но все оригинальные результаты Менделя укладываются в рамки возможной ошибки. Если воспроизводить эти эксперименты, то шансы против получения настолько красивых цифр составляют примерно 16 к 1. Возможно, это просто удача, или, может быть, достойный немецкий аббат, не осознавая вероятную ошибку, неосознанно рассортировывал спорные растения так, чтобы результаты соответствовали его гипотезе”

Мы то, конечно, знаем, конечно, что Мендель все равно оказался прав, а кто прав тот прав. Точка. Но срач, замешан ли он в чем-нибудь не очень честном, идет до сих пор и накала не теряет. То тут, то там время от времени возникают публикации анализа Фишера анализа Менделя с защитой то того, то другого. И, хотя, это исключительно интересная дискуссия, позволю себе отклониться от нее и вернуться к сути.

Является исключительно важным и не теряет остроты и использованный Фишером подход для оценки “честности” экспериментатора: посмотреть, не являются заявленные данные “слишком хорошими”. Потому что “слишком хорошо” обычно означает вовсе не “ох какая крутая работа”. Наоборот, обычно является признаком ошибки, или общепринятых искажений, или сомнительных практик, или даже разных видов научного мошенничества, от сокрытия неудобных данных до редактирования спектров.

К примеру, слишком хорошими, и от того вероятно ошибочными, являются эксперименты по эпигенетическому наследованию, той самой дисциплине, так радующей генетиков. К примеру, слишком хороши, чтобы быть правдой, являются и результаты одной (разумеется, это Nature, потому что в Nature ерунды не печатают) из ярчайших работ по эпигенетическому наследованию памяти мышей на ацетофенон (здесь можно почитать положительный отзыв на эту работу на русском языке). Неоднократно замечено, что современная психология состоит из “слишком хорошо для правды” работ практически полностью. Проблема неиллюзорно присутствует в исследованиях рака, борьбе со старением, да вообще везде.

И вот в связи с этим подумалось.

Вот многие популяризаторы, и я сам в прошлой жизни, любят говорить, что из десятка тысяч исследований о вреде ГМО ни одно не показало их вред.

Не слишком ли это хорошо?