zlata_gl: (Default)
[personal profile] zlata_gl
Рекламирую книжку.
Ее можно даже противопоставить предыдущей полу-рекламе (хотя та книжке, ИМХО тоже полезна).
Бен Голдакр. "Обман в науке".
Реально круто.
Британские ученые доказали, что утверждения, начинающиеся со слов "Бритпнские ученые доказали", никогда не были доказаны британскими учеными.
Бен Голдакр - таки британский ученый. Врач по специальности, экономист по национальности. :-)

Сначала пол-книги - про всякие "витаминки", которые вообще не проходили клинических испытаний.
Ну, с этими проще.
Но дальше - как фирмы подтасовывают даже реальные испытания.
Сильно ругает СМИ.

Мнение Голдакра полностью противоположно мнению "меганезии" о том, что FDA слишком строга к новым лекарствам. (При том, что он так же не любит "производителей пилюль", как и Розов).
Он приводит кучу способов, которые используются для подтверждения "эффективности" - реально неэффективного.
То есть - испытания проводятся слишком либерально, а не "слишком строго".

Цитаты
У вас есть пилюля. Она хорошая, может, не блестящая, но она может принести кучу денег. Вам нужен положительный результат, но ваша аудитория — это не гомеопаты, не журналисты и не широкая публика. Эго врачи и ученые, поэтому они видят все ваши очевидные уловки типа «испытаний не Вслепую» или «неадекватной рандомизации». Ваши манипуляции должны быть более тонкими, более элегантными, но более эффективными.

Что вы можете сделать?

Во-первых, вы можете изучать лекарства на «победителях». Разные люди по-разному реагируют на лекарства: старики для большинства лекарств безнадежны, в то время как молодые люди с единственным заболеванием гораздо более перспективны. Поэтому испытывайте свое лекарство на молодых. Это сделает его менее эффективным для реальных больных, которым его будут прописывать, но, может, они не заметят. Подобная позиция исследователей настолько часто встречается, что не стоит и приводить примеры.

Далее, вы можете сравнивать свое лекарство с бесполезным контрольным. Многие люди скажут, что вы не должны сравнивать лекарство с плацебо, потому что это не доказывает его клинической ценности. В реальном мире никого не интересует, лучше ли ваше лекарство, чем сахарная пилюля; их больше интересует, лучше ли оно, чем существующее лечение. Но вы уже потратили несколько миллионов долларов на то, чтобы произвести это лекарство, поэтому нужно делать следующее: множество испытаний с плацебо-группой и побольше шума по этому поводу, поскольку положительный результат практически гарантирован. И снова это применяется повсеместно, так как все лекарства можно сравнивать с плацебо на какой-то стадии, и люди, нанятые фармкомпаниями, чтобы дурить врачей (многие просто отказываются их посещать), с удовольствием сообщат о бесспорном успехе этих испытаний.

Дальше все становится интереснее. Если вы хотите сравнить ваше лекарство с другим, производимым фирмой-конкурентом, — чтобы сохранить лицо или потому что так требуют контролирующие организации, — можете попробовать хитрый трюк: используйте неадекватную дозу конкурирующего лекарства, так что пациенты, принимающие его, не будут чувствовать себя очень хорошо, или дайте слишком большую дозу конкурирующего лекарства, и у пациентов будет больше побочных эффектов, или давайте конкурирующее лекарство недолжным образом (перорально, когда оно обычно дается внутривенно — может, опять- таки не заметят), или увеличивайте дозу конкурента слишком быстро, тогда побочные эффекты будут сильнее. На этом фоне ваше лекарство засияет.
---
Вот еще один трюк: вместо реальных результатов, таких как смерть или боль, вы можете использовать суррогатные, которые получить гораздо легче. Если ваше лекарство должно снижать уровень холестерина в крови и предотвращать смерть от сердечных приступов, не отмечайте случаи смерти от сердечных приступов, измеряйте только уровень холестерина: снижения его достигнуть гораздо легче, чем снижения смертности от сердечных болезней, а испытание будет дешевле и быстрее, и результат, соответственно, будет дешевле и положительнее. Результат!

Допустим, что вы провели свое испытание, и, несмотря на все ваши усилия, результат отрицательный. Что можно сделать? Если ваши испытания были хорошо проведены, но дали некоторые отрицательные результаты, можете попробовать старый фокус: не привлекайте внимание к разочаровывающим данным, рисуя графики. Упомяните об этом кратко в тексте и проигнорируйте, когда будете делать выводы. (Мне самому это отлично удается. Это результат того, что я много читаю о подобных испытаниях.)

Если ваши результаты целиком отрицательные, не публикуйте их совсем или публикуйте много времени спустя.
----
Полностью игнорируйте протокол

Всегда допускайте, что любая зависимость доказывает причинную связь. Внесите все ваши данные в программу и сообщайте — как о чем-то важном — о любой взаимосвязи между всем чем угодно, если это работает на вас. Если вы измерите все, то что-то, несомненно, окажется положительным, просто благодаря случаю.

Манипулируйте с линией отсчета

Иногда, когда вы начинаете испытания, группа, получающая лечение, уже чувствует себя лучше, чем группа плацебо. Если это так, то оставьте все как есть. Если, с другой стороны, плацебо- группа чувствует себя лучше в начале испытаний, подправьте линию отсчета в вашем анализе.

Игнорируйте выбывших

Люди, которые выбывают из испытаний, с точки зрения статистики, скорее всего, чувствуют себя хуже, и у них, вероятно, наблюдаются побочные эффекты. Они только испортят имидж вашего лекарства. Поэтому игнорируйте их, не пытайтесь их вернуть и не включайте в ваш окончательный анализ.

Подчистите данные

Посмотрите на ваши графики. Там наверняка найдутся аномалии, или точки, которые располагаются далеко от остальных. Если они не в вашу пользу, исключите их. Если они помогают поддержать имидж вашего лекарства, оставьте их на месте, даже если это выглядит неправдоподобно.

Пять… нет, семь… нет, девять!

Если разница между вашим лекарством и плацебо становится значительной через четыре с половиной месяца, а испытание запланировано на шесть, прекратите испытание досрочно и зафиксируйте результаты: они могут стать менее впечатляющими, если вы продолжите. И наоборот, если через шесть месяцев результаты будут «почти положительными», продолжите испытания еще на три месяца.

«Помучайте» данные

Если результаты совсем плохи, попробуйте вернуться назад и посмотреть: может быть, в какой-нибудь подгруппе они другие. Вдруг вы обнаружите, что лекарство хорошо работает на китайских женщинах в возрасте от 52 до 61 года? «Помучайте данные, и они во всем сознаются», — как говорят в тюрьме Гуантанамо.

Понажимайте все кнопки на компьютере

Если вы в отчаянии, и анализ данных тем способом, который вы планировали, не дает нужных вам результатов, попробуйте другие статистические анализы, даже если они сюда совершенно не подходят, просто наугад.
---
Один обзор тенденциозных исследований рассказывает историю, поистине достойную «Алисы в стране чудес». Было найдено 56 различных испытаний, сравнивающих обезболивающие препараты, такие как ибупрофен, диклофенак и т. д. Люди часто изобретают новые версии этих лекарств в надежде, что у них будет меньше побочных эффектов или они будут обладать более сильным действием (или что их можно будет запатентовать и заработать деньги). В каждом испытании лекарство, произведенное спонсором, оказывалось лучше или по крайней мере не хуже, чем остальные, участвовавшие в исследовании. Ни в одном случае оно не оказалось хуже остальных. Философы и математики говорят о «переходности»: если А лучше В, а В лучше С, то С не может быть лучше, чем А. Но обзор 56 испытаний показал полный абсурд: все эти лекарства были лучше друг друга.


Кстати, автор предлагает очень неплохой "законопроект".
Одно-единственное недорогое решение всех проблем во всем мире

Поистине необыкновенно, что почти все эти проблемы — замалчивание отрицательных результатов, манипуляции с данными и тому подобное — могли бы быть решены с помощью одного очень простого акта, который не будет стоить практически ничего: введения реестра клинических испытаний, публичного, открытого и обязательного для всех. Вот как он будет работать. Вы — фармацевтическая компания. Прежде чем вы начнете ваше исследование, вы публикуете его протокол в каком-нибудь публичном издании. Это означает, что любой может увидеть, что вы собираетесь делать в ваших исследованиях, что именно вы собираетесь определить, сколько будет участников и т. д. еще до начала испытаний.

Проблемы тенденциозности в публикациях, повторные публикации, скрытые данные о побочных эффектах, которые приводят к необязательным смертям и страданиям, — все это будет искоренено одним махом. Если вы зарегистрировали испытание и провели его, но оно не появилось в литературе, это сразу будет очевидно. Естественно, что все подумают, что вам есть что скрывать (возможно, они будут правы).

Не думаю, что это действительно решит ВСЕ проблемы, но, вероятно, существенно сократило бы количество лажи.

В конце - несколько глав про СМИ.
Как они искажают реальные результаты медицинских исследований.
И некоторые полезные советы по чтению статей в СМИ.

Хорошая книжка для всех, интересующихся "защитой ушей от лапши".

Date: 2017-03-19 01:19 am (UTC)
From: [identity profile] peter renkel (from livejournal.com)
Для начала, нужно бы обычному человеку объяснить ряд простых понятий:
стандартное отклонение, нуль гипотеза, p-значение, регрессия, double-blinded study и т.д.
Даже в таких жураналах, как New Scientist, я постоянно читаю:
"Новый результат лучше старого на 5%"
Обычный человек поймет, что результат действительно улучшился, а на самом деле, все зависит от статистики и ошибок.
Или можно очень хорошо пользоваться парадоском Симпсона. Да запудрить мозги можно очень легко.
Все вышеупомянутые понятия достаточно просто объяснить, но как это сделать? Нужно на свою сторону переманить какую-то видную фигуру типа Цукерберга. Иначе это все останется в чьем-то ЖЖ.
Я даже не уверен, что Цукерберг это все понимает

Это после того, как мы избавимся от "Заговоров"
From: [identity profile] zlata-gl.livejournal.com
"Простым человекам" в школе объясняют физику, химию, биологию
А они пьют шампунь "Боярышник" и спрашивают на форуме, сколько в Израиле литров в кубометре.
И жалуются на ужасы ЕГЭ и "психотеста", на самом деле - очень скромно требующих знаний и соображаловки.

С тех пор, как интернет стал общедоступным, стал хорошо наблюдаемым и весь уровень безграмотности людей.

Date: 2017-03-19 01:29 pm (UTC)
From: [identity profile] egovoru.livejournal.com
Судя по тому, что Вы рассказали, книжка должна называться "Обман в фармацевтической промышленности"? А то наука - это все же не то же самое, что испытание новых лекарств :)

Что же касается всеобщего реестра данных, то в этом направлении делаются шаги. Другое дело, что даже на занесенные в общую базу цифры никак нельзя полагаться: мало ли, как они были получены? (И дело даже не в намеренной подтасовке, а просто в неграмотном проведении опытов!). Если есть сомнения в каких-то чужих результатах, то, увы, есть только один способ их проверить - попытаться воспроизвести самому :)
Edited Date: 2017-03-19 01:29 pm (UTC)

Date: 2017-03-21 08:10 am (UTC)
From: [identity profile] zlata-gl.livejournal.com
Обман не только в фармацевтике.
Он возникает везде, где есть материальная заинтересованность, а проверка затруднительна.

Почему так хорошо работает физика, химия ?
Потому что там - не похимичишь. Все идет в дело.
Что заставляет меня доверять квантовой механике ?
Вся электроника, лазеры, спутники.
Что заставляет доверять более простой физике ?
Холодильник, утюг, паровоз, самолет.

А про нынешнюю космогонию, теорию струн итп - я не знаю, насколько этому можно доверять.
Там очень косвенная информация и отсутствие связи с другими отраслями физики.

"даже на занесенные в общую базу цифры никак нельзя полагаться"

Я так понимаю, в базу должны заноситься не только результаты, а вся методика.
Причем ДО испытаний, а не после.

Date: 2017-03-21 11:22 am (UTC)
From: [identity profile] egovoru.livejournal.com
"Там очень косвенная информация и отсутствие связи с другими отраслями физики"

Насколько я понимаю, проблема со струнной теорией и другими в том же роде только в том, что выдвигаемые в ее рамках гипотезы требуют для своей экспериментальной проверки энергий, не достижимых в наших условиях.

Физика высоких энергий, по-видимому, близко подошла к тому пределу, где ее дальнейшее развитие требует денег (на строительство еще более мощных ускорителей и т.д.), которые общество уже не хочет выделять (поскольку у него есть нужды, воспринимаемые как более насущные - например, здравоохранение или пенсионное обеспечение). Хорошая иллюстрация - отклонение американским конгрессом проекта строительства нового суперколлайдера. В итоге такой был построен Евросоюзом, что и привело к открытию бозона Хиггса.

А что конкретно Вы имели в виду под "получением косвенной информации" и "отсутствием связи с другими разделами"? В каком смысле информация - косвенная, и в чем, по-Вашему, должна выражаться связь с другими разделами?

"в базу должны заноситься не только результаты, а вся методика"

Да, конечно. Но, если Вы когда-нибудь пытались воспроизвести методику, опубликованную в чужой статье, то Вы знаете, что никакое описание методики, сколь угодно подробное, не может передать всех деталей :(
From: [identity profile] zlata-gl.livejournal.com
Все гораздо хуже.
В отличие от коллайдера речь идет о таких энергиях, которые в принципе недоступны.

В итоге такой был построен Евросоюзом, что и привело к открытию бозона Хиггса.
Я не знаю, насколько Бозон Хиггса связан со всей остальной существующей физикой.
Чем он лучше уймы других элементарных частиц.

в чем, по-Вашему, должна выражаться связь с другими разделами?
Сейчас вся физика - взаимосвязана.
Невозможно вытащить кирпичик из построенного здания.
И только физика элементарных частиц - стоИт как-то особняком.
Там очень много вариантов и нет пока "критических экспериментов".

"если Вы когда-нибудь пытались воспроизвести методику, опубликованную в чужой статье"
Методику - не пыталась.
Но поскольку работаю электронщиком на кафедре физики, то они мне иногда тащат статьи и требуют сделать прибор "как нарисовано".
Случалось, что категорически не работает "как нарисовано", а сделаешь иначе - и все довольны.
А иногда сделаешь расчет - и такое невозможно в принципе.

Но думаю, что медицинские испытания - как-то иначе проводятся. Если их проводить честно, а не жульничать.
Иначе медицина не отличается от "шамана всея Сибири".
From: [identity profile] egovoru.livejournal.com
"В отличие от коллайдера речь идет о таких энергиях, которые в принципе недоступны"

Да, совершенно верно. Но, согласитесь, эта причина торможения прогресса в физике никак не связана с тем, что ученые "жульничают"?

"И только физика элементарных частиц - стоИт как-то особняком"

Мне так совсем не кажется, но я ведь не физик.

"Но думаю, что медицинские испытания - как-то иначе проводятся. Если их проводить честно, а не жульничать"

Разумеется, в каждой области есть свои технические особенности, но во всех из них единственным достоверным способом проверки результата является его независимое воспроизведение. Никакое, сколь угодно детальное, описание не может гарантировать от ошибки.

Случаи намеренного жульничества в науке, конечно, случаются, как и в любой другой области человеческой деятельности. Однако мне кажется, что Вы сильно преувеличиваете их распространенность. Сам тот факт, что сегодня мы можем лечить болезни, которые были неизлечимыми раньше, подтверждает, что даже в медицине жульничества все же не так много, как Вы опасаетесь :)
From: [identity profile] zlata-gl.livejournal.com
Это радует.
Но по мере роста затрат на исследования и цен на лекарства - ИМХО, доля жульничества растет.
Технологии жульничества вообще прогрессируют.

"причина торможения прогресса в физике никак не связана с тем, что ученые "жульничают"?"

Жульничество - не причина торможения прогресса в физике.
Но торможение прогресса может быть причиной роста жульничества.
Потому что все хотят получать гранты. А прогресса не видно.
И физика стала слишком сложна для того, чтобы люди, выделяющие бюджет, могли отличить реальные результаты от туфты.
Это не радует.

А в прикладной физике прогресс идет постоянно и приносит видимые всем результаты.
Я работаю на "прикладных физиков" и вижу, какие исследования они ведут и кем эти работы заказаны.

Date: 2017-03-20 09:39 am (UTC)
From: [identity profile] ahitech.livejournal.com
Спасибо за интересную книгу!

July 2017

S M T W T F S
      1
234567 8
9101112131415
16171819202122
23242526272829
3031     

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 19th, 2017 10:30 pm
Powered by Dreamwidth Studios