zlata_gl: (Default)
[personal profile] zlata_gl
Джордан Элленберг. "Как не ошибаться. Сила математического мышления"
Совершенно великолепная книжка !
В отличие от "около-психологического фуфла".
Давно не встречала такой хороший научпоп !

Полностью согласна с редактором научного перевода М.Гельфандом ([livejournal.com profile] prahvessor), который пишет в предисловии:

Из-за неосторожного движения развалилась стопка книг и журналов. Наверху образовавшейся кучи случайно оказалась книга Элленберга, и рабочий день оказался безнадежно испорчен, как и множество дней до того, потому что, раскрыв эту книгу на произвольном месте, невозможно оторваться, даже если ты внимательно прочитал ее уже три раза: когда решал, принять ли к переводу и изданию; когда делал примечания научного редактора; когда правил верстку (и, да, делал дополнительные примечания научного редактора). И еще потому, что это очень хорошая, правильная и нужная книга. Ее можно читать как хорошую беллетристику (как заметил сам автор, история о том, как студенты МТИ систематически выигрывали в лотерее штата Массачусетс, достойна экранизации), а можно внимательно следить за всеми выкладками. Да, в книге есть формулы, и это не страшно! ...
Автор приводит примеры из газетных статей, в которых неаккуратное использование математических понятий, даже самых простых, таких как проценты, приводит людей к дурацким выводам, и наглядно показывает, как этого следовало избежать. Особенно подробно он обсуждает такие тонкие проблемы, как множественное тестирование (необходимость учитывать количество сделанных попыток при оценке значимости желаемого результата), избирательные отчеты (результаты удавшихся опытов, например клинических испытаний, публикуются, а неудавшихся – нет, что искажает общую картину) и различные парадоксы, связанные с голосованием

Огромное спасибо уважаемому Прахвессору за выбор этой книги, за помощь в переводе и за прекрасные примечания, помогающие читателю понять незнакомые американские реалии при помощи российских аналогов. Примечания очень подходят к стилю книги.

Хватать на Флибусте (пока не спрятали) и читать взахлеб ! (Начала по второму разу. Книжка длинная, надо хотя бы основное - запомнить.
Френдам - "гуманитариям". Читать обязательно.
Здесь вас научат родину любить
Здесь Вам ответят на вопрос, которого любой преподаватель боится больше всего: И когда же мне это пригодится?

Огромное количество примеров из реальной жизни: от защиты военных самолетов (в каком месте усилить броню) до выигрыша в лотерею (типа Спортлото), от проблемы воспроизводимости научных результатов , от кодов Торы до до поиска "генов шизофрении", от анализа успехов баскетболистов до инвестиционных фондов, от проверки жульничества на выборах до "пари Паскаля".
Помимо прочего - прекрасное лекарство от излишней доверчивости.

До многих вещей я дошла сама (все же теорему Байеса и апостериорную вероятность не только "учила", но и даже применяю иногда по делу), но они описаны очень внятно и четко.


Цитаты и мои комментарии на полях. Краткий конспект.
Много раз я писала, что если в Сахаре - неуютно и надо от нее удаляться, то это не значит, что хорошо - на Северном Полюсе.
Оптимум где-то посредине.
В 1-й главе "Стоит ли уподобляться Швеции"- сразу "узнаю брата Васю центриста". :-)
«Почему Обама пытается сделать Америку больше похожей на Швецию, тогда как сами шведы пытаются быть в меньшей степени шведами?».

Хороший вопрос! Скажем как можно мягче: это действительно кажется несколько странноватым. Почему, господин президент, мы плывем против течения истории, тогда как во всем мире страны с высоким уровнем социального обеспечения (даже богатая маленькая Швеция!) сокращают дорогостоящие социальные льготы и высокие налоги? «Если шведы извлекли уроки из собственных заблуждений и теперь пытаются сократить объем и границы государственного управления, то почему американские политики так стремятся повторять их ошибки?» – пишет Митчелл.

Почему ?
А потому что есть "кривая с горбом" (общее благосостояние от доли государственного перераспределения доходов), и вполне ВОЗМОЖНО, что США и Швеция находятся находятся по разные стороны этого горба.
То, что Швеция снижает долю "социала", не означает напрямую, что Штатам надо делать то же самое (хотя не доказывает и обратного).

Глава 3 "Поголовное ожирение" - про абсурдность "линейной экстраполяции".
Даже "интерполяция" бывает опасна (на "горбатой кривой").

В 4-й главе - про линейную корреляцию и "сигму".
Почему в Южной Дакоте самая высокая смертность от рака мозга, а в Северной Дакоте - одна из самых низких ?
А ларчик просто открывался. Это маленькие штаты. Рак мозга - редкое заболевание (в среднем 3.4 случая в год на 100 тыс. населения). В Южной Дакоте - 800 тыс населения, в Северной - 700. (Спросила у Вики). При таких маленьких цифрах различие получается чисто случайно.
Но, к сожалению, автор не приводит цифр за разные годы. Если разница случайна, в другие годы будет все по-другому.

Короче, если есть корреляционная связь между А и В,
то кроме уже понятных версий
1. А - причина В
2. В - причина А
3. С - причина А и В
есть еще вариант 4. "А может они - просто дураки ?" (В смысле - может корреляции и нет вовсе, а есть - случайное совпадение ?

В 5-й главе - как неправильно применяют проценты.
Глава 6 - Библейский код и балтиморский фондовый брокер.
В основном - про "множественные гипотезы".
Брокер (реальный или выдуманный) - был хитрый мужик.
Однажды вы получаете от фондового брокера в Балтиморе новостной бюллетень; в нем идет речь о том, что вскоре курс определенных акций резко повысится. Проходит неделя, на протяжении которой, как и предсказывал балтиморский брокер, те акции действительно повысились в цене. На следующей неделе вы получаете еще одно письмо, причем на этот раз в нем содержится намек на акции, курс которых, по мнению этого брокера, вскоре упадет. И эти акции действительно резко упали в цене. Проходит десять недель подряд, и каждую неделю вы получаете очередную загадочную информационную рассылку с новым предсказанием, причем каждый раз это предсказание сбывается.

На одиннадцатой неделе вы получаете предложение инвестировать деньги через балтиморского фондового брокера, разумеется за изрядные комиссионные в качестве компенсации за проницательное видение рынка, которое столь убедительно продемонстрировал правильный выбор акций на протяжении десяти недель подряд, о чем сообщалось в информационных рассылках.

На первый взгляд, как будто неплохая сделка, не так ли? Очевидно, что балтиморский фондовый брокер кое-что понимает – кажется совершенно невероятным, чтобы десять правильных прогнозов подряд о повышении и падении курсов акций сделал безнадежный дилетант без специальных знаний о рынке. На самом деле вы можете точно рассчитать шансы на успех: если дилетант дает правильный прогноз с вероятностью 50 %, тогда вероятность того, что он сделает первые два правильных прогноза, составляет половину половины (или четверть), вероятность трех правильных прогнозов – половину этой четверти (или одну восьмую) и так далее. Если продолжить эти вычисления, вероятность того, что дилетант попадет в цель десять раз подряд, составляет:

(1/2) × (1/2) × (1/2) × (1/2) × (1/2) × (1/2) × (1/2) × (1/2) × (1/2) × (1/2) = (1/1024).

Другими словами, вероятность того, что дилетант сможет обеспечить такой хороший результат, почти равна нулю.

Однако ситуация выглядит иначе, если описать ее с точки зрения балтиморского фондового брокера. Что вы не увидели в прошлый раз? В первую неделю вы были не единственным человеком, получившим информационное письмо брокера: он разослал 10 240 писем[91]. Однако не все письма были одинаковыми. Половина писем были такими же, как и полученное вами письмо с прогнозом роста акций. В остальных письмах был прямо противоположный прогноз. Те 5120 человек, которые получили от брокера неправильный прогноз, больше не получали от него никаких писем. Однако вы и еще 5119 человек, которым пришло такое же письмо, что и вам, получили еще одну подсказку на следующей неделе. Из этих 5120 информационных писем в половине было сказано то же, что и в вашем письме, а в другой половине – прямо противоположное. После этой недели все равно оставалось 2560 человек, получивших два правильных прогноза подряд.
И так далее.
После десятой недели останется десять счастливчиков (?), получивших от балтиморского брокера точные рекомендации по поводу выигрышных акций – независимо от того, что происходит на фондовом рынке.

Вот тут я не согласна с автором, что математика помогла БЫ "простому получателю писем" НЕ попасться на удочку.
Как раз, если не знать, как брокер рассылал письма, то математика подсказывает, что он - очень крутой предсказатель.
А дальше - как аналогичные методы применяются в научных доказательствах, в финансовой рекламе и даже - в поисках кодов в Торе.

Продолжение про "множественные гипотезы" - глава 7, "Есть ли у дохлой рыбы эмоциональная реакция".
Как делали томограмму мозга дохлого лосося.

Нейробиологи делят сканограмму фМРТ на десятки тысяч маленьких фрагментов, которые называются «вокселы»[98]. Каждый из них соответствует небольшому участку головного мозга. Когда сканируется мозг, пусть даже мозг холодной дохлой рыбы, через каждый воксел проходит определенное количество случайного шума. Маловероятно, что такой шум приведет к появлению пика на сканограмме именно в ту минуту, когда рыбе показывают фотографию человека с ярко выраженной эмоцией. Однако нервная система, состоящая из десятков тысяч вокселов, очень велика. И также велика вероятность, что один из вокселов предоставит данные, которые смогут прочитываться как реакция на фотографии. Именно этот момент выяснили Беннет и его коллеги: они обнаружили две группы вокселов, отреагировавших на человеческие эмоции, – одну в средней мозговой полости, а другую в верхнем сегменте позвоночника. Статья Беннетта предупреждает всех нас, что в современную эпоху, когда без труда получают огромные массивы данных, стандартные методы оценки результатов – то, как мы проводим грань между реальным явлением и случайной помехой, – оказались под большим вопросом. Если даже почивший навсегда лосось удачно проходит проверку на эмпатию, то необходимо срочно и очень серьезно задуматься: достаточно ли строгие критерии доказательства мы используем.
И вот тут начинается серьезное обсуждение проблемы с "воспроизводимостью результатов".

Дальше - куча подробностей про Рональда Фишера, открывателя методов анализа случайных данных.
Про р-значение в 5%, которое сейчас многие исследователи принимают как пороговый критерий "статистической значимости".
(То есть - если вероятность СЛУЧАЙНОГО появления таких результатов < 5%, то результаты считаются статистически достоверными).

Глава 9. "Международный журнал Гаруспиции"
Представьте, что вы гаруспик, то есть человек, который предсказывает будущие события по внутренностям принесенных в жертву овец, особенно тщательно подвергается анализу их печень. Безусловно, вы не считаете свои предсказания надежными только потому, что придерживаетесь практики, предписанной этрусскими божествами. Это было бы нелепо. Вам нужны доказательства. Поэтому вы и ваши коллеги отправляете материалы своей работы в рецензируемый журнал под названием «Международный журнал гаруспиции», чьи правила требуют, чтобы все без исключения опубликованные результаты прошли проверку на статистическую значимость.,,
Стандартный порог статистической значимости, а значит, и критерий для публикации статьи в «Международном журнале гаруспиции» по соглашению установлен в виде p-значения, равного 0,05, или 1 из 20. Вспомните определение p-значения, которое состоит в том, что, если нулевая гипотеза истинна в случае определенного эксперимента, вероятность того, что этот эксперимент все-таки приведет к получению статистически значимого результата, составляет всего 1 из 20. Если нулевая гипотеза всегда истинна (другими словами, если гаруспиция – это надувательство в чистом виде), тогда результаты только одного из двадцати экспериментов могут быть опубликованными...
Протокол эксперимента, который в одном случае сработал и публикуется в журнале, как правило, не дает нужных результатов, когда его пытается применить другой гаруспик. Однако материалы о проведении экспериментов, не обеспечивших статистически значимые результаты, не публикуются, поэтому никто так и не узнает о неудачных попытках воспроизвести этот эксперимент.


А дальше - про реальную проверку результатов реальных исследований:
В 2012 году было проведено исследование, в ходе которого ученые из калифорнийской биотехнологической компании Amgen попытались воспроизвести ряд самых известных экспериментальных результатов исследований в области биологии рака (всего пятьдесят три исследования). В процессе проведения независимых испытаний они смогли воспроизвести результаты лишь шести работ.
Нифигасе !

Глава 11 - про лотерею.
Как некие группы с большими финансовыми возможностями - ухитрились "навариться" на лотерее типа "Спортлото".
Вообще-то лотерея заведомо убыточна для игроков. Государство выделяет в призовой фонд всего 50-60% от выручки.
Но есть нюансы. В некоторых лотереях есть "главный приз", и если никто его не выигрывает, то сумма переходит на следующий тираж. И тогда в некоторых тиражах призовой фонд может оказаться больше суммарной цены всех играющих билетов.
Дальше - подробные расчеты вероятностей всех вариантов, и при какой сумме "на кону" становится выгодным играть. Ребята с матфака неплохо "наварились".

Часть IV. Регрессия
Про "возврат к среднему".
"На детях гениев природа отдыхает".
Почему это происходит ?
Оказывается, вовсе не потому, что есть какой-то "Триумф посредственности".
Если взять 1% самых высоких мужчин, то оказывается, что средний рост их сыновей ниже среднего роста отцов (хотя выше среднего роста по популяции").
Если взять 1% наиболее успешных бизнесов какой-то группы в этом году, то оказывается, что через несколько лет они перестают быть "самыми успешными", хотя остаются "выше средних.
И нет в этом никакого чуда.
Допустим, рост человека является суммой двух параметров. Один - наследственный, равен тому же параметру отца. Другой - случайный. Когда мы выбираем 1% самых высоких мужчин, то в эту группу, в основном, попадают те, кому повезло И с наследственностью, И со случайными внешними условиями.
А их сыновья - унаследовали только "отцовскую долю". Нет никаких причин, чтобы и со второй частью им повезло. И в среднем - они оказываются ниже отцов.
И другие сыновья, у чьих отцов ТОЖЕ хороший наследственный фактор, но в прошлом поколении им не повезло со случайным, могут выиграть в следующем поколении.

Гальтон, двоюродный брат Дарвина, открыл этот эффект.
Гальтону понадобилось около двадцати лет, чтобы полностью понять смысл регрессии к среднему значению...
Биологи искренне считают, что регрессия связана с биологией, специалисты по теории управления (такие как Секрист) предпочитают связывать ее с конкуренцией, литературные критики приписывают ее творческому истощению – но дело не в этом. Все дело в математике.

Те, кто этого не поняли, активно продвигали евгенику.

В 15-й главе очень интересный пример
"Отсутствие корреляции не означает отсутствие связи"
А также - про "нетранзитивность корреляции".

Мы знаем, что существует корреляция между высоким уровнем эстрогена у женщин и снижением риска сердечно-сосудистых заболеваний, а также что заместительная гормональная терапия может повысить этот уровень; следовательно, можно предположить, что заместительная гормональная терапия может защитить от сердечно-сосудистых заболеваний. И это действительно считалось само собой разумеющимся в клинических кругах. Однако на самом деле, как вы, вероятно, слышали, ситуация гораздо более сложная. В начале третьего тысячелетия в рамках Инициативы по охране здоровья женщин было проведено долгосрочное исследование, состоящее из масштабных рандомизированных клинических испытаний, по результатам которых было установлено, что заместительная гормональная терапия с участием эстрогена и прогестина на самом деле привела к повышению риска сердечно-сосудистых заболеваний у участников исследования
Я давно задумывалась на эту тему.
Есть анекдот про корреляцию между размером обуви и умением решать задачи по математике.
Но не поможет - надеть на первоклашек сапоги 45-го размера.
Сколько еще всяких гениальных идей типа "снижения холестерола" - реально не помогают против болезней ?

Глава 16 "Вынуждает ли рак легких курить?"
Рональд Фишер не верил, что курение вызывает рак легких и изобретал альтернативные гипотезы в духе "общей причины".
Он оказался неправ. Но альтернативные гипотезы - таки были нужны.
А вообще - правы те, кто считает, что
Рак – это биологическая, а не статистическая проблема. Статистики могут должным образом сыграть вспомогательную роль в объяснении его причин. Однако, если биологи позволят статистикам выступать в качестве третейских судей по биологическим вопросам, научная катастрофа неизбежна

Глава 17. "Общественное мнение? Нет такого"
Интересные проблемы на тему "за кого народ" и "за что народ".
Очень рекомендую братушкам-меганезийцам прочесть перед составлением "суммированного социального заказа".
Пожалуй, дам рекламу на их сообществе.
американцы из года в год предпочитают скорее сокращать правительственные программы, чем платить более высокие налоги.

Но какие именно программы? Здесь возникает щекотливая ситуация. Оказывается, людям нравится то, на что правительство США расходует деньги. В феврале 2011 года Pew Research Center был проведен опрос, в ходе которого американцам задавали вопросы по поводу тринадцати категорий правительственных расходов{249}. Независимо от дефицита бюджета, для одиннадцати из этих категорий большее количество респондентов хотели увеличить расходы, а не сократить их.

Ну, тупые ? Или нет ?

Позвольте мне вступиться за американский народ, по крайней мере по этому вопросу, прибегнув к помощи текстовой задачи.
Предположим, треть избирателей считает, что мы должны решить проблему дефицита бюджета посредством повышения налогов без сокращения расходов, еще одна треть выступает за сокращение военных расходов, а остальные считают, что нам следует существенно сократить объем пособий, выплачиваемых по программе льготного медицинского страхования Medicare...
Это знакомая нам противоречивая позиция, которую мы часто видим во время опросов: «Мы хотим сокращения расходов! Но мы хотим также, чтобы сохранилось финансирование всех программ!» Как мы оказались в таком тупике? Не потому что мы глупы или пребываем в иллюзиях. Каждый отдельный избиратель занимает в высшей степени разумную, непротиворечивую политическую позицию. Однако их совокупная позиция бессмысленна...
Другими словами, инфантильного «среднего американца», который хочет сократить расходы, но требует сохранить все программы до единой, просто не существует


Про смертную казнь умственно-отсталых.
У нормального человека вопрос "казнить ли умственно-отсталых" сразу вызывает ассоциацию с Освенцимом.
Однако, оказывается, что в современной Америке этот вопрос имеет иной смысл: "Освобождать ли умственно-отсталых преступников от смертной казни?" (в тех штатах, где она применяется).
Речь не идет о невменяемых. Их и так не казнят. Просто о "тупых". Даже не знаю, о каком уровне "тупости" идет речь.
Фактически, это "евгеника наизнанку".

В той же главе - про выборы президента из ТРЕХ кандидатов.
Математические действия дают парадоксальные результаты. Приводится несколько алгоритмов, но ни один нельзя назвать "объективным".
И тут же дальше - про неевклидову геометрию и про "парадокс Рассела" в теории множеств.
Как все взаимосвязано !

Например, Гёдель, теорема которого исключила возможность окончательного изгнания противоречий из арифметики, был также обеспокоен Конституцией США, которую он изучал во время подготовки к экзамену на получение американского гражданства в 1948 году. Он считал, что этот документ содержит противоречие, которое может помочь фашистской диктатуре взять страну под свой контроль абсолютно конституционным путем. Друзья Гёделя Альберт Эйнштейн и Оскар Моргенштерн умоляли его избегать этой темы на экзамене, но, как вспоминает об этом Моргенштерн, беседа закончилась так:

Экзаменатор. Итак, мистер Гёдель, откуда вы?
Гёдель. Откуда я? Из Австрии.
Экзаменатор. Какая власть действует у вас в Австрии?
Гёдель. Это была республика, но конституция была такой, что в итоге она превратилась в диктатуру.
Экзаменатор. О! Это очень плохо! В нашей стране такое невозможно.
Гёдель. Возможно, и я могу это доказать.

К счастью, экзаменатор поспешно сменил тему, и гражданство было предоставлено Гёделю надлежащим образом. Что касается характера противоречий, которые Гёдель обнаружил в Конституции США, скорее всего информация о них утрачена для истории математики. Может, это и к лучшему!


И в самом конце - про политические прогнозы по выборам в США.
Оказывается, есть некий Нейт Сильвер, который сперва давал прогнозы на бейсбол, а потом занялся политикой.
В 2012 году он верно предсказал, в каких штатах победит Обама - без единой ошибки. Хотя сам "разрешал себе" до трех ошибок.
Надо бы поискать его успехи в 2016-м.

В общем - все обалденно интересно !
Френды - читайте и заходите на огонек, пообсуждать !
From:
Anonymous( )Anonymous This account has disabled anonymous posting.
OpenID( )OpenID You can comment on this post while signed in with an account from many other sites, once you have confirmed your email address. Sign in using OpenID.
User
Account name:
Password:
If you don't have an account you can create one now.
Subject:
HTML doesn't work in the subject.

Message:

If you are unable to use this captcha for any reason, please contact us by email at support@dreamwidth.org


 
Notice: This account is set to log the IP addresses of everyone who comments.
Links will be displayed as unclickable URLs to help prevent spam.

July 2017

S M T W T F S
      1
234567 8
9101112131415
16171819202122
23242526272829
3031     

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 19th, 2017 10:21 pm
Powered by Dreamwidth Studios