Путеводитель по лжи Левитин Дэниел
Тест 4: 87 км (на 4,5 л топлива)
Тест 5: 129 км (на 4,5 л топлива)
Дорожные условия, температура окружающей среды, манера вождения — все это создает определенную вариабельность. Если бы вам повезло (а вашему конкуренту нет), ваш единственный водитель мог бы получить предельный результат, о котором вы бы потом радостно сообщили (и, конечно, если вы хотите только лучшее, то вы просто игнорируете результаты остальных тестов). Но если вам нужна правда, то необходима выборка побольше. Какая-нибудь независимая лаборатория, протестировавшая 50 разных заездов, могла бы обнаружить, что среднее арифметическое будет совершенно иным. В целом аномалии вероятнее в маленьких выборках. Большие выборки отражают то, что происходит в мире, гораздо точнее[131]. Статистики называют это законом больших чисел.
Если вы посмотрите на количество детей, рожденных в какой-нибудь сельской больнице за месяц, и увидите, что 70 % новорожденных — это мальчики (по сравнению с 51 % в крупных городских больницах), то можете решить, что в сельских больницах происходит что-то странное. Может, и происходит, но это не доказательство, чтобы делать выводы. Мы снова имеем дело с маленькой выборкой. В крупной больнице могли заявить, что среди 100 новорожденных 51 был мужского пола, а в маленькой больнице могли сказать, что у них семь мальчиков из десяти новорожденных. Как и в случае с монеткой, описанном выше, среднее арифметическое в статистическом смысле, 50 на 50, чаще встречается в больших выборках.
А какой должна быть выборка, чтобы считаться достаточной? Это задачка для профессионального статистика, но существует несколько простых, но эффективных правил, которые вы можете использовать, чтобы самостоятельно разобраться в прочитанном. Для демографического исследования (например, предпочтения во время голосования, предпочтения в выборе зубной пасты и т. д.) в интернете можно найти калькулятор для расчета размера выборки. Чтобы определить частоту чего-либо (например, сколько новорожденных мужского пола, сколько раз в день человек в среднем говорит о том, что он голоден, и т. д.), нужно знать базовые данные о том, что вы исследуете. Если исследователь хотел узнать, сколько случаев рождения альбиносов было зарегистрировано в каком-то сообществе, изучил тысячу новорожденных и среди них ни одного альбиноса не нашел, было бы глупо делать вообще какие-либо выводы: альбиносы рождаются в одном случае из 17 тысяч. Выборка в тысячу случаев слишком мала, если учесть, как редко встречается исследуемый феномен. С другой стороны, если исследуется частота преждевременных родов, тысячи случаев было бы более чем достаточно, потому что такое случается в одном случае из девяти[132].
Статистическая грамотность
Давайте представим себе уличную игру: в шляпе или корзине лежат три карты, у каждой из которых две стороны, — одна карта красного цвета с обеих сторон, одна белая с обеих сторон, а третья белого цвета с одной стороны и красного с другой[133]. Мошенник вытягивает карту и показывает вам одну сторону — она красная. Он ставит пять долларов, что оборотная сторона тоже будет красной. Он хочет, чтобы вы думали, будто вероятность тут 50 на 50, — вы соглашаетесь, делаете ставку, думая, что оборотная сторона будет белой. Ход ваших мыслей может быть таким:
Он мне показывает красную сторону карты. То есть он вытянул либо красно-красную карту, либо красно-белую. Следовательно, оборотная сторона будет либо красная, либо белая — вероятность одинакова в обоих случаях. Могу себе позволить принять эту ставку, потому что, даже если я не выиграю в этот раз, то уж точно в следующий.
Отставим в стороне типичное заблуждение любого игрока — многие потеряли деньги, удваивая ставки в рулетку, а в результате их накрывало осознанием, что удача не саморегулируема, — мошенник как раз и рассчитывает на то, что вы придете к подобным, в корне неверным, выводам, и обычно начинает говорить быстрее, чтобы отвлечь вас. Попробуем представить себе происходящее визуально:
Вот эти три карты:
Если мошенник показывает вам красную сторону карты, то это может быть один из трех возможных вариантов. В двух из них другая сторона красная и только в одном случае белая. Поэтому шанс два из трех (а не один из двух), что если бы он показал вам красную сторону, вторая была бы тоже красной. Просто многие из нас забывают, что в случае с красно-красной картой он может демонстрировать любую из этих сторон. Если вы тут ничего не поняли, не переживайте — подобную ошибку допустил философ математики Готфрид Вильгельм Лейбниц, равно как и многие другие авторы недавно опубликованных учебников[134]. Когда вы оцениваете заявления, в основе которых лежат вероятности, постарайтесь определить модель, по которой они строятся. Это порой бывает непросто, но если вам удастся понять всю сложность вероятности и всю ограниченность мышления, которую большинство из нас демонстрируют, оценивая их, вас будет не так-то просто обвести вокруг пальца. А что, если все вокруг вас соглашаются с какими-то в корне неверными заявлениями? Напоминает короля, одетого в изысканное платье, разве нет?
Контрзнание
«Контрзнание» — термин, который придумал британский журналист Дэмиен Томпсон{48} [135]. Это дезинформация, поданная как факт, в который уже начала верить некая критическая масса людей. Примеры можно привести из мира науки, это могут быть текущие события, сплетни о знаменитостях, псевдоэкскурсы в историю. Это могут быть заявления, которым не хватает доказательной базы, а также заявления, сама доказательная база которых им противоречит. Возьмите псевдоисторические заявления, что Холокост, высадка на Луне или атака на башни-близнецы в сентябре 2001-го в Соединенных Штатах никогда не происходили, но были частью огромного заговора (контрзнание не всегда предполагает заговоры — лишь иногда).
Уж что помогает ему развиваться, так это интрига: а что, если все это правда? Но опять же, люди — существа социальные, любящие слушать и рассказывать истории. Да, мы ценим удачную выдумку. Контрзнание изначально привлекает нас налетом знания, со всеми этими цифрами или статистическими данными, но дальнейшее изучение показывает, что под всем этим нет никакой базы — распространители контрзнания надеются, что цифры так вас впечатлят (или запугают), что вы просто слепо их примете. А еще они часто цитируют «факты», которые таковыми не являются.
Дэмиен Томпсон рассказывает о том, как подобные заявления получают распространение, западают нам в душу и заставляют усомниться в том, что мы знаем… И так и будет продолжаться, пока мы не применим рациональный анализ[136]. Томпсон вспоминает случай, когда один его друг, говоря о теракте 9/11, завладел вниманием слушателей благодаря одному весьма правдоподобно звучащему наблюдению. «Обратите внимание, — сказал он. — Башни осели вертикально, а не обрушились.
Температура горения авиационного топлива недостаточна для плавления стали. Это под силу только управляемому взрыву».
Вот вам анатомия контрзнания:
Башни осели вертикально: это правда. Мы все смотрели видео. Если бы атака была произведена так, как нам сказали, вы бы думали, что здание сейчас обрушится: это неявная, скрытая предпосылка. Мы не знаем, правда ли это. Тот факт, что говорящий облекает все в форму заявления, не делает его слова правдой. Это утверждение требует подтверждения. Температура горения авиационного топлива недостаточна для плавления стали: мы также не знаем, правда ли это. А кроме того, в здании могли находиться и другие легковоспламеняющиеся вещества, которые туда принесли заранее: чистящие средства, краска, промышленные химикаты — и как только начался пожар, они тоже могли загореться.
Если вы не инженер-строитель, то можете счесть, что эти предпосылки правдоподобны. Но если проверить информацию, можно понять, что в том, что башни осели, не было ничего мистического.
Важно понимать, что в сложных событиях не все можно объяснить, потому что каких-то вещей не заметили, о каких-то не сообщили. В деле убийства президента США Джона Кеннеди фильм Запрудера{49} — единственное фотографическое доказательство, запечатлевшее последовательность событий, и он не завершен. Фильм снят на любительскую камеру, частота кадров 18,3 в секунду, разрешение очень низкое[137]. До сих пор это убийство остается окутанным тайной: множество неразрешенных вопросов, множество свидетелей, которых так и не опросили, внезапная смерть тех, кто мог что-то рассказать и на кого делали ставки как на источник важной информации. Может, имел место и заговор, но тот факт, что до сих пор существуют вопросы без ответов и противоречивые мнения, нельзя считать доказательством этого. Как неожиданная головная боль, сопровождаемая расплывчатыми видениями, не может быть доказательством редкой опухоли мозга — скорее всего, это что-то менее драматичное.
Ученые и другие сторонники рационального мышления различают вещи, которые являются истиной (например, фотосинтез или то, что Земля вращается вокруг Солнца), и те, что, вероятно, истинны, например что атака 9/11 была осуществлена с помощью двух угнанных самолетов, а не силами правительства США. По этим версиям существует разное количество доказательств, и они в разной степени убедительны. И небольшое количество алогичностей не ставит под сомнение и уж тем более не подрывает теорию, которая зиждется на тысячах доказательств. Хотя все эти алогичности лежат в основе теорий заговора, ревизионизма Холокоста, антиэволюционизма и заговора 9/11[138]. Разница между ложной теорией и истиной — вероятностная[139]. Томпсон пытается приструнить контрзнание, когда оно идет вразрез с настоящим знанием и начинает распространяться.
Когда репортеры вводят нас в заблуждение
Репортеры собирают информацию о важных событиях двумя разными способами, которые, бывает, часто несовместимы друг с другом, и если журналист был не очень аккуратен, материал дезинформирует читателей.
Проводя научное расследование, репортеры работают совместно с учеными — делают репортаж о научных разработках и помогают перевести их на язык, понятный публике. Они делают то, что не всегда легко дается самим ученым. Репортеры читают об исследовании в журнале, рецензируемом специалистами в какой-то области, или в пресс-релизе. К тому моменту, как исследование получит экспертную оценку, трое или пятеро беспристрастных авторитетных ученых уже его просмотрят и согласятся с предложенными выводами. Обычно это не входит в обязанности репортера — определять вес научного доказательства, поддерживающего какую-то гипотезу, вспомогательные гипотезы и вывод. Это делается учеными, которые пишут статью.
Репортеры бывают двух видов. Серьезные, занимающиеся журналистским расследованием, например для Washington Post или Wall Street Journal, обычно обзванивают несколько ученых, не связанных с исследованием, и узнают их точку зрения. Они ищут мнение, идущее вразрез с тем, что было опубликовано в репортаже. Но другие (и их большинство) полагают, что их главная задача — пересказать статью своими словами.
Сообщая горячие новости, репортеры пытаются выяснить, что происходит в мире, собирая информацию из различных источников, разговаривая со свидетелями событий, например с кем-то, кто видел, как проходили вооруженное ограбление в Детройте, бомбежка в секторе Газа или наращивание военных сил в Крыму. У репортера может быть лишь один свидетель, но он может попытаться найти второго, третьего. Репортер в таком случае должен убедиться в достоверности и правдивости слов свидетеля. Тут помогают вопросы вроде: «Вы видели это своими глазами?» или «Где вы находились, когда все это случилось?» Вы удивитесь, насколько часто ответ свидетелей бывает отрицательным, как часто люди лгут, — и только благодаря тщательной проверке репортеров правда выходит наружу.
Поэтому в первом случае — с журналистским расследованием — авторы статей сообщают о научных находках, в основе которых, как правило, тысячи наблюдений и огромное количество данных. Во втором случае — с горячими новостями — журналисты сообщают о событиях, в основе которых — показания всего нескольких свидетелей.
А так как журналисты вынуждены работать с обоими видами новостей, они иногда принимают одно за другое, забывая, что сложение исторических анекдотов и курьезов — это еще не статистика, что ворох историй или случайных наблюдений не делает их статью научной. Отсюда и наше заблуждение, что газеты будут развлекать нас, рассказывать истории. А большинство хороших историй — это череда событий, имеющих причину и следствие. Рискованные ипотеки были превращены в инвестиционные продукты с наивысшим кредитным рейтингом, и это привело к обвалу жилищного рынка в 2007 году. Власти проигнорировали скопление хранившегося на возвышении строительного мусора в городе Шэньчжэнь, и в 2015-м случился оползень, накрывший 33 здания. Это не научные эксперименты — это события, в которых мы пытаемся разобраться и из которых мы пытаемся сделать истории. Доказательства в случае новостной и научной статей разные, но без объяснений, даже робких, неуверенных, у нас нет истории. А газетам, журналам, книгам — и людям — нужны истории.
Это основная причина, почему слухи, контрзнание и псевдофакты могут легко превратиться в пропаганду, распространяемую средствами массовой информации. Так было с Херальдо Риверой{50}: его репортажи о сатанистах вызвали панику по всей Америке. Уже бывали подобные медиастрашилки о похищении людей пришельцами или о подавленных воспоминаниях детства. Как заметил Дэмиен Томпсон, «для новостного редактора, испытывающего давление, и неубедительное свидетельское показание может стать козырем»[140].
Восприятие риска
Мы допускаем, что с помощью газетной площади, отданной под репортажи о преступности, можно в некотором роде измерить ее уровень. Или что количество газетных статей, освещающих самые разные причины смерти, соотносится с риском. Но подобные предположения не очень умны. Каждый год от рака желудка умирает[141] в пять раз больше людей, чем в результате неумышленного утопления[142]. Но взять хотя бы одну газету, Sacramento Bee: в 2014 году она не опубликовала ни одного материала о раке желудка, но разместила на своих страницах целых три статьи о неумышленном утоплении. Основываясь на обзоре новостей, можно сделать вывод, что смерть в результате утопления наступает намного чаще, чем в результате рака желудка. Когнитивный психолог Пол Словик{51} показал, что люди сильно переоценивают относительные риски, если ситуации, их вызывающие, получают повышенное внимание со стороны прессы. Отчасти освещение события в прессе зависит от того, получится ли из него хорошая история. Смерть в результате утопления более драматична, неожиданна, и, возможно, ее легче предотвратить, чем смерть от рака желудка, — налицо все элементы, необходимые для хорошей, хотя и печальной истории. Поэтому о случаях утопления сообщают чаще — а нам кажется, что они происходят чаще. Непонимание рисков может привести к тому, что мы будем игнорировать знаки, которые могут помочь нам защитить себя.
Используя вышеописанный принцип неправильно понятого риска, недобросовестные или просто плохо информированные статистики могут с помощью медиаплатформы обманным путем заставить нас поверить в ложь.
«Вы ужасно беспечны, а ведь в последнее время газеты так часто сообщают о цунами!»
Передовица в Times (Великобритания) в 2015 году сообщила, что у 50 % британцев в течение жизни обнаружится рак и число это возрастет по сравнению с 33 %, имеющимися на тот момент[143]. Это число может увеличиться, охватив две трети от сегодняшнего количества детей, и Национальная служба здравоохранения будет перегружена. На какие мысли это вас наводит? Что раковая эпидемия в самом разгаре? Возможно, виной всему современный образ жизни с бесполезным фастфудом, мобильными телефонами, представляющими собой источники электромагнитного излучения, канцерогенными моющими средствами, а также радиацией из-за дыр в озоновом слое. На самом деле эту идею могли бы использовать многие заинтересованные лица, которые не прочь на этом заработать: сторонники холистического подхода в медицине, инструкторы йоги, компании, занимающиеся распространением товаров здорового питания, компании, выпускающие солнцезащитные средства, и т. д.
Прежде чем паниковать, подумайте о том, что эта цифра включает в себя все виды рака, в том числе и медленно развивающиеся, например рак простаты, легко удаляемые меланомы и т. д. Это не означает, что все, у кого обнаружат рак, обязательно умрут. CRUK (Онкологический исследовательский центр Великобритании) сообщает, что благодаря ранней диагностике и более эффективному лечению процентное соотношение людей, победивших рак, начиная с 1970-х годов увеличилось в два раза[144].
Заголовки в СМИ умалчивают о достижениях в медицине и о том, что благодаря ее развитию люди живут дольше. Сердечные заболевания лечатся сегодня лучше, чем когда-либо, а количество смертей в результате респираторных заболеваний сильно снизилось за прошедшие 25 лет[145]. Просто смерть от рака настигает людей раньше, чем смерть от других возможных заболеваний. Ведь человек должен умереть от чего-то. Ту же самую мысль вы могли видеть в Times, если дочитали ее до соответствующей страницы (потому что ведь многие из нас не дочитывают до конца — мы обычно натыкаемся на заголовок и тут же начинаем переживать). На самом деле отчасти заголовок статьи отражает тот факт, что рак — заболевание пожилых людей (и многим из нас предстоит длинная жизнь, прежде чем мы заболеем). И тут нет причин для паники. Это ведь все равно что сказать: «У половины автомобилей в Аргентине когда-нибудь откажет двигатель». Ну да, откажет — ведь машины выходят из строя по какой-то причине. Это может быть сломанная ось, неудачное столкновение, полетевшая коробка передач или отказ двигателя — но должно быть хоть что-то.
Убеждение c помощью ассоциации
Если вы хотите подавить кого-то контрзнанием, хорошим вариантом будет собрать огромное количество фактов, которые можно легко проверить, и добавить к ним пару-тройку ложных. Пусть они будут как бы в защиту вашей точки зрения — и вы увидите, многие поверят и пойдут за вами. Вам удастся убедить людей благодаря фальшивым доказательствам или контрзнанию, смешанным с фактами и настоящим знанием. Посмотрите на следующие тезисы:
1) вода состоит из водорода и кислорода;
2) молекулярная формула воды H2O;
3) наши тела более чем на 60 % состоят из воды;
4) кровь человека на 92 % состоит из воды;
5) мозг состоит на 75 % из воды;
6) в мире есть много мест с зараженными источниками воды;
7) меньше 1 % доступной воды по всему миру является питьевой;
8) вы можете быть уверены в качестве воды, только если она бутилирована;
9) ведущие специалисты, занимающиеся проблемами здоровья, рекомендуют пить бутилированную воду, а большинство и сами пьют такую воду.
Пункты с первого по седьмой — абсолютная правда. Восьмой пункт не отличается логикой, а девятый… Кто такие ведущие специалисты, занимающиеся проблемами здоровья? И о чем говорит то, что они и сами пьют бутилированную воду? Возможно, на вечеринке, в ресторане, на борту самолета, где ее подают и нет других вариантов, они ее и выпьют. А может, это означает, что они тщательно избегают остальных видов воды? Между этими двумя вариантами — пропасть.
Факт в том, что бутилированная вода ничем не лучше воды из-под крана, если говорить о развитых странах, и в некоторых случаях даже менее безопасна из-за несоблюдения правил очистки. В основе этих заявлений — сообщения из огромного количества источников, включая Национальный cовет по охране природных ресурсов, клинику Мэйо, журнал Consumer Reports, публикующий отчеты сравнительных тестов разных потребительских товаров и услуг, а также ряд публикаций в журналах, рецензируемых специалистами[146].
Конечно, и здесь есть исключения. В Нью-Йорке, Монреале, Мичигане и многих других городах трубы в муниципальном водопроводе свинцовые: свинец может легко попасть в воду, из-за чего вполне возможно отравление этим металлом[147]. Периодические проблемы с очистными сооружениями вынуждают городские власти публиковать памятки о том, как пользоваться водопроводной водой. А при посещении стран третьего мира, где гигиенические нормы и стандарты очистки воды ниже, бутилированная вода может стать лучшим вариантом. Стандарты водопроводной воды в развитых промышленных странах очень высоки — сэкономьте деньги, не тратьтесь на покупную воду. Аргумент защитников псевдонаучного подхода к здоровью, как мы видим из вышеприведенного примера, не выдерживает никакой критики.
ЧАСТЬ 3. ОЦЕНКА МИРА
Природа позволяет нам вычислять только вероятности. Наука при этом пока еще держится.
Ричард Фейнман[148]
Как работает наука
Многовековое развитие критического мышления привело к изменению парадигмы человеческой мысли и истории: к научной революции. Не получив должного развития и применения в таких крупных центрах научного знания, как Флоренция, Болонья, Геттинген, Париж, Лондон и Эдинбург, наука не смогла бы повлиять на нашу культуру, промышленность и самые амбициозные достижения так, как она повлияла. Конечно, научные выводы не всегда безошибочны, но научное мышление лежит в основе многих наших поступков и попыток понять, что верно, а что нет. Поэтому стоит получше приглядеться к тому, что скрывается за этой завесой, чтобы понять, как все устроено. В частности, мы могли бы разобраться, как человеческому мозгу, который очевидно несовершенен — даже у самых ярких представителей, — удается самому себя обмануть.
К сожалению, следует также признать тот факт, что многие исследователи не гнушаются выдумывать данные. В самых крайних случаях они сообщают данные, которых никогда не получали в результате экспериментов, потому что такие эксперименты никогда не проводились. И им это сходит с рук, ведь обман среди исследователей — дело довольно редкое и поэтому коллегам-экспертам, как правило, незачем держать ухо востро. В иных случаях исследователь меняет какие-то данные, чтобы скорректировать результаты и подтвердить с их помощью свою гипотезу. В некоторых менее значительных случаях исследователь, бывает, опускает определенные данные, потому что они не отвечают требованиям гипотезы, или выбирает только те случаи, которые, по его мнению, добавят вес его теории. В 2015 году был случай мошенничества, когда бывший преподаватель биомедицинского факультета Университета штата Айова в Эймсе профессор Хан Донпё сфабриковал данные относительно потенциальной вакцины против ВИЧ[149]. В результате он не только потерял место в университете, но и был приговорен к пяти годам заключения в тюрьме.
Неразбериха относительно того, вызывает ли вакцинация от кори, эпидемического паротита и коревой краснухи аутизм, началась из-за статьи Эндрю Уэйкфилда, содержащей подтасованные данные, — теперь она отозвана, но миллионы людей по-прежнему продолжают верить в эту связь[150]. В некоторых случаях исследователь манипулирует данными и даже удаляет какие-то факты, но умалчивает об этих действиях, что затрудняет интерпретацию и воспроизведение эксперимента (а это уже граничит с нарушением научной дисциплины).
Наукой движет поиск доказательств, поиск правды, он же подстегивает наше чувство справедливости и лежит в основе судебной системы. Научный опыт показал нам, как правильно проводить эти исследования.
Существует два укоренившихся мифа о том, как работает наука. Согласно первому, наука развивается без сучка и задоринки, а ученые всегда и во всем согласны друг с другом. Согласно второму, один-единственный проведенный эксперимент дает нам ответы на все вопросы об изучаемом явлении, а после публикации результатов эксперимента наука делает скачок вперед. Настоящая наука полна противоречий, сомнений и споров о том, что уже известно. Настоящее научное знание постепенно занимает все более прочные позиции благодаря находкам и открытиям аналитического толка. Научное знание вырастает из массива данных, полученных в результате проведения огромного количества экспериментов в многочисленных лабораториях. И каждый из них — это лишь маленький кирпичик в огромном здании. И только когда наберется критическая масса экспериментов, мы сможем окинуть взглядом всю «постройку» и сделать твердые выводы.
Прежде чем ученые придут к соглашению в каком-то вопросе, нужно провести метаанализ, увязывающий воедино самые разные доказательства, выступающие в поддержку или против какой-то гипотезы.
Если идея сравнения метаанализа с одним-единственным экспериментом напоминает вам о селективности и проблемах, связанных с маленькими выборками, о которых говорилось в части 2, то это правильно. Один-единственный эксперимент, даже при наличии большого количества участников и наблюдателей, все равно может оказаться отклонением от нормы (вспомните историю про тест-драйв и 4,5 литра бензина на 129 километров — вам тогда просто повезло). Благодаря нескольким экспериментам, проведенным в разное время и в разных местах, вам будет проще представить, насколько значителен феномен. В следующий раз, читая о том, что использование крема способно подарить вам 20 лет молодости, или о новом растительном лекарственном средстве, применяемом в случае обычной простуды, вы должны поинтересоваться, а подтверждено ли это заявление результатами метаанализа или было проведено только одно исследование.
Дедукция и индукция
Научный прогресс зависит от двух типов обоснований. В дедукции мы идем от общего к частному и, если следовать правилам логики, можем быть уверены в наших заключениях. В случае с индукцией мы имеем дело с несколькими наблюдениями или фактами и пытаемся вывести основной принцип, который все сможет объяснить. Это рассуждение от частного к общему. Выводы индуктивного метода не всегда получаются точными — ведь в их основе лежат наши наблюдения и миропонимание, а это заведомо создает зазор между тем, что видим мы, и тем, что есть на самом деле.
Вероятность, как мы уже говорили в части 1, носит дедуктивный характер. Мы исходим из общей информации (например, «это симметричная, правильная монета») и движемся в сторону частностей (вероятность того, что решка выпадет три раза подряд). Статистика индуктивна. Мы исходим из нескольких разрозненных наблюдений (например, подбрасываем монетку три раза подряд) и движемся в сторону обобщений (например, является монета симметричной или нет). Или вот еще пример: мы используем вероятность (дедукцию), чтобы определить, каков шанс, что вам поможет конкретное лекарственное средство. Если бы ваша боль не прошла, мы бы с помощью статистики (индукции) могли определить, какова вероятность, что ваша таблетка — из партии дефектных товаров.
Индукция и дедукция не просто обращаются к численным вещам, как вероятность или статистика. Вот пример того, как дедуктивная логика срабатывает в словах. Если посылка (первая часть предложения) верна, то и заключение тоже должно быть верным:
Габриэль Гарсия Маркес — человек. Все люди смертны. Следовательно (и это дедуктивное заключение), Габриэль Гарсия Маркес смертен.
1. Некоторые автомобили — «Форды».
2. Все «Форды» — автомобили.
3. Парень, который сыграл Хана Соло{52}, — автомобиль!
Тип дедуктивного рассуждения о Маркесе называется силлогизмом. В силлогизмах именно форма рассуждения обеспечивает тот вывод, который последует. Вы можете построить силлогизм, используя имеющуюся у вас посылку, которая, как вам известно (или как вам кажется), неверна, но при этом не сводит на нет весь силлогизм, — иными словами, вся фраза остается логичной.
Луна сделана из зеленого сыра. Зеленый сыр стоит 22,99 доллара за полкило. Следовательно, Луна стоит 22,99 доллара за полкило.
А теперь разберемся: понятно, что Луна не сделана из зеленого сыра, но если бы она была из него сделана, то дедукция оказалась бы логически обоснована. Если вам станет легче, вы можете переписать силлогизм, чтобы все стало совершенно ясно:
Если Луна сделана из зеленого сыра и если зеленый сыр стоит 22,99 доллара за полкило, то Луна стоит 22,99 доллара за полкило.
Существует несколько различных типов дедуктивных рассуждений — их обычно изучают на уроках философии или математики, когда проходят формальную логику. Другая распространенная форма предполагает условные предложения. Они называются «правило вывода» (modus ponens). Этот термин легко запомнить благодаря такому примеру: (пусть По будет ponens):
Если бы Эдгар Аллан По пошел на вечеринку, он бы надел черный плащ. Эдгар Аллан По пошел на вечеринку. Следовательно, он надел черный плащ.
Требуется время, чтобы овладеть формальной логикой, потому что в случае с большим количеством рассуждений наша интуиция нас подводит. В логике, как и в случае с соревнованием по бегу, имеет значение последовательность. Как звучит приведенная ниже фраза? Это заключение имеет смысл или никуда не годится?
Если бы Эдгар Аллан По пошел на вечеринку, он бы надел черный плащ. Эдгар Аллан По надел черный плащ. Значит, он пошел на вечеринку.
И хотя то, что По пошел на вечеринку, может быть правдой, это не обязательно так. Он мог надеть плащ и по другой причине (например, было холодно, или был Хэллоуин, или он играл в спектакле и по роли должен был быть в плаще). Заключения, подобные тому, что мы видим в примере выше, содержат ошибку аргументации, которая называется ошибкой подтверждения следствием или ошибкой обратного утверждения.
Если вам сложно запомнить, как это называется, посмотрите на этот пример:
Если он вечером едет в Петербург, то утром возвращается. Он возвращается. Следовательно, он едет в Петербург.
Этот довод не очень-то убедителен, потому что в Петербург он ехал не вчера, а позавчера или вообще летел на самолете.
Как бы то ни было, вы можете сказать с абсолютной уверенностью, что если он едет не в Петербург, он не возвращается. Это называется контрапозицией первого утверждения.
Логические утверждения не работают по принципу знака «минус» в уравнениях — вы не можете просто сделать одну сторону отрицательной, вследствие чего и вторая автоматически станет отрицательной. Вы должны запомнить эти правила. Сделать это несколько проще с помощью квазиматематической системы обозначений. Утверждения, данные выше, можно представить следующим образом: А означает посылку, например «Если Луна сделана из зеленого сыра» или «Если команда Mets выиграет в этом году». B — это следствие, например «тогда Луна должна давать зеленый отсвет в ночном небе» или «я съем свою шляпу».
Используя эту распространенную систему обозначений, можно условиться так: «Если А» будет обозначать «Если высказывание А истинно». Мы будем говорить B или Не B, имея в виду «B истинно» или «B ложно». Тогда…
Если A, то B
A
Следовательно, B
В книгах по логике вы можете увидеть, что слово «то» часто заменяется стрелочкой (), слово «не» — символом ~, а слово «следовательно» — знаком , как, например:
Если A B
A
B
Но не дайте всем этим обозначениям сбить вас с толку. Видимо, просто кто-то хочет показаться затейливым.
Для утверждений, подобных этому, существует четыре разных варианта: высказывание А может быть истинным или ложным и высказывание B может быть истинным или ложным. И у каждого из вариантов есть свое название.
1. Правило вывода (modus ponens). Также называется гипотетическим силлогизмом.
Если A B
A B
Пример: Если та женщина — моя сестра, тогда она младше меня.
Эта женщина — моя сестра.
Следовательно, она младше меня.
2. Контрапозиция.
Ели A B
— B ~A
Пример: Если та женщина — моя сестра, то она младше меня.
Эта женщина не младше меня.
Следовательно, она мне не сестра.
3. Обратное утверждение.
Если A B
B A
Это необоснованный вывод.
Пример: Если та женщина — моя сестра, то она младше меня.
Эта женщина младше меня.
Следовательно, она моя сестра.
Это утверждение неверно, потому что есть много женщин, которые младше меня и которые мне не сестры.
4. Противоположное утверждение.
Если A B
— A ~B
Это необоснованная дедукция.
Пример: Если та женщина — моя сестра, то она младше меня.
Эта женщина не моя сестра.
Следовательно, она не младше меня.
Это утверждение неверно, потому что многие женщины, которые мне не сестры, все-таки младше меня.
Индуктивное рассуждение основывается на том, что есть доводы в пользу заключения, но они не гарантируют его истинности. В отличие от дедукции, индукция приводит к не вполне достоверным, но (если постараться) вероятным заключениям.
Пример индукции:
У всех млекопитающих, которых мы видели, есть почки.
Следовательно (вот это уже индуктивный шаг), если мы обнаружим новое млекопитающее, у него, вероятно, будут почки.
Наука движется вперед благодаря использованию как дедукции, так и индукции. Без индукции у нас не было бы ни одной гипотезы относительно того, как устроен мир. Мы постоянно используем ее в повседневной жизни.
Всякий раз, когда я нанимал Патрика заняться ремонтом и починить какие-то вещи в доме, он делал все очень небрежно.
Следовательно, если я найму Патрика для выполнения ремонтных работ в следующий раз, он опять сделает все спустя рукава.
Все пилоты, которые мне когда-либо встречались на пути, были очень организованными, добросовестными и осторожными.
Ли — пилот. У него есть эти качества, а также он хорошо знает математику.
Следовательно, все пилоты хорошо разбираются в математике.
Конечно, во втором приведенном мной примере вывод необоснован. Мы делаем предположение. При некоторых знаниях о мире, а также понимании, какие качества необходимы пилоту — умение прокладывать маршрут, оценить влияния скорости ветра на время прибытия и т. д., — все это кажется разумным. Ну а как насчет этого:
Все пилоты, которые мне когда-либо встречались на пути, были очень организованными, добросовестными и осторожными.
Ли — пилот. У него есть эти качества, а также он увлекается фотографией.
Следовательно, все пилоты увлекаются фотографией.
Теперь уже вывод кажется сомнительным. Наши знания о том, как устроен мир, подсказывают, что увлечение фотографией — личное предпочтение и отсюда не следует, что пилота этот вид деятельности будет интересовать больше или меньше, чем представителя любой другой профессии.
Плод писательского воображения, великий детектив Шерлок Холмс, делает свои выводы в ходе искусных рассуждений, и хотя он уверяет, что использует дедукцию, на самом деле это совсем другая форма логического хода мысли, которая называется абдукцией. Почти все заключения, сделанные Холмсом, — разумные предположения, основанные на фактах, но нельзя сказать, что они безупречны или неизбежны. В абдуктивном рассуждении мы начинаем с нескольких наблюдений, а затем выходим на теорию, которая все их объясняет. И из всего бесконечного множества самых разнообразных теорий, которые могли бы что-нибудь объяснить, мы выбираем ту, что наиболее вероятна.
Например, Холмс пришел к выводу, что предполагаемое самоубийство на самом деле было убийством:[151]
Холмс: Рана была на голове, с правой стороны. А Ван Кун был левшой. Пришлось изловчиться.
Инспектор Диммок: Левшой?
Холмс: О, я поражен, что вы этого не заметили. Все, что вам нужно сделать, — внимательно посмотреть по сторонам: кофейный столик расположен слева; ручка кофейной кружки направлена влево. Розетки: как видно, используются те, что слева… Ручка и блокнот лежат слева от телефона, потому что он брал трубку правой рукой, а записи делал левой… На доске для хлеба лежит нож, лезвие измазано маслом с правой стороны, потому что держал он его левой рукой. Очень маловероятно, что левша выстрелит себе в голову с правой стороны. Вывод: кто-то вломился в его дом и убил его…
Инспектор Диммок: Но пистолет… Почему?
Холмс: Он ждал убийцу. Он был предупрежден.
Обратите внимание, что Холмс использует словосочетание «очень маловероятно». Это говорит о том, что он не использует дедукцию. Но это и не индукция, потому что он не переходит от частного к общему — в некотором роде он переходит от одной детали (те наблюдения, которые делает Шерлок в квартире жертвы) к другой (делая вывод о том, что это все же убийство, а не суицид). Абдукция, мой дорогой Ватсон.
Аргументы
Когда в поддержку утверждения приводятся доводы, оно приобретает особый статус — то, что логики называют «аргументом». В данном контексте слово «аргумент» не означает «разногласие» или «спор»{53} — это формальная система логически выстроенных высказываний. У аргументов есть две стороны: довод и заключение. Довод может включать в себя одну или более посылок (утверждение без доводов, равно как и без заключения, — не аргумент в этом смысле слова).
Аргументы выстраиваются в систему. Мы часто начинаем с заключения — я знаю, это звучит странно, но так мы обычно и поступаем: делаем вывод и потом подбираем доводы.
Заключение: Жак жульничает во время игры в пул.
Довод (или посылка): Когда ты отвернулся, я видел, как он подвинул шар, прежде чем ударить по нему.
Дедуктивное рассуждение идет в противоположном направлении.
Посылка: Когда ты отвернулся, я видел, как он подвинул шар, прежде чем ударить по нему.
Заключение: Жак жульничает во время игры в пул.
Приблизительно так ученые и рассказывают о результатах эксперимента, это тоже выглядит как аргумент и снова состоит из двух частей.
Гипотеза = Г
Следствие = С
Г: Не существует черных лебедей.
С: Если Г — истина, то ни я, ни кто-либо еще никогда не увидит черного лебедя.
Но С не является истиной. Мой дядя Эрни видел черного лебедя и потом показал его мне.
Следовательно, гипотеза Г опровергнута.
Дедуктивный аргумент
Микробная теория болезней возникла благодаря применению дедукции[152]. Игнац Земмельвайс, венгерский врач немецкого происхождения, провел серию экспериментов (на 12 лет опередив Пастера с его исследованием микробов и бактерий) для определения причин высокого уровня смертности от родильной горячки в неспециализированной больнице Вены. Научные знания тогда еще были не на должной высоте, но его систематические наблюдения и действия не только помогли выявить причины горячки, но и способствовали продвижению научного знания. Его эксперименты представляют собой пример дедуктивной логики и научного рассуждения.
Тут нужно еще упомянуть о некоем условии контроля: в неспециализированной больнице Вены существовало два родильных отделения, располагавшихся рядом. В первом уровень смертности был очень высоким, а во втором — низким. И никому не удавалось понять, почему уровень материнской и младенческой смертности в одном отделении настолько превышает соответствующие показатели в другом.
Одно из объяснений, предложенных комиссией по расследованию, сводилось к тому, что само расположение первого отделения вызывало психологический дискомфорт: когда к умирающей женщине вызывали священника для отправления последнего обряда, ему нужно было проходить мимо родильного блока, расположенного в первом отделении. О его приходе возвещала сестра, звонившая в колокол. И комбинация этих действий, как считалось, ильно пугала рожениц, в результате чего они становились жертвами родильной горячки. Священнику не нужно было проходить мимо рожениц, когда он шел во второе отделение, потому что была возможность напрямик попасть в помещение, где содержались умирающие женщины.
Земмельвайс выдвинул гипотезу и сформулировал следствие, легшие в основу эксперимента:
Г: Присутствие колокола, в который бьют при появлении священника, повышает вероятность заражения.
С: Если не будет ни колокола, ни священника, не будет и увеличения случаев заражения.
Земмельвайс убедил священника ходить так, чтобы миновать рожениц из первого отделения, а также попросил сестру перестать звонить в колокол.
Уровень смертности не снизился.
С не является истиной.
Следовательно, Г — ложь.
Гипотеза не выдержала проверки.
Земмельвайс выдвигал и другие гипотезы. Оказалось, что дело было и не в количестве рожениц, потому что на самом деле во втором отделении их было больше. Причина была и не в температуре, поскольку она была одинаковой в обоих блоках. Как это часто бывает с научными открытиями, свою роль сыграл случай — он и стал ключом к пониманию ситуации. Один близкий друг Земмельвайса случайно порезался скальпелем студента, который только-только закончил вскрытие. Другу стало очень плохо, а последующее вскрытие проявило несколько схожих симптомов заражения, которые были найдены у женщин, умиравших при родах. Земмельвайс заинтересовался, нет ли связи между частицами химических веществ, найденных в трупах, и распространенностью заболевания. Еще одно различие между двумя отделениями, которое раньше казалось неважным, неожиданно стало определяющим: персонал в первом отделении состоял преимущественно из студентов-медиков, которые часто делали вскрытия или препарировали трупы, а потом бежали на вызов и принимали роды. Персонал второго отделения составляли акушерки, у которых не было других обязанностей. Врачи не имели обыкновения мыть руки, и поэтому Земмельвайс предположил следующее:
Г: Присутствие частичек трупных тканей на руках врачей увеличивает вероятность заражения.
С: Если нейтрализовать эти частички, инфекция не распространится.
Конечно, допустимы и другие, альтернативные следствия: если поменять местами работников двух отделений (акушерки перешли бы в первое отделение, а студенты-медики — во второе), уровень заражения снизится. Однако есть две причины, по которым подобные изменения были не таким эффективным решением проблемы, как мытье рук. Во-первых, если допустить, что гипотеза верна, уровень смертности в больнице остался бы тем же: все, что удалось бы сделать Земмельвайсу, — перенести заражение из одного отделения в другое. Во-вторых, даже если врачи не принимали роды, они все равно должны были работать в своих лабораториях в первом отделении, и потому они бы сильно задерживались, спеша к роженицам, что могло бы тоже спровоцировать определенный уровень смертности. Проблему можно было решить, только обязав врачей мыть руки.
Земмельвайс отважился на эксперимент и попросил врачей дезинфицировать руки раствором хлорной извести. Уровень смертности в первом отделении снизился с 18 % до 2 %.
Логические ошибки
Иллюзорная корреляция
Наш мозг — огромный детектор, распознающий разные закономерности; он пытается упорядочить и структурировать то, что порой кажется случайной конфигурацией. Мы видим созвездие Ориона в ночном небе не потому, что звезды так расположились, а потому, что наш мозг может наложить известный ему образ на всю эту звездную россыпь.
Вам звонит друг ровно в ту минуту, когда вы о нем думаете, — такого рода совпадение настолько удивительно, что мозг заостряет на нем внимание. Но ведь он так не поступает всякий раз, когда вы не думали о человеке, а он вам позвонил. Подумайте об этом на примере четырехчастной таблички из части 1. Предположим, у вас удивительно удачная неделя, наполненная совпадениями (вам перебежала дорогу черная кошка, когда вы проходили мимо свалки, вы поднялись на 13-й этаж здания и обнаружили, что по телевизору передают фильм «Пятница, 13-е»). Ну, скажем, на этой неделе вам позвонили 20 раз: два звонка были от тех, с кем вы давно не виделись, но кто позвонил вам спустя десять минут после того, как вы о них подумали. Это будет верхняя часть вашей таблички: 20 звонков, два из которых произошли в силу ваших экстрасенсорных способностей, а 18 были обычными. Но погодите-ка! Нам ведь еще нужно заполнить и нижнюю часть таблички: сколько раз вы думали о своих знакомых, а они не позвонили, или — и это мое любимое — сколько раз вы не думали о ком-то и он не позвонил?
Чтобы полностью заполнить таблицу, давайте допишем, что вы думаете о ком-то 52 раза в неделю, а 930 раз в неделю — не думаете[153]. (Последний показатель взят наобум, но если мы поделим неделю, в которой 168 часов, на десятиминутные фрагменты, то получим около 980 мыслей, и мы уже знаем, что 50 из них были о людях, которые вам не звонили, значит, 930 — о чем-то другом. Возможно, я вас недооцениваю — на самом деле вы можете взять любое число, просто поэкспериментируйте.)
Наш мозг действительно замечает только верхний левый квадрат и игнорирует три остальных в ущерб логическому мышлению (и в угоду экстрасенсорному). Прежде чем забронировать билет до Лас-Вегаса, где можно поиграть в рулетку, давайте пробежимся по цифрам. Какова вероятность, что кто-то позвонит при условии, что вы только что о нем подумали? Она составляет два из 52, или 4 %.
Да, верно, в 4 % случаев, когда вы думаете о человеке, он вам звонит. Не очень-то впечатляет.
Что же может объяснить такого рода совпадение? Физик рассмотрит тысячу событий в вашей четырехчастной табличке и заметит, что только два из них (0,2 одного процента) кажутся «странными», и потому вы вполне можете ожидать, что они произойдут случайно. Социальный психолог поинтересуется, не было ли какого-нибудь внешнего события, которое могло спровоцировать ваши со звонившим мысли друг о друге, предшествующие звонку. Вот пример: вы прочли о теракте 13 ноября 2015 года в Париже. На подсознательном уровне вы вспоминаете, что всегда думали со своей университетской подругой поехать в Париж. Она звонит вам — и вы так удивлены этим звонком, что совершенно забываете о связи теракта с вашими студенческими планами, — а дело в том, что она отреагировала на то же самое событие и потому взялась за телефонную трубку.
Если все это напоминает вам об истории с разлученными близнецами, о которой мы говорили ранее, то и правильно. Иллюзорная корреляция — стандартное объяснение, предлагаемое генетиками-бихевиористами для понимания странных совпадений в поведении (например, тот факт, что оба близнеца чешут голову одним и тем же пальцем или что оба обматывают карандаши и ручки изолентой, чтобы те не скользили). Нас всегда завораживают данные, находящиеся в левой верхней ячейке четырехчастной таблицы, — это все те вещи, которые объединяют близнецов. При этом мы совершенно игнорируем то, что один из них делает, а второй нет.
Фрейминг вероятностей
После того звонка от вашей давней подруги вы решаете поехать следующим летом на недельку в Париж. И, стоя перед «Моной Лизой», слышите знакомый голос, оглядываетесь и видите своего старого соседа по комнате Джастина, которого не видели много лет.
«Поверить не могу!» — восклицает Джастин. «Знаю!» — вторите ему вы. «Каковы шансы, что я наткнусь на тебя здесь, в Париже, стоя перед „Моной Лизой“! Да один на миллион!»
Да, шансы столкнуться с Джастином перед «Моной Лизой», вероятно, один на миллион (будет сложно подсчитать точно, но любой подсчет показал бы однозначно, насколько это маловероятно). Но такой способ фрейминга вероятности ошибочен. Давайте немного вернемся назад. А что, если бы вы столкнулись с Джастином, стоя не перед знаменитой картиной Леонардо да Винчи, а перед Венерой Милосской, в туалете или при входе в музей? А что, если бы вы столкнулись в вашем отеле, в каком-нибудь кафе или на Эйфелевой башне? Ведь вы были бы удивлены не меньше.
Поэтому забудьте о Джастине — если бы вы столкнулись со знакомым, будучи на каникулах, где-нибудь на улицах Парижа, вы были бы так же сильно удивлены. Впрочем, зачем привязываться именно к каникулам в Париже? Это могло случиться и во время командировки в Мадрид, пересадки в Кливленде или посещения спа-салона в Таксоне. Давайте зафреймим вероятность следующим образом: когда-нибудь, став взрослым, вы столкнетесь со своим знакомым в таком месте, где вы меньше всего этого ожидали. Ясно, что шансы на такую встречу довольно высоки. Но наш мозг не думает таким образом — когнитивистика как раз и учит нас тому, как важно тренировать мозги, чтобы мыслить разумно.
Фрейминг риска
С фреймингом вероятностей тесно связана одна проблема — невозможность логически зафреймить риски. Даже учитывая количество жертв во время крушения самолетов 11 сентября в Америке, путешествия на самолетах остаются самым безопасным способом передвижения. На втором месте идут путешествия на поезде.
Вероятность умереть во время перелета или поездки на поезде близка к нулю. Да, после трагических событий 9/11 многие американцы стали избегать самолетов, отдавая предпочтение автомагистралям. Но тут сильно увеличилось количество несчастных случаев на дорогах. Люди следовали скорее своей интуиции и эмоциям, нежели здравому смыслу, не обращая внимания на увеличившийся риск. Уровень автотранспортных аварий не сильно поднялся относительно изначального, но количество погибших в авариях на дорогах увеличилось, так как больше людей стали выбирать менее безопасный способ передвижения[154].
Вам может попасться такая статистика:
В 2014 году в результате крушения самолетов погибло больше людей, чем в 1960-м.
И вы сделаете вывод, что путешествия по воздуху стали менее безопасными[155]. Статистические данные верны, но тут дело в другом. Если вы пытаетесь понять, насколько безопасно путешествовать самолетами, общее число смертей в результате крушений ничего вам не даст. Нужно обратить внимание на уровень смертности — количество людей, погибших за определенное количество преодоленных миль, или за перелет, или что-нибудь, что приравнивается к исходному показателю. В 1960 году полетов было меньше, но они были, без сомнения, опаснее[156].
Следуя той же логике, вы можете сказать, что больше людей погибает на автострадах в период с пяти до семи вечера, нежели в промежутке между двумя и четырьмя утра, поэтому нужно избегать вождения с пяти до семи. Но факт остается фактом: гораздо больше людей садятся за руль между пятью и семью — вам нужно посмотреть на уровень смертности (за километр, за поездку или в одной машине), а не на голые цифры. В таком случае вы увидите, что водить машину по вечерам гораздо безопаснее (отчасти потому, что водители, управляющие автомобилем в промежуток с двух до четырех утра, чаще бывают пьяными или сонными).
После теракта в Париже 13 ноября 2015-го CNN сообщило, что по меньшей мере один из террористов прибыл в Европейский Союз как беженец. Активисты, выступающие против наплыва беженцев, призывали ужесточить приграничный контроль. Это вопрос социальный и политический, и в мои планы не входит подробно на нем останавливаться, но цифры могут дать нам кое-какую информацию для принятия решения. Абсолютное закрытие границы для мигрантов и беженцев могло предотвратить атаки, в результате которых погибли 130 человек. Запрет въезда в страну миллионам мигрантов, бегущих из регионов, разрываемых боевыми действиями, таких как Сирия и Афганистан, с большой долей вероятности мог стоить жизни тысячам людей — и это число было бы выше 130. Но у тех, кому чужда логика, заголовки типа «Один из террористов был беженцем» только вызывают неприязнь к иммигрантам. Люди совершенно не думают о том, сколько жизней было спасено благодаря политике иммиграции. Террористы добиваются только одного — чтобы вы поверили, будто находитесь в непосредственной опасности.
Те, кто работает в сфере продаж, говоря о рисках, часто жульничают, чтобы убедить клиентов купить продукт. Представьте, что вы получили письмо от компании, занимающейся безопасностью жилищ. В нем говорится: «90 % ограблений раскрываются с помощью видео, предоставленного владельцем дома». Звучит очень сухо. Очень по-научному.
Давайте начнем разбираться и проверим утверждение на правдоподобность. Забудьте пока про вторую часть предложения, про видео, и сконцентрируйтесь на первой: «90 % ограблений раскрываются…» Звучит ли это разумно? Если не знать настоящей статистики, а просто использовать свой жизненный опыт, кажется сомнительным, что 90 % ограблений удается раскрыть. Для любого полицейского участка это было бы показателем фантастической эффективности работы. Давайте обратимся к интернету. На страничке ФБР написано, что около 30 % ограблений раскрыты[157]. Таким образом, мы можем отбросить обсуждаемое утверждение как весьма маловероятное. Оно гласило, что 90 % домашних ограблений раскрывают с помощью видеозаписей, предоставленных владельцем дома. Но этого не может быть — это бы означало, что более 90 % ограблений частных домов раскрывают, потому что некоторые из них точно раскрывают и безо всяких видеозаписей. Тут, скорее всего, имеется в виду, что 90 % раскрытых дел были раскрыты благодаря видеоматериалам, предоставленным владельцем.
Но разве это не одно и то же?
Читать бесплатно другие книги:
