Статистика и котики Савельев Владимир

Глава 8.

Лечение котиков

или дисперсионный анализ с повторными измерениями

Из предыдущего раздела мы узнали, как определить, помогает ли то или иное лекарство, если ваш котик заболел. Однако, иногда котики болеют тяжело, и им требуется специальное лечение в особых котиковых клиниках. И, как правило, это лечение подразумевает регулярную сдачу анализов, чтобы отслеживать, становится ли котикам лучше.

Когда таких сдач много (а точнее, больше двух), возникает проблема множественных сравнений, о которой мы не раз говорили выше. Если кратко, то она заключается в том, что, если вы будете попарно сравнивать первый анализ со вторым, второй с третьим и т. д., вероятность того, что вы ошибетесь в своих выводах, будет возрастать.

Разрешить эту проблему, как и в предыдущем случае, может дисперсионный анализ, а точнее, его особая разновидность — дисперсионный анализ с повторными измерениями. Нулевая гипотеза такого анализа состоит в том, что состояние котиков от пробы к пробе не меняется.

В самом простом варианте мы действуем практически так же, как и при обычном дисперсионном анализе: делим дисперсию на части. В тот раз таких частей было две: первая была обусловлена влиянием лечения (межгрупповая дисперсия), а вторая — остальными факторами (внутригрупповая дисперсия).

Однако важным отличием является то, что мы проводим все измерения на одних и тех же котиках. Иными словами, каждый котик измеряется по несколько раз и, соответственно, вносит свой вклад в общую дисперсию. Таким образом, наша дисперсия делится уже на три части: межгрупповую, внутригрупповую и межиндивидуальную.

Критерий Фишера сравнивает между собой только первые два вклада. Соответственно, чем он больше, тем больше причин отклонить нулевую гипотезу. И опять же — если вы отклонили ее, то попарное сравнение нужно будет проводить с помощью специальных post hoc критериев.

У дисперсионного анализа с повторными измерениями есть свой непараметрический брат-близнец — критерий Фридмана, который применяется, если есть выбросы и/или распределение отличается от нормального.

Идея его достаточно проста. Возьмем одного из котиков, у которого взяли три пробы анализов. Каждой из этих проб мы присваиваем ранг, где один — это самый плохой анализ, а три — самый хороший. То же самое мы делаем и с остальными котиками, получая в итоге вот такую таблицу.

Очевидно, что если первая проба у всех котиков самая плохая, а последняя — самая хорошая, то по итогу суммы рангов будут сильно различаться и нулевая гипотеза будет опровергнута. Обратная ситуация — когда суммы рангов во всех пробах одинаковы. Это будет означать, что лечение никак не повлияло на котиков.

Сам же критерий Фридмана, собственно, и позволяет оценить, насколько различаются эти суммы рангов.

НЕМАЛОВАЖНО ЗНАТЬ!

Сложные эксперименты

Некоторое время назад мы рассмотрели, как правильно обрабатывать простые эксперименты с двумя группами и двумя замерами (до и после воздействия). Однако если групп и замеров больше, то наша задача существенно усложняется.

К примеру, мы разделили наших котиков на три группы: первой мы даем лекарство (экспериментальная), второй не даем лекарство (контрольная), а третьей даем пустышку, но говорим им, что дали лекарство (плацебо-группа). При этом каждая группа замеряется три раза: в начале, середине и конце лечения.

Для обработки такого исследования нам необходим двухфакторный дисперсионный анализ с повторными измерениями. Подобно обычному двухфакторному ДА такой анализ легче всего интерпретируется с помощью графиков.

В частности из этого графика мы можем увидеть, что котики, принимавшие лекарство, выздоровели, плацебо-котикам стало чуть лучше, а контрольные котики так и продолжают болеть. Правда, возможно, на наши результаты могли повлиять небольшие различия между котиками в начале эксперимента.

К слову, все попарные различия между группами в разные моменты также необходимо проверять с помощью post hoc критериев. В частности — с помощью поправки Бонферрони.

Глава 9.

Как сделать котика счастливым

или основы корреляционного анализа

Безусловно, мы все хотим, чтобы наши котики были счастливы, и поэтому стараемся их постоянно радовать. Однако разных котиков радуют разные вещи: один любит вкусно поесть, другой — поиграть, а третий — поточить когти о любимый хозяйский диван.

Безусловно, существуют и некоторые универсальные вещи, которые радуют большинство котиков, что сильно упрощает нам жизнь. И в этой главе мы рассмотрим один из методов, который позволяет их выявить, — корреляционный анализ.

Предположим, мы решили проверить, связаны ли между собой котиковое счастье и размер ежедневных котиковых порций. Если обильная еда делает котиков счастливыми, то эта взаимосвязь будет отражаться вот таким графиком.

Это так называемая линейная положительная связь. Противоположная (хотя и маловероятная) ситуация — котики являются приверженцами оздоровительных голоданий, и чем больше порции им предлагают, тем более несчастными они становятся.

Такая связь называется линейной отрицательной. Наконец, может получиться так, что котикам вообще не важно, насколько большие у них порции, главное, чтоб еда была вкусной. В этом случае мы наблюдаем отсутствие связи (или нулевую связь), которая отображается вот таким вот графиком.

Однако в реальной жизни мы очень редко можем наблюдать подобные случаи: как правило, у нас возникает что-нибудь такое.

И поэтому мы нуждаемся в некоторой мере, которая позволила бы нам, во-первых, оценить, насколько сильно связаны между собой счастье и количество доступной еды, а во-вторых, является ли эта связь положительной или отрицательной.

Для вычисления такой меры воспользуемся хитрым способом. Для начала представим, что у нас наблюдается линейная положительная связь. Теперь посчитаем средние арифметические по размеру порций и уровню счастья, а затем возьмем эти показатели в качестве нулевых точек отсчета для нашего графика. После этого мы можем увидеть, что часть котиков более счастлива и получает больше еды, чем в среднем, а остальные — менее счастливы и получают меньше еды, чем средний котик.

Отклонения от среднего по обеим величинам у первых, зажиточных котиков будут положительными числами, а у вторых — отрицательными. Однако если вы возьмете любого из них (назовем его Барсиком) и перемножите его отклонения между собой, то вы получите положительное число. В том числе и потому, что минус на минус дает плюс.

Теперь представим обратную ситуацию: чем больше порции, тем менее счастливыми становятся котики (типичного представителя этой группы мы назовем Мурзиком). В этом случае мы также наблюдаем разделение на две группы: несчастных обжор и счастливых голодающих. Но и у тех, и у других знак одного отклонения будет положительным, а знак другого — отрицательным. А как мы знаем, произведение положительного и отрицательного чисел дает отрицательное число.

Иными словами, знак, который получается при перемножении отклонений, может служить индикатором того, является ли наш котик Барсиком, который становится счастливее при увеличении порций, либо Мурзиком, которому еда отвратительна. Осталось только понять, кто из них делает больший вклад в наблюдаемые данные, что достигается простым суммированием полученных произведений. Если при результате стоит плюс, то победили Барсики и связь положительная. Если минус — то преобладают Мурзики и связь отрицательная. Если же ответ близок к нулю, объявляется боевая ничья и признается отсутствие связи.

Далее с помощью некоторых нехитрых преобразований этот результат приводят в нужную размерность, получив так называемый коэффициент корреляции Пирсона. Он может изменяться в пределах от -1 до 1, где -1 — отрицательная связь, +1 — положительная связь, а 0 — отсутствие всякой связи.

Нулевая гипотеза такого коэффициента — связи нет, альтернативная — связь есть (не важно, положительная или отрицательная). Если коэффициент корреляции достаточно большой по модулю, то нулевая гипотеза отвергается в пользу альтернативной.

Основная проблема r Пирсона как параметрического критерия (т. е. использующего в расчетной формуле средние значения) заключается в том, что он очень не любит выбросы и ненормальные распределения. Поэтому у него есть непараметрический аналог — коэффициент корреляции Спирмена.

Чтобы его вычислить, упорядочим наших котиков от самого счастливого до самого несчастного и присвоим им ранги. Затем мы перераспределим их от самого переедающего до самого голодного и присвоим им ранги уже по этому признаку. Если результаты обоих ранжирований будут совпадать между собой, то мы можем констатировать положительную связь, если же они будут диаметрально противоположными — отрицательную.

Критерий Спирмена мы получаем, применив специальную формулу к нашим рангам, и он интерпретируется аналогично r-критерию Пирсона.

Как правило, проводя корреляционный анализ, мы анализируем сразу несколько переменных и по итогу получаем так называемую корреляционную матрицу. В ней записаны все вычисленные коэффициенты корреляции. Чтобы найти, какие переменные связаны с счастьем, достаточно найти нужный столбик и посмотреть, какие из этих коэффициентов являются значимыми.

Единственное — если вы находите несколько коэффициентов корреляции одновременно, то здесь опять возникает проблема множественных сравнений. Решить ее можно, применив всю ту же поправку Бонферрони: поделив критический p-уровень значимости (0,05) на количество вычисленных критериев (в нашем случае на 3) и сравнив наш p-уровень с получившимся значением (0,017).

К большому сожалению, корреляционный анализ позволяет установить только само наличие связи. Однако сказать, насколько сильно тот или иной фактор влияет на счастье, он не способен. Для этого используются более мощные методы, о которых мы поговорим в следующей главе.

НЕМАЛОВАЖНО ЗНАТЬ!

Корреляция может обмануть

При проведении корреляционного анализа очень важно помнить, что высокий коэффициент корреляции не всегда указывает на характер связи между явлениями. В качестве примера предположим, что мы нашли взаимосвязь между размером котиков и их эмоциональным состоянием. Иными словами — чем больше котик, тем он счастливее.

Тогда теоретически равноправными являются следующие утверждения.

1. Большие котики лучше реализуются в жизни и от того более счастливы.

2. Хорошее расположение духа вызывает более активную выработку гормонов роста, что и приводит к данному эффекту.

3. Существует некоторая третья переменная, которая обусловливает как хорошее настроение, так и разницу в размерах. Например, качество и количество котикового корма.

4. Это просто совпадение.

И чтобы определить, какая из этих гипотез верна, необходимо организовать экспериментальное исследование, о котором шла речь в предыдущих главах.

Глава 10.

Формула счастья

или основы регрессионного анализа

Из предыдущей главы вы узнали, как определить, что делает наших котиков счастливыми. Для этих целей мы использовали корреляционный анализ. Однако коэффициенты корреляции позволяют установить лишь само наличие и выяснить направление этой связи. Определить, насколько сильно изменяется одна переменная под воздействием другой, он не в силах. В качестве иллюстрации приведем пример.

На графиках изображены две линейные положительные взаимосвязи. Коэффициент корреляции в обоих случаях равен +1. Однако очевидно, что каждый подранный диван делает котиков гораздо счастливее, чем очередное увеличение пайков. Эта разница математически описывается с помощью коэффициента b₁. Он определяется как тангенс угла между линией котиков и горизонтальной оси x. Чем больше этот коэффициент, тем сильнее растет уровень счастья от каждой новой порции.

Можно выразиться и так: при увеличении порции мяса на одну единицу котиковое счастье будет возрастать на b₁.

Вторая величина, которая может описывать нашу прямую, называется b₀. Она показывает, насколько счастливы котики, если их совсем не кормить.

По итогу, линейную взаимосвязь между количеством еды и котиковым счастьем можно описать с помощью вот такого несложного уравнения.

Однако, к сожалению, реальные взаимосвязи мало похожи на прямую линию. Чаще они напоминают собой огурец, а в запущенных случаях — авокадо. Но описывать такие вещи довольно сложно, поэтому статистиками был разработан специальный метод, который позволяет подобрать такую прямую, которая смогла бы заменить этот овощ с минимальными потерями данных. Этот метод называется регрессионным анализом, и результатом его применения обычно является уравнение, похожее на то, что обозначено нами выше.

Рассмотрим, как это получается. Предположим, у нас есть прямая, полученная в результате регрессионного анализа, и недалеко от этой прямой обосновался наш старый знакомый — Барсик. На рисунке видно, что Барсик чуть менее счастлив, чем ему положено при своем рационе. Это различие называется регрессионным остатком.

Теперь мысленно подвигаем Барсика относительно регрессионной прямой — при удалении от нее остаток будет увеличиваться, а при приближении — уменьшаться. И, наконец, если Барсик встанет на эту прямую, остаток будет равен нулю. А теперь вспомним, что у нашего Барсика есть компания, и если все наши котики находятся на прямой, то их совокупный остаток тоже будет равен нулю. В то же время при удалении от этой прямой совокупный остаток начнет увеличиваться.

Логика диктует, что, чтобы получить такой совокупный остаток, нам нужно просто сложить индивидуальные остатки котиков (бр-р-р… звучит жутко). Однако, поскольку эти остатки могут быть как положительными, так и отрицательными (некоторые котики ведь могут быть более счастливыми, правда?), на выходе мы можем получить полную белиберду (аналогичная ситуация была, когда мы считали стандартное отклонение). Поэтому, чтобы исключить влияние знаков, мы складываем квадраты остатков.

Чем больше получившаяся сумма, тем хуже прямая описывает наши данные. И суть регрессионного анализа заключается в том, чтобы подобрать такую прямую, при которой эта сумма была бы минимальной.

А теперь пару слов о том, почему регрессионный анализ считается одним из самых крутых статистических методов. Дело в том, что он способен работать с большим количеством переменных одновременно. И если вы умудритесь провести тотальный замер ваших котиков на предмет того, что может приносить им счастье, и прогоните эти данные через регрессионный анализ, вы можете получить настоящую формулу счастья.

По этой формуле вы сможете выяснить, какие факторы наиболее сильно влияют на котиковое счастье, и предсказывать, насколько будет счастлив тот или иной котик по их значениям.

Однако здесь важно сделать предостережение — если вы вычислили такую формулу, это вовсе не означает, что то, что в ней справа — причины, а слева — следствие. В конце концов, может быть, еда делает котиков счастливыми, а может, и наоборот — у счастливых котиков лучше аппетит.

Помимо самой формулы вы также можете получить информацию о том, можно ли в нее что-нибудь добавить. В этом вам поможет коэффициент детерминации R². Он изменяется в промежутках от 0 до 1, и чем ближе к единице, тем лучше ваша формула объясняет наблюдаемые данные. Низкий коэффициент детерминации говорит о том, что нужно поискать, какие еще переменные могут быть связаны с котиковым счастьем.

НЕМАЛОВАЖНО ЗНАТЬ!

Нелинейная регрессия

Вообще-то говоря, связь между переменными не всегда является линейной. Например, существует определенный момент, после которого котика начинает тошнить от дополнительных порций, хотя до этого момента каждая новая порция делала его более счастливым.

Такую взаимосвязь можно описать с помощью квадратного (или, как говорят математики, полиномиального) уравнения, с которым мы знакомы со школы. И составить такое уравнение можно с помощью метода полиномиальной регрессии.

Определить целесообразность использования этого или сходных с ним методов можно, предварительно построив точечные диаграммы. Помимо линейных и полиномиальных взаимосвязей могут быть еще и такие.

Увидев, что ваша взаимосвязь похожа на что-нибудь из этого, вы можете либо найти подходящий метод регрессионного анализа, либо преобразовать одну из переменных таким образом, чтобы можно было бы воспользоваться методами линейной регрессии.

Глава 11.

Котики счастливые и несчастные

или логистическая регрессия и дискриминантный анализ

Из предыдущей главы вы узнали, как с помощью линейной регрессии понять, насколько сильно те или иные факторы влияют на уровень котикового счастья. Однако, у обычного регрессионного анализа есть одно существенное ограничение — уровень счастья должен быть достаточно точно измерен с помощью какого-нибудь прибора или теста. К сожалению, мы зачастую не располагаем подобным оборудованием. Максимум, что мы можем сделать, это прикинуть, является ли данный конкретный котик счастливым или несчастным.

Можем ли мы при таких условиях найти факторы, предсказывающие котиковое счастье?

Разумеется да. И для этого существуют два очень хороших метода. Первый называется логистической регрессией, а второй — дискриминантным анализом.

Логистическая регрессия во многом похожа на линейную. Однако вместо уровня счастья в левой части уравнения стоит величина, которая позволяет рассчитать вероятность того, что данный котик счастлив. Эта величина называется логарифмом шанса.

Слово «шанс» достаточно часто встречается в русском языке, как правило, обозначая то, что ни в коем случае нельзя упустить. Но с точки зрения статистики шанс — это вероятность того, что данный котик счастлив, деленная на вероятность того, что он несчастлив.

По некоторым математическим причинам от шанса берут натуральный логарифм и подставляют эту величину в регрессионное уравнение. Если логарифм шанса будет положительным, то данный котик считается счастливым, а если отрицательным — то несчастным.

Альтернативным методом является дискриминантный анализ. Чтобы разобраться, что это такое, обратимся к рисунку.

На нем представлены счастливые котики (Барсики) и несчастные (Мурзики), а также информация о том, кто из них сколько ест. Очевидно, что Барсики едят в целом больше, и мы можем провести четкую границу между котиками по этому фактору. И если такая граница возможна, то мы делаем вывод, что фактор связан с уровнем счастья. Иной случай выглядит так.

Здесь невозможно построить такую границу, чтобы Барсики оказались по одну ее сторону, а Мурзики — по другую. Соответственно, в этом случае количество еды не связано с уровнем счастья.

Алгоритм нахождения таких границ и называется дискриминантным анализом, а формула, которая задает границы, — дискриминантной функцией. По итогу дискриминантного анализа вы получаете таблицу, в которой обозначается, по каким факторам удалось провести внятные границы, а по каким — нет.

Дискриминантный анализ может работать и с большим количеством групп. Например, если мы добавим к нашим Барсикам и Мурзикам группу философских котиков, дискриминантный анализ сможет найти границы между ними всеми. Число таких границ всегда будет на одну меньше, чем количество групп.

Если же вы являетесь поклонником регрессионного анализа, то при большом количестве групп вы можете вычислить так называемую мультиномиальную регрессию.

НЕМАЛОВАЖНО ЗНАТЬ!

Мультиколлиниарность и переобучение

С методами регрессионного и дискриминантного анализов связаны две проблемы, которые существенным образом могут испортить вам все ваши выводы.

Первая из них — проблема мультиколлиниарности — возникает в случаях, когда некоторые факторы сильно коррелируют между собой, и приводит к неустойчивости получившегося уравнения. Проявляется это в двух формах.

1. При добавлении всего одного-двух котиков в выборку это уравнение может измениться до неузнаваемости.

2. Формулы, построенные на двух сходных выборках котиков, будут различаться.

Как правило, эту проблему преодолевают тремя способами.

1. Исключают одну из коррелирующих переменных из анализа.

2. Предварительно проводят процедуру факторного анализа (о нем будет рассказано далее), заменяющего эти переменные одной искусственной, которая и будет включена в регрессию.

3. Проводят процедуру пошаговой регрессии. Такая регрессия постепенно включает в уравнение по одной переменной и сразу же после этого пересчитывает вклад всех остальных. В итоге если одна из коррелирующих переменных была выбрана в качестве фактора, вторая туда скорее всего не попадет.

Вторая проблема — проблема переобучения — заключается в том, что уравнение, полученное на одних котиках, может не работать на других. Она возникает из-за того, что в вашей выборке котиков могут быть закономерности, которые нехарактерны для котиков в целом. И зачастую они попадают в регрессионную модель.

Для того чтобы предотвратить переобучение, используют критерий, который искусственно ограничивает количество факторов, включенных в уравнение (например критерий Акаике и Байесовский информационный критерий).

Глава 12.

Котиковые аналоги

или основы математического моделирования

В предыдущих разделах мы подробно рассмотрели метод регрессионного анализа, который позволяет построить уравнение, описывающее, как различные вещи влияют на настроение котиков. Подобные уравнения входят в группу объектов, называющихся математическими моделями.

Математическая модель — это своего рода аналог котика, который позволяет изучать его поведение без проведения реальных экспериментов. Как правило, это значительно удешевляет исследования.

Все математические модели делятся на функциональные и структурные. Функциональные модели, к которым, к слову, относится регрессионное уравнение, — описывают влияние внешних факторов на котиковое состояние. Например, известная нам модель котикового счастья.

Особенность такой модели в том, что мы подробно не рассматриваем состав этого счастья. Счастье для нас — некий целостный объект, целевая переменная, которая может меняться: прибывать или убывать. А вот структурные модели позволяют описать его компоненты: от удовлетворения базовых котиковых потребностей до котиковой самореализации.

Как правило, функциональные модели записываются с помощью уравнений. А вот структурные могут быть достаточно разнообразными: от таблиц до блок-схем.

Любая математическая модель строится в два этапа. На первом этапе мы прикидываем, какие факторы в принципе могут влиять на котиковое счастье или из каких компонентов оно может состоять. Этот этап называется также построением содержательной модели.

Второй этап включает в себя сбор реальных данных и их математическую обработку. Он называется построением формальной модели. Формальную модель уже можно использовать как аналог реального котика. Изменяя различные параметры этой модели, вы сможете понять, как функционирует котик, не прибегая к опытам над животными.

НЕМАЛОВАЖНО ЗНАТЬ!

Классификация математических моделей

Помимо деления на функциональные и структурные модели есть еще несколько классификаций, о которых полезно знать. В частности бывают модели статические и динамические. Первые описывают состояние котика в какой-то конкретный момент. Вторые же концентрируются непосредственно на изменениях, которые претерпевает котик.

Кроме того, модели делятся на линейные и нелинейные. Линейные модели включают в себя только линейные взаимосвязи, о которых мы подробно говорили в главах про корреляционный и регрессионный анализы. Нелинейные модели могут включать в себя нелинейные взаимосвязи. Примером здесь может служить полиномиальная регрессия.

Также имеет смысл рассмотреть деление моделей на непрерывные и дискретные. Первые отличаются тем, что в них все переменные имеют бесконечное множество значений. Пример такой переменной — это котиковый размер, измеренный в сантиметрах. Мы можем сказать, что наш котик имеет длину 62 см. А можем — что 62,513987 см. И даже точнее. Если состояние вашего котика измеряется такой переменной, то, чтобы построить функциональную модель, вам необходима линейная регрессия.

Дискретные же модели работают с переменными, которые имеют ограниченное количество значений. Например, тот же размер, но имеющий только три значения: маленький, средний и большой. Построить модели с дискретными целевыми переменными, в частности, позволяют логистическая регрессия и дискриминантный анализ.

Впрочем, на практике большинство моделей относятся к смешанным типам — в них встречаются как дискретные, так и непрерывные переменные, а линейные взаимосвязи вполне могут сочетаться с нелинейными.

Глава 13. Разновидности котиков

или основы кластерного анализа

Из предыдущих разделов мы узнали, как определить, какие факторы делают наших котиков счастливыми. В этом нам помогли регрессионный и дискриминантный анализы. Зная значения этих факторов, мы можем предсказать, будет ли тот или иной котик счастливым или несчастным. Иными словами, мы можем рассортировать котиков по классам, т. е. классифицировать их.

Вообще, задача классификации является крайне важной практически для всех наук, изучающих котиков. Но довольно часто мы не имеем никакого понятия даже о том, на какие группы делятся котики. Ведь котики очень разные. Поэтому существуют методы, которые позволяют не только рассортировывать котиков на группы, но и выделять сами эти группы. И все вместе они называются кластерным анализом.

В первом приближении у нас могут возникнуть две ситуации. Первая — мы знаем, на сколько групп у нас должны делиться котики, но не имеем понятия, где эти группы находятся. Вторая — мы не знаем итоговое количество групп. Со второго случая мы, пожалуй, и начнем.

Рассмотрим самый простой пример. Предположим, что мы захотели поделить наших котиков по размеру. Очевидно, что чем больше два котика похожи друг на друга, тем больше шансов, что они окажутся в одной группе. Чтобы понять степень похожести, надо просто найти разность между размерами — чем она меньше, тем более похожими являются наши котики.

Итак, мы вычисляем все возможные разности между размерами котиков. Далее пара самых похожих котиков объединяется в группу (или кластер). Затем мы вновь вычисляем разности. А затем опять объединяем самых похожих. И так происходит до тех пор, пока у нас все котики не объединятся в один большой кластер.

Этот алгоритм относится к методам иерархической кластеризации. Их довольно много, но каждый из них обладает следующими свойствами.

1. Эти методы могут работать с большим количеством переменных — вы можете брать и размер, и степень пушистости, и длину коготков, и прочие котиковые признаки одновременно.

2. На основе этих признаков вы вычисляете степень похожести котиков (чаще используется термин расстояние).

3. Котики последовательно объединяются в группы. Это может происходить так, как было описано выше (так называемый «метод ближайшего соседа»), а может и по другим принципам.

4. По итогу вы получаете график, называемый дендрограммой. По ней вы можете определить, на какие группы делятся ваши котики и какие котики к какой группе принадлежат. Единственное — если котиков очень много, воспринимать такую дендрограмму довольно сложно.

Напомним, что иерархический кластерный анализ позволяет вам разбить котиков на группы, когда вы не знаете, сколько у вас их должно получиться. А если знаете, то более адекватным будет использование метода k-средних.

Идея достаточно проста. Предположим, вы подозреваете, что все котики делятся на три различающиеся размером группы. Тогда у каждой группы существует свой представитель, который обладает самым типичным для группы размером. Такой котик называется центроидом. И основная задача алгоритма k-средних — найти, каким именно размером эти центроиды обладают.

Происходит это пошагово. На первом этапе мы произвольно расставляем центроиды.

На втором этапе вычисляются расстояния от каждого котика до каждого центроида.

На третьем — определяем принадлежность котиков к тому или иному центроиду. Иными словами — смотрим, какой котик к какому центроиду ближе.

И на четвертом этапе мы вычисляем средний размер котиков при каждом центроиде. И центроид перемещается в этот средний размер.

А потом алгоритм повторяется со второго шага. Происходит это потому, что некоторые котики перебегают от одного центроида к другому, вследствие чего положение центроидов также будет меняться.

Происходит это ровно до тех пор, пока после очередного повторения положение центроидов останется неизменным.

Важно отметить следующие вещи. Во-первых, k-средних может работать сразу по нескольким переменным. Для этого, как и для иерархического кластерного анализа, вычисляется расстояние, но уже не между отдельными котиками, а между конкретным котиком и центроидом.

Во-вторых, результат k-средних сильно зависит от начального положения центроидов. Некоторые такие положения могут приводить к довольно-таки бредовым результатам. Поэтому k-средних лучше проводить несколько раз подряд. Кстати, если вы при этом каждый раз получаете разные результаты, стоит задуматься о смене количества групп.

НЕМАЛОВАЖНО ЗНАТЬ!

Метрики расстояний

Конкретные результаты кластерного анализа во многом зависят от того, какую метрику расстояния вы выбрали. А их существует несколько. Самая простая из них — эвклидово — есть просто кратчайший путь между двумя точками.

Иногда вместо него используют так называемое Манхэттенское расстояние. Названо оно было в честь Манхэттена, а точнее — в честь его планировки. Прогуливаясь по Манхэттену, вы не можете попасть из точки А в точку Б по кратчайшему пути. Если только вы не можете проходить сквозь стены, вам обязательно придется идти вдоль его параллельно-перпендикулярных улиц.

Заметим, что синий и красный пути абсолютно одинаковы. Манхэттенское расстояние лучше использовать в случаях, если вы подозреваете, что в вашей выборке есть выбросы.

Последняя наиболее часто используемая метрика — это расстояние Чебышева. Она немного похожа на Манхэттенское расстояние. Но только чуть-чуть. Потому что его можно определить как максимальное расстояние, которое котику нужно будет пройти вдоль одной улицы.

Глава 14.

О котиковом характере

или основы факторного анализа

Безусловно, каждый котик — уникальная и сложная личность. У него есть индивидуальные желания и предпочтения, а также собственный взгляд на мир и свое место в нем. Впрочем, некоторые психологические особенности (например, любовь к еде) являются общими для всех котиков.

Однако, к большому сожалению, в отличие от всяких внешних признаков (к примеру таких, как размер или пушистость), психологические особенности не так просто измерить, поскольку их нельзя увидеть. И потому мы нуждаемся в специальных методах для их выявления.

В качестве примера вспомним, что большинство котиков склонны точить когти о диван и время от времени царапать своих хозяев. При этом мы наблюдаем линейную положительную взаимосвязь между этими явлениями — котики, которые дерут большее количество диванов, склонны оставлять большее количество царапин.

Глядя на эту взаимосвязь, мы можем предположить, что за этими склонностями стоит некоторая скрытая причина, которая вполне может являться особой чертой котикового характера. Назовем ее царапучестью. Чем выше царапучесть, тем больше котики склонны царапать диваны и людей.

Выявить такие скрытые причины (или факторы) помогает факторный анализ, который проходит в несколько этапов. Во-первых, рассчитывается корреляционная матрица между всеми переменными, которые вы замерили: размером, количеством еды, склонностью царапать людей и т. д.

Во-вторых, переменные, которые коррелируют между собой, заменяются факторами. Чтобы понять, как это происходит, обратимся к рисунку.

На нем уже знакомая нам линейная взаимосвязь, которая описывается регрессионной прямой. Давайте теперь повернем наш рисунок таким образом, чтобы эта прямая лежала по горизонтали, и проведем прямую, перпендикулярную регрессионной.

У нас получилась новая система координат. При этом большая часть котиков лежит вдоль оси Х. Эта ось и будет являться фактором, заменяющим как количество поглощаемой пищи, так и котиковое счастье.

В итоге мы получаем вот такую таблицу, которая называется факторной матрицей. В каждой ячейке такой таблицы — коэффициент корреляции между одним из факторов и конкретной переменной. Называется он факторной нагрузкой. Сумма коэффициентов корреляции для каждого фактора называется собственным значением.

Далее происходит так называемая процедура вращения. Цель ее заключается в том, чтобы большие коэффициенты корреляции в факторной матрице стали еще больше, а маленькие — еще меньше. Это значит, что каждый фактор будет связан только с определенной группой переменных и ни с какими другими.

Чтобы прояснить, как работает вращение, также обратимся к рисунку. На нем изображена переменная «Счастье», которая коррелирует с первым и вторым факторами. Координаты «Счастье» — это коэффициенты корреляции между ним и факторами.

Если мы будем вращать окружность против часовой стрелки, то координаты «Счастья» будут меняться. Соответственно, оно будет больше коррелировать с первым фактором и меньше — со вторым.

Вращение бывает двух видов — ортогональное и косоугольное. В первом случае получившимся факторам запрещается коррелировать между собой, а во втором — нет.

Предпоследняя процедура — это отсеивание лишних факторов, которые слабо связаны с первоначальными переменными. Для этого существует два способа. Первый (называемый критерием Кайзера) заключается в том, что мы отбраковываем все факторы с собственным значением ниже 1.

Второй способ называется методом каменистой осыпи (или критерием Кеттелла). Для того чтобы им воспользоваться, необходимо построить график собственных значений. На горизонтальной оси этого графика располагаются факторы, а на вертикальной — их собственные значения. На определенной точке этого графика происходит перегиб. И все факторы, которые находятся за этой точкой, отсеиваются.

И наконец последний шаг — это придумать название получившимся факторам. Этот шаг является довольно нетривиальным — подчас он вызывает наибольшие затруднения. Но если вы успешно преодолеете его, то у вас на руках может оказаться довольно неплохая структурная модель котикового характера. В нашем случае первый фактор будет называться «жизнерадостностью», а второй — «царапучестью».

НЕМАЛОВАЖНО ЗНАТЬ!

Применение факторного анализа

Изначально факторный анализ был разработан психологами для изучения способностей и личностных качеств. Однако со временем область применения данного метода существенно расширилась.

Первая большая проблема, которую позволяет решить факторный анализ, это сокращение количества переменных. Как правило, серьезные исследования подразумевают сбор большого количества данных. Настолько большого, что в них бывает очень трудно разобраться. В этом случае факторный анализ позволяет уменьшить их количество за счет замены изначальных переменных факторами.

Вторая задача, требующая применения факторного анализа, это устранение мультиколлинеарности из регрессионных моделей. Напомним, что эта проблема заключается в том, что если две или более переменные взаимосвязаны между собой, результаты регрессионного анализа будут крайне ненадежными. Поэтому такие переменные требуется удалить из анализа. И один из путей — это замена таких переменных факторами.

Заключение

Ну вот и все. Ну, может, конечно, и не все: статистика все-таки гораздо богаче, и многое осталось за бортом. Но пока все. Потому что если объяснять совсем все, то пропадает интерес. А интерес — движущая сила в познании любого предмета. Да и потом, совсем все не объяснишь.

А так, мы рассмотрели самые базовые методы, которыми пользуются статистики для анализа данных. Мы прошлись по описательной статистике, рассмотрели меры различий и меры связи, познакомились с регрессионным и дискриминантным анализами, а также разобрались, как работают методы кластеризации и для чего используется факторный анализ. В общем, немало.

Надеюсь, что статистика стала вам ближе. Надеюсь, что страх и недоверие, если они и были, то прошли. Надеюсь, что вы заметили ту внутреннюю красоту, которая присуща этой дисциплине.

А в общем, надеюсь, что вам понравилось.

С уважением

Савельев Владимир

Приложение 1. Коротко о главном

В данном разделе кратко представлены методы, рассмотренные в книге, а также примеры их применения на практике. На этот раз без картинок и почти без котиков.

ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ, НЕОБХОДИМЫЕ ДЛЯ ПОНИМАНИЯ МАТЕРИАЛА

Генеральная совокупность — группа объектов, которые вам интересны как исследователю. В книге — все котики как биологический вид.

Выборка — часть генеральной совокупности, доступная для исследования. Статистики стремятся к тому, чтобы результаты, полученные на выборках, были верны и для генеральной совокупности. В книге описывается как котики, которых мы непосредственно измеряем.

Связанные выборки — ситуация, при которой любому объекту из первой выборки соответствует ровно один объект из второй. Можно сказать, что они образуют неразрывную пару (а в более сложных случаях — тройку, четверку и т. д.). В книге — котики до и котики после приема лекарства.

Наблюдение — измеренный объект. Котик.

Переменные — свойства объектов, которые поддаются измерению. В книге — котиковое счастье, здоровье, размер и т. д.

Значение переменной — степень выраженности того или иного свойства у конкретного объекта. Иными словами — насколько данный котик здоров, сыт и счастлив.

МЕРЫ ЦЕНТРАЛЬНОЙ ТЕНДЕНЦИИ

Используются, когда вам нужно отразить наиболее типичные значения, присутствующие в вашей выборке.

Состав:

1. Мода — наиболее часто встречающееся значение.

2. Медиана — середина упорядоченного ряда значений.

3. Среднее арифметическое — сумма значений, деленная на их количество.

Пример: определение наиболее типичной зарплаты в нашей стране можно осуществлять по двум показателям — среднему арифметическому и медиане. Первая определяется как количество денег, деленное на количество людей, а второе — как зарплата человека, стоящего ровно посередине между самым бедным и самым богатым. Как правило, эти значения различаются — средняя зарплата выше медианной. И чем это различие больше, тем выше социальное неравенство в обществе.

МЕРЫ ИЗМЕНЧИВОСТИ

Используются, когда нужно отразить степень разброса значений относительно меры центральной тенденции.

Состав:

1. Размах — разность между максимальным и минимальным значениями.