Статистические гипотезы. Критерии согласия
Введение
Актуальность данной темы в том, что в течение изучения основ биостатистики мы предполагали, что закон распределения генеральной совокупности известен. Но что, если закон распределения неизвестен, но есть основания предполагать, что он имеет определенный вид (назовем его А), то проверяют нулевую гипотезу: генеральная совокупность распределена по закону А. Проверка этой гипотезы производится при помощи специально подобранной случайной величины - критерия согласия.
Критерии согласия - это критерии проверки гипотез о соответствии эмпирического распределения теоретическому распределению вероятностей. Такие критерии подразделяются на два класса:
- Ш Общие критерии согласия применимы к самой общей формулировке гипотезы, а именно к гипотезе о согласии наблюдаемых результатов с любым априорно предполагаемым распределением вероятностей.
- Ш Специальные критерии согласия предполагают специальные нулевые гипотезы, формулирующие согласие с определенной формой распределения вероятностей.
Критерий согласия
Наиболее распространенные критерии согласия - омега-квадрат, хи-квадрат, Колмогорова и Колмогорова-Смирнова.
Непараметрические критерии согласия Колмогорова, Смирнова, омега квадрат широко используются. Однако с ними связаны и широко распространенные ошибки в применении статистических методов.
Дело в том, что перечисленные критерии были разработаны для проверки согласия с полностью известным теоретическим распределением. Расчетные формулы, таблицы распределений и критических значений широко распространены. Основная идея критериев Колмогорова, омега квадрат и аналогичных им состоит в измерении расстояния между функцией эмпирического распределения и функцией теоретического распределения. Различаются эти критерии видом расстояний в пространстве функций распределения.
Критерии согласия ч2 Пирсона для простой гипотезы
Теорема К. Пирсона относится к независимым испытаниям с конечным числом исходов, т.е. к испытаниям Бернулли (в несколько расширенном смысле). Она позволяет судить о том, согласуются ли наблюдения в большом числе испытаний частоты этих исходов с их предполагаемыми вероятностями.
Во многих практических задачах точный закон распределения неизвестен. Поэтому выдвигается гипотеза о соответствии имеющегося эмпирического закона, построенного по наблюдениям, некоторому теоретическому. Данная гипотеза требует статистической проверки по результатам которой будет либо подтверждена, либо опровергнута.
Пусть X - исследуемая случайная величина. Требуется проверить гипотезу H0 о том, что данная случайная величина подчиняется закону распределения F(x). Для этого необходимо произвести выборку из n независимых наблюдений и по ней построить эмпирический закон распределения F"(x). Для сравнения эмпирического и гипотетического законов используется правило, называемое критерием согласия. Одним из популярных является критерий согласия хи-квадрат К. Пирсона. В нем вычисляется статистика хи-квадрат:
где N - число интервалов, по которому строился эмпирический закон распределения (число столбцов соответствующей гистограммы), i - номер интервала, pt i -вероятность попадания значения случайной величины в i-й интервал для теоретического закона распределения, pe i - вероятность попадания значения случайной величины в i-й интервал для эмпирического закона распределения. Она и должна подчиняться распределению хи-квадрат.
Если вычисленное значение статистики превосходит квантиль распределения хи-квадрат с k-p-1 степенями свободы для заданного уровня значимости, то гипотеза H0 отвергается. В противном случае она принимается на заданном уровне значимости. Здесь k - число наблюдений, p число оцениваемых параметров закона распределения.
Рассмотрим статистику:
Статистика ч2 называется статистикой хи-квадрат Пирсона для простой гипотезы.
Ясно, что ч2 представляем собой квадрат некоего расстояния между двумя r-мерными векторами: вектором относительных частот (mi /n, …, mr /n) и вектором вероятностей (pi , …, pr). От евклидового расстояния это расстояние отличается лишь тем, что разные координаты входят в него с разными весами.
Обсудим поведение статистики ч2 в случае, когда гипотеза Н верна, и в случае, когда Н неверна. Если верна Н, то асимптотическое поведение ч2 при n > ? указывает теорема К. Пирсона. Чтобы понять, что происходит с (2.2), когда Н неверна, заметим, что по закону больших чисел mi /n > pi при n > ?, для i = 1, …, r. Поэтому при n > ?:
Эта величина равна 0. Поэтому если Н неверна, то ч2 >? (при n > ?).
Из сказанного следует, что Н должна быть отвергнута, если полученное в опыте значение ч2 слишком велико. Здесь, как всегда, слова «слишком велико» означают, что наблюденное значение ч2 превосходит критическое значение, которое в данном случае можно взять из таблиц распределения хи-квадрат. Иначе говоря, вероятность Р(ч2 npi ч2) - малая величина и, следовательно, маловероятно случайно получить такое же, как в опыте, или еще большее расхождение между вектором частот и вектором вероятностей.
Асимптотический характер теоремы К. Пирсона, лежащий в основе этого правила, требует осторожности при его практическом использовании. На него можно полагаться только при больших n. Судить же о том, достаточно ли n велико, надо с учетом вероятностей pi , …, pr . Поэтому нельзя сказать, к примеру, что ста наблюдений будет достаточно, поскольку не только n должно быть велико, но и произведения npi , …, npr (ожидаемые частоты) тоже не должны быть малы. Поэтому проблема аппроксимации ч2 (непрерывное распределение) к статистике ч2 , распределение которой дискретно, оказалась сложной. Совокупность теоретических и экспериментальных доводов привела к убеждению, что эта аппроксимация применима, если все ожидаемые частоты npi>10. если число r (число различных исходов) возрастает, граница для снижена (до 5 или даже до 3, если r порядка нескольких десятков). Чтобы соблюсти эти требования, на практике порой приходится объединять несколько исходов, т.е. переходить к схеме Бернулли с меньшим r.
Описанный способ для проверки согласия можно прилагать не только к испытаниям Бернулли, но и к произвольным выборкам. Предварительно их наблюдения надо превратить в испытания Бернулли путем группировки. Делают это так: пространство наблюдений разбивают на конечное число непересекающихся областей, а затем для каждой области подсчитывают наблюденную частоту и гипотетическую вероятность.
В данном случае к перечисленным ранее трудностям аппроксимации прибавляется еще одна - выбор разумного разбиения исходного пространства. При этом надо заботится о том, чтобы в целом правило проверки гипотезы об исходном распределении выборки было достаточно чувствительным к возможным альтернативам. Наконец, отмечу, что статистические критерии, основные на редукции к схеме Бернулли, как правило, не являются состоятельными против всех альтернатив. Так что такой метод проверки согласия имеет ограниченную ценность.
Критерий согласия Колмогорова - Смирнова в своем классическом виде является более мощным, чем критерий ч2 и может быть использован для проверки гипотезы о соответствии эмпирического распределения любому теоретическому непрерывному распределению F(x) с заранее известными параметрами. Последнее обстоятельство накладывает ограничения на возможность широкого практического приложения этого критерия при анализе результатов механических испытаний, так как параметры функции распределения характеристик механических свойств, как правило, оценивают по данным самой выборки.
Критерий Колмогорова - Смирнова применяют для негруппированных данных или для группированных в случае малой ширины интервала (например, равной цене деления шкалы силоизмерителя, счетчика циклов нагружения и т. д.). Пусть результатом испытаний серии из n образцов является вариационный ряд характеристики механических свойств
x1 ? x2 ? ... ? xi ? ... ? xn. (3.93)
Требуется проверить нулевую гипотезу о принадлежности выборочного распределения (3.93) теоретическому закону F(x).
Критерий Колмогорова - Смирнова базируется на распределении максимального отклонения накопленной частности от значения функции распределения. При его использовании вычисляют статистики
являющуюся статистикой критерия Колмогорова. Если выполняется неравенство
Dnvn ? лб (3.97)
для больших объемов выборки (n > 35) или
Dn(vn + 0.12 + 0.11/vn) ? лб (3.98)
для n ? 35, то нулевую гипотезу не отвергают.
При невыполнении неравенств (3.97) и (3.98) принимают альтернативную гипотезу о принадлежности выборки (3.93) неизвестному распределению.
Критические значения лб составляют: л0.1 = 1.22; л0.05 = 1.36; л0.01 = 1.63.
Если параметры функции F(x) заранее не известны, а оцениваются по данным выборки, критерий Колмогорова - Смирнова теряет свою универсальность и может быть использован только для проверки соответствия опытных данных лишь некоторым конкретным функциям распределения.
При использовании в качестве нулевой гипотезы принадлежность опытных данных нормальному или логарифмически нормальному распределению вычисляют статистики:
где Ц(zi) - значение функции Лапласа для
Ц(zi) = (xi - xср)/s Критерий Колмогорова - Смирнова для любых объемов выборки n записывают в виде
Критические значения лб в этом случае составляют: л0.1 = 0.82; л0.05 = 0.89; л0.01 = 1.04.
Если проверяют гипотезу о соответствии выборки ***экспоненциальному распределению, параметр которого оценивают по опытным данным, вычисляют аналогичные статистики:
критерий эмпирический вероятность
и составляют критерий Колмогорова - Смирнова.
Критические значения лб для этого случая: л0.1 = 0.99; л0.05 = 1.09; л0.01 = 1.31.
В настоящем п° мы рассмотрим один из вопросов, связанных с проверкой правдоподобия гипотез, а именно-вопрос о согласованности теоретического и статистического распределения.
Допустим, что данное статистическое распределение выравнено с помощью некоторой теоретической кривой f (х) (рис. 7.6.1). Как бы хорошо ни была подобрана теоретическая кривая, между нею и статистическим распределением неизбежны некоторые расхождения. Естественно возникает вопрос: объясняются ли эти расхождения только случайными обстоятельствами, связанными с ограниченным числом наблюдений, или они являются существенными и связаны с тем, что подобранная нами кривая плохо выравнивает данное статистическое распределение. Для ответа на такой вопрос служат так называемые «критерии согласия».
ЗАКОНЫ РАСПРЕДЕЛЕНИЯ СЛУЧАЙНЫХ ВЕЛИЧИН
Идея применения критериев согласия заключается в следующем.
На основании данного статистического материала нам предстоит проверить гипотезу Н, состоящую в том, что случайная величина X подчиняется некоторому определенному закону распределения. Этот закон может быть задан в той или иной форме: например, в виде функции распределения F(x) или в виде плотности распределения f (х), или же в виде совокупности вероятностей p t , где p t - вероятность того, что величина X попадет в пределы l-то разряда.
Так как из этих форм функция распределения F (х) является наиболее общей и определяет собой любую другую, будем формулировать гипотезу Н, как состоящую в том, что величина X имеет функцию распределения ^(д:).
Для того чтобы принять или опровергнуть гипотезу Н, рассмотрим некоторую величину U, характеризующую степень расхождения теоретического и статистического распределений. Величина U может быть выбрана различными способами; например, в качестве U можно взять сумму квадратов отклонений теоретических вероятностей p t от соответствующих частот р* или же сумму тех"*же квадратов с некоторыми коэффициентами («весами»), или же максимальное отклонение статистической функции распределения F*(x) от теоретической F(x) и т. д. Допустим, что величина U выбрана тем или иным способом. Очевидно, это есть некоторая случайная величина. Закон распределения этой случайной величины зависит от закона распределения случайной величины X, над которой производились опыты, и от числа опытов п. Если гипотеза Н верна, то закон распределения величины U определяется законом распределения величины X (функцией F(x)) и числом п.
Допустим, что этот закон распределения нам известен. В результате данной серии опытов обнаружено, что выбранная нами мера
КРИТЕРИИ СОГЛАСИЯ
расхождения U приняла некоторое значение а. Спрашивается, можно ли объяснить это случайными причинами или же это расхождение слишком велико и указывает на наличие существенной разницы между теоретическим и статистическим распределениями и, следовательно, на непригодность гипотезы Н? Для ответа на этот вопрос предположим, что гипотеза Н верна, и вычислим в этом предположении вероятность того, что за счет случайных причин, связанных с недостаточным объемом опытного материала, мера расхождения U окажется не меньше, чем наблюденное нами в опыте значение и, т. е. вычислим вероятность события:
Если эта вероятность весьма мала, то гипотезу Н следует отвергнуть как мало правдоподобную; если же эта вероятность значительна, следует признать, что экспериментальные данные не противоречат гипотезе Н.
Возникает вопрос о том, каким же способом следует выбирать меру расхождения £/? Оказывается, что при некоторых способах ее выбора закон распределения величины U обладает весьма простыми свойствами и при достаточно большом п практически не зависит от функции F(x). Именно такими мерами расхождения и пользуются в математической статистике в качестве критериев согласия.
Рассмотрим один из наиболее часто применяемых критериев согласия- так называемый «критерий у?» Пирсона.
Предположим, что произведено га независимых опытов, в каждом из которых случайная величина X приняла определенное значение. Результаты опытов сведены в k разрядов и оформлены в виде статистического ряда.
Критерии для проверки случайности и оценки резко выделяющихся наблюдений Литература Введение В практике статистического анализа экспериментальных данных основной интерес представляет не само по себе вычисление тех или иных статистик а ответы на вопросы такого типа. Соответственно разработано и множество критериев для проверки выдвигаемых статистических гипотез. Все критерии для проверки статистических гипотез делятся на две большие группы: параметрические и непараметрические.
Поделитесь работой в социальных сетях
Если эта работа Вам не подошла внизу страницы есть список похожих работ. Так же Вы можете воспользоваться кнопкой поиск
Использование критериев согласия
Введение
Литература
Введение
В практике статистического анализа экспериментальных данных основной интерес представляет не само по себе вычисление тех или иных статистик, а ответы на вопросы такого типа. Действительно ли среднее генеральной совокупности равно некоторому числу? Значимо ли отличается от нуля коэффициент корреляции? Равны ли дисперсии двух выборок? И таких вопросов в зависимости от конкретной исследовательской задачи может возникать много. Соответственно разработано и множество критериев для проверки выдвигаемых статистических гипотез. Некоторые наиболее употребительные из них мы и рассмотрим. В основном они будут относиться к средним, дисперсиям, коэффициентам корреляции и распределениям численностей.
Все критерии для проверки статистических гипотез делятся на две большие группы: параметрические и непараметрические. Параметрические критерии основаны на предположении о том, что выборочные данные взяты из генеральной совокупности с известным распределением, и основная задача состоит в оценке параметров этого распределения. Для непараметрических критериев не требуется никаких предположений о характере распределения, за исключением предположения о том, что оно непрерывно.
Первыми рассмотрим параметрические критерии. Последовательность проверки будет включать формулирование нуль-гипотезы и альтернативной гипотезы, формулирование делаемых допущений, определение выборочной статистики, используемой при проверке и, образование выборочного распределения проверяемой статистики, определение критических областей для выбранного критерия и построение доверительного интервала для выборочной статистики.
1 Критерии согласия для средних
Пусть проверяемая гипотеза состоит в том, что параметр генеральной совокупности. Необходимость такой проверки может возникнуть, например, в следующей ситуации. Предположим, что на основании обширных исследований установлен диаметр раковины ископаемого моллюска в отложениях из некоторого фиксированного места. Пусть также в нашем распоряжении оказалось некоторое количество раковин, найденных в другом месте, а мы делаем предположение, что конкретное место не оказывает влияния на диаметр раковины, т.е. что среднее значение диаметра раковины для всей популяции моллюсков, когда-то живших в новом месте, равно известному значению, полученному ранее при изучении данного вида моллюсков в первом местообитании.
Если это известное значение равно, то нуль-гипотеза и альтернативная гипотеза записываются следующим образом: Примем, что переменная x в рассматриваемой совокупности имеет нормальное распределение, а величина дисперсии генеральной совокупности неизвестна.
Будем проверять гипотезу с помощью статистики:
, (1)
где - выборочное стандартное отклонение.
Было показано, что если справедлива, то t в выражении (1) имеет t-распределение Стьюдента с n-1 степенями свободы. Если выбрать уровень значимости (вероятность отбросить правильную гипотезу) равным, то в соответствии с тем, о чем шла речь в предыдущей главе, можно определеить критические значения для проверки =0.
В данном случае, так как распределение Стьюдента симметрично, то (1-) часть площади под кривой этого распределения с n-1 степенями свободы будет заключена между точками и, которые равны друг другу по абсолютной величине. Следовательно, все значения меньше отрицательного и больше положительного значения для t-распределения с заданным числом степеней свободы при выбранном уровне значимости будут составлять критическую область. Попадание выборочного значения t в эту область приводит к принятию альтернативной гипотезы.
Доверительный интервал для строится по описанной ранее методике и определяется из следующего выражения
(2)
Итак, пусть в нашем случае известно, что диаметр раковины ископаемого моллюска равен 18,2 мм. В нашем распоряжении оказалась выборка из 50 вновь найденных раковин, для которых мм, а =2,18 мм. Проверим: =18,2 против Имеем
Если уровень значимости выбрать =0,05 то критическое значение. Отсюда следует, что можно отклонить в пользу на уровне значимости =0,05 . Таким образом, для нашего гипотетического примера можно утверждать (естественно, с некоторой вероятностью), что диаметр раковины ископаемых моллюсков определенного вида зависит от мест, в которых они обитали.
В связи с тем, что t-распределение симметрично, приводятся только положительные значения t этого распределения при выбранных уровнях значимости и числе степеней свободы. Причем учитывается не только доля площади под кривой распределения справа от значения t, но и одновременно слева от значения -t. Это связано с тем, что в большинстве случаев при проверке гипотез нас интересует существенность отклонений сама по себе, независимо от того, в большую или меньшую сторону эти отклонения, т.е. мы проверяем против, а не против: >a или: Вернемся теперь к нашему примеру. Доверительный 100(1-)% интервал для равен
18,92,01
Рассмотрим теперь случай, когда необходимо сравнить между собой средние двух генеральных совокупностей. Проверяемая гипотеза выглядит так: : =0, : 0. Предполагается также, что имеет нормальное распределение со средним и дисперсией, а - нормальное распределение со средним и той же дисперсией. Кроме того, принимаем, что выборки, по которым оцениваются генеральные совокупности, извлекаются независимо друг от друга и имеют объем соответственно и Из независимости выборок следует, что если взять большее их число и для каждой пары рассчитать средние значения, то множество этих пар средних будет полностью некоррелированно.
Проверка нулевой гипотезы проводится с использованием статистики
(3)
где и - оценки дисперсии для первой и второй выборок соответственно. Нетрудно видеть, что (3) представляет собой обобщение (1).
Было показано, что статистика (3) имеет t-распределение Стьюдента с степенями свободы. При равенстве и, т.е. = = формула (3) упрощается и имеет вид
(4)
Рассмотрим пример. Пусть при измерении стеблевых листьев одной и той же популяции растений в течение двух сезонов получены следующие результаты: Будем считать, что условия для использования критерия Стьюдента, т.е. нормальность генеральных совокупностей, из которых взяты выборки, существование неизвестной, но одной и той же дисперсии для этих совокупностей и независимость выборок выполнены. Оценим на уровне значимости =0,01. Имеем
Табличное значение t = 2,58. Поэтому гипотеза о равенстве средних значений длин стеблевых листьев для популяции растений в течение двух сезонов должна быть отвергнута на выбранном уровне значимости.
Внимание!
В качестве нулевой гипотезы в математической статистике выбирается гипотеза об отсутствии значимых различий между сравниваемыми показателями, причем независимо от того, идет ли речь о средних, дисперсиях или других статистиках. И во всех этих случаях, если эмпирическое (вычисленное по формуле) значение критерия больше теоретического (выбранного из таблиц), то отвергается. Если же эмпирическое значение меньше табличного, то принимается.
Для того, чтобы построить доверительный интервал для разности средних этих двух генеральных совокупностей, обратим внимание на то, что критерий Стьюдента, как видно из формулы (3), оценивает значимость разности между средними относительно стандартной ошибки этой разности. В том, что знаменатель в (3) представляет именно эту стандартную ошибку, нетрудно убедиться, используя уже рассмотренные ранее соотношения и сделанные предположения. В самом деле, нам известно, что в общем случае
Если x и y независимы, то и
Взяв вместо x и y выборочные значения и и припомнив сделанное предположение о том, что обе генеральные совокупности имеют одну и ту же дисперсию, получим
(5)
Оценка дисперсии может быть получена из следующего соотношения
(6)
(Мы делим на, потому что по выборкам оцениваются две величины и, и значит, число степеней свободы должно быть уменьшено на два.)
Если теперь подставить (6) в (5) и извлечь квадратный корень, то получится знаменатель в выражении (3).
После этого отступления вернемся к построению доверительного интервала для через -.
Имеем
Сделаем некоторые замечания, связанные с предположениями, используемыми при построении t-критерия. Прежде всего было показано, что нарушения допущения о нормальности для имеют незначительное влияние на уровень значимости и мощность критерия для 30. Несущественно также и нарушение предположения об однородности дисперсий обоих генеральных совокупностей, из которых берутся выборки, но тольков том случае, когда объемы выборок равны. Если же а дисперсии обеих совокупностей отличаются друг от друга, то вероятности ошибок первого и второго рода будут существенно отличаться от ожидаемых.
В этом случае для проверки следует пользоваться критерием
(7)
с числом степеней свободы
. (8)
Как правило, получается дробным числом, поэтому при пользовании таблицами t-распределения необходимо брать табличные значения для ближайших целых значений и проводить интерполяцию для нахождения t, соответствующего полученному.
Рассмотрим пример. При изучении двух подвидов озерной лягушки рассчитывалось отношение длины тела к длине голени. Были взяты две выборки с объемами =49 и =27. Средние и дисперсии интересующего нас отношения оказались равными соответственно =2,34; =2,08; =0,21; =0,35. Если теперь проверять гипотезу с использованием формулы (2), то получим, что
При уровне значимости =0,05 мы должны отвергнуть нулевую гипотезу (табличное значение t=1,995) и считать, что есть статистически достоверные на выбранном уровне значимости различия между средними значениями измеряемых показателей для двух подвидов лягушки.
При использовании же формул (6) и (7) имеем
В данном случае для того же уровня значимости =0,05 табличное значение t=2,015, и нулевая гипотеза принимается.
На этом примере достаточно ясно видно, что пренебрежение условиями, принимаемыми при выводе того или иного критерия, может привести к результатам, прямо противоположным тем, которые имеют место на самом деле. Конечно же, в данном случае, имея выборки разного объема в отсутствии заранее установленного факта о том, что дисперсии измеряемого показателя в обеих популяциях статистически равны, следовало пользоваться формулами (7) и (8), которые и показали отсутствие статистически значимых различий.
Поэтому хочется повторить еще раз, что проверка соблюдения всех предположений, сделанных при выводе того или иного критерия, является совершенно необходимым условием для его корректного использования.
Неизменным требованием в обоих приведенных модификациях t-критерия было требование о независимости между собой выборок. Однако на практике достаточно часто встречаются ситуации, когда это требование не может быть выполнено по объективным причинам. Например, измеряются некоторые показатели на одном и том же животном или участке территории до и после действия внешнего фактора и т.д. И в этих случаях нас может интересовать проверка гипотезы против. Будем по-прежнему предполагать, что обе выборки взяты из нормальных генеральных совокупностей с одинаковой дисперсией.
В этом случае можно воспользоваться тем фактом, что разности между нормально распределенными величинами также имеют нормальное распределение, и поэтому можно воспользоваться критерием Стьюдента в форме (1). Таким образом, будет проверяться гипотеза о том что n разностей есть выборка из нормально распределенной генеральной совокупности со средним, равным нулю.
Обозначив i-ю разность через, имеем
, (9) Рассмотрим пример. Пусть в нашем распоряжении имеются данные о количестве импульсов отдельной нервной клетки за определенный интервал времени до () и после () действия раздражителя:
Отсюда Имея в виду, что (9) имеет t-распределение, и выбрав уровень значимости =0,01, из соответствующей таблицы Приложения найдем, что критическое значение t для n-1=10-1=9 степеней свободы равно 3,25. Сравнение теоретического и эмпирического значений t-статистики показывает, что нулевая гипотеза об отсутствии статистически значимых различий между частотой импульсации до и после подачи стимула должна быть отвергнута. Можно сделать вывод о том, сто используемый раздражитель статистически значимо меняет частоту импульсации.
В экспериментальных исследованиях, как упоминалось выше, зависимые выборки появляются достаточно часто. Тем не менее этот факт иногда игнорируется и t-критерий некорректно используется в форме (3).
В неправомерности этого можно убедиться, рассматривая стандартные ошибки разности между некоррелированными и коррелированными средними. В первом случае
А во втором
Стандартная ошибка разности d равна
С учетом этого знаменатель в (9) будет иметь вид
Теперь обратим внимание на то, что числители выражений (4) и (9) совпадают:
следовательно, различие в величине t в них зависит от знаменателей.
Таким образом, если в задаче с зависимыми выборками будет использована формула (3), и при этом выборки будут иметь положительную корреляцию, то получаемые значения t будут меньше, чем они должны были бы быть при использовании формулы (9), и может возникнуть ситуация, что будет принята нулевая гипотеза, в то время как она неверна. Обратная ситуация может возникнуть, когда между выборками будет существовать отрицательная корреляция, т.е. в этом случае значимыми будут признаваться такие различия, которые на самом деле таковыми не являются.
Вернемся вновь к примеру с импульсной активностью и вычислим для приведенных данных значение t по формуле (3), не обращая внимания на то, что выборки связаны. Имеем: Для числа степеней свободы, равного 18, и уровня значимости =0,01 табличное значение t=2,88 и, на первый взгляд, кажется, что ничего не произошло, даже при использовании непригодной для данных условий формулы. И в этом случае вычисленное значение t приводит к отбрасыванию нулевой гипотезы, т.е. к тому же самому выводу, который был сделан с использованием правильной в данной ситуации формулой (9).
Однако давайте переформируем имеющиеся данные и представим их в следующем виде (2):
Это те же самые значения, и они вполне могли бы быть получены в каком-нибудь из опытов. Так как все значения в обеих выборках сохранены, то использование критерия Стьюдента в формуле (3) дает уже полученное ранее значение =3,32 и приводит к тому же самому выводу, который уже был сделан.
А теперь рассчитаем значение t по формуле (9), которая и должна использоваться в данном случае. Имеем: Критическое значение t при выбранном уровне значимости и девяти степенях свободы равно 3,25. Следовательно, оснований отвергнуть нулевую гипотезу у нас нет, мы ее принимаем, и оказывается, что этот вывод прямо противоположен тому, который был сделан при использовании формулы (3).
На этом примере мы вновь убедились в том, как важно для получения правильных выводов при анализе экспериментальных данных строго соблюдать все требования, которые были положены в основу определения того или иного критерия.
Рассмотренные модификации критерия Стьюдента предназначаются для проверки гипотез относительно средних двух выборок. Однако возникают ситуации, когда появляется необходимость сделать выводы относительно равенства одновременно k средних. Для этого случая тоже разработана определенная статистическая процедура, которая будет рассмотрена в дальнейшем при обсуждении вопросов, связанных с дисперсионным анализом.
2 Критерии согласия для дисперсий
Проверка статистических гипотез относительно дисперсий генеральных совокупностей проводится в той же последовательности, что и для средних. Напомним вкратце эту последовательность.
1. Формулируется нулевая гипотеза (об отсутствии статистически значимых различий между сравниваемыми дисперсиями).
2. Делаются некоторые предположения относительно выборочного распределения статистики, с помощью которой планируется оценивать параметр, входящий в гипотезу.
3. Выбирается уровень значимости для проверкигипотезы.
4. Рассчитывается значение интересующей нас статистики и принимается решение относительно истинности нулевой гипотезы.
А теперь начнем с проверки гипотезы о том, что дисперсия генеральной совокупности =a, т.е. против. Если предположить, что переменная x имеет нормальное распределение, и что выборка объема n извлекается из генеральной совокупности случайно, то для проверки нулевой гипотезы используется статистика
(10)
Вспомнив формулу для расчета дисперсии, перепишем (10) так:
. (11)
Из этого выражения видно, что числитель представляет собой сумму квадратов отклонений нормально распределенных величин от их среднего. Каждое из этих отклонений также распределено нормально. Поэтому в соответствии с известным нам распределением суммы квадратов нормально распределенных величин статистики (10) и (11) имеют -распределение с n-1 степенью свободы.
По аналогии с использованием t-распределения при проверке для выбранного уровня значимости по таблице распределения устанавливают критические точки, соответствующие вероятностям принятия нулевой гипотезы и. Доверительный интервал для при выбранном строится следующим образом:
. (12)
Рассмотрим пример. Пусть на основании обширных экспериментальных исследований установлено, что дисперсия содержания алкалоидов одного вида растений из определенного района равна 4,37 условных единиц. В распоряжение специалиста попадает выборка объемом n = 28 таких растений, предположительно из того же района. Проведенный анализ показал, что для этой выборки =5,01 и нужно убедиться в том, что эта и известная ранее дисперсии статистически неразличимы на уровне значимости =0,1.
По формуле (10) имеем
Полученную величину необходимо сравнить с критическими значениями /2=0,05 и 1--/2=0,95. Из таблицы Приложения для с 27 степенями свободы имеем соответственно 40,1 и 16,2, откуда следует, что нулевая гипотеза может быть принята. Соответствующий доверительный интервал для равен 3,37<<8,35.
В отличии от проверки гипотез относительно выборочных средних с использованием критерия Стьюдента, когда ошибки первого и второго рода несущественно менялись при нарушении предположения о нормальном распределении генеральных совокупностей, в случае гипотез о дисперсиях при невыполнении условий нормальности ошибки меняются существенно.
Рассмотренная выше задача о равенстве дисперсии некоторому фиксированному значению представляет ограниченный интерес, так как довольно редко встречаются ситуации, когда известна дисперсия генеральной совокупности. Значительно больший интерес представляет случай, когда нужно проверить, равны ли дисперсии двух совокупностей, т.е. проверка гипотезы против альтернативы. При этом предполагается, что выборки объемом и случайно извлекаются из генеральных совокупностей с дисперсиями и.
Для проверки нулевой гипотезы используется критерий отношения дисперсий Фишера
(13)
Так как суммы квадратов отклонений нормально распределенных случайных величин от их средних значений имеют распределение, то и числитель и знаменатель (13) представляют собой величины с распределением, поделенные соответственно на и, и следовательно, их отношение имеет F-распределение с -1 и -1 степенями свободы.
Общепринято - и так построены таблицы F-распределения, - что в качестве числителя в (13) берется большая из дисперсий, и поэтому определяется только одна критическая точка, соответствующая выбранному уровню значимости.
Пусть в нашем распоряжении оказались две выборки объемом =11 и =28 из популяций обыкновенных и овальных прудовиков, для которых отношения высоты к ширине имеют дисперсии =0,59 и =0,38. Необходимо проверить гипотезу о равенстве этих дисперсий этих показателей для изучаемых популяций при уровне значимости =0,05. Имеем
В литературе иногда можно встретить утверждение о том, что проверке гипотезы о равенстве средних по критерию Стьюдента должна предшествовать проверка гипотезы о равенстве дисперсий. Это неправильная рекомендация. Более того, она может привести к ошибкам, которых можно избежать, если ей не следовать.
В самом деле, результаты проверки гипотезы о равенстве дисперсий с использованием критерия Фишера в значительной мере зависят от предположения о том, что выборки взяты из совокупностей с нормальным распределением. В то же время критерий Стьюдента малочувствителен к нарушениям нормальности, и если удается получить выборки равного объема, то предположение о равенстве дисперсий также не является существенным. В случае неравных n следует пользоваться для проверки формулами (7) и (8).
При проверке гипотез о равенстве дисперсий возникают некоторые особенности в расчетах, связанных с зависимыми выборками. В этом случае для проверки гипотезы против альтернативы используется статистика
(14)
Если нулевая гипотеза справедлива, то статистика (14) имеет t-распределение Стьюдента с n-2 степенями свободы.
При измерении блеска 35 образцов покрытий была получена дисперсия =134,5. Повторные измерения через две недели показали =199,1. При этом коэффициент корреляции между парными измерениями оказался равным =0,876. Если не обращать внимание на то, что выборки зависимы и воспользоваться критерием Фишера для проверки гипотезы, то получим F=1,48. Если выбрать уровень значимости =0,05, то нулевая гипотеза будет принята, так как критическое значение F-распределения для =35-1=34 и =35-1=34 степеней свободы равно 1,79.
В то же время, если использовать подходящую для данного случая формулу (14), то получим t=2,35, в то время как критическое значение t для 33 степеней свободы и выбранного уровня значимости =0,05 равно 2,03. Следовательно, нулевая гипотеза о равенстве дисперсий в этих двух выборках должна быть отклонена. Таким образом, из этого примера видно, что, как и в случае проверки гипотезы о равенстве средних, использование критерия, не учитывающего специфику экспериментальных данных, приводит к ошибке.
В рекомендуемой литературе можно найти критерий Бартлетта, используемый при проверке гипотез об одновременном равенстве k дисперсий. Кроме того, что вычисления статистики этого критерия довольно трудоемки, основной недостаток этого критерия в том, что он необычайно чувствителен к отклонениям от предположения о нормальности распределений совокупностей из которых извлекаются выборки. Таким образом, при его использовании никогда нельзя быть уверенным в том, что нулевая гипотеза отклонена в самом деле из-за того, что статистически значимо различаются дисперсии, а не из-за того, что выборки не имеют нормального распределения. Поэтому в случае возникновения проблемы сравнения нескольких дисперсий необходимо искать такую постановку задачи, когда можно будет использовать критерий Фишера или его модификации.
3 Критерии согласия относительно долей
Довольно часто приходится анализировать совокупности, в которых объекты могут быть отнесены к одной из двух категорий. Например, по принадлежности к полу в некоторой популяции, по наличию некоторого микроэлемента в почве, по темной или светлой окраске яиц у некоторых видов птиц и т.д.
Долю элементов, обладающих определенным качеством, обозначим через P, где P представляет собой отношение объектов с интересующим нас качеством ко всем объектам в совокупности.
где