Выборочные характеристики. Состоятельные,

В начале курса были рассмотрены такие понятия как классическая и статистическая вероятности.

Если классическая вероятность - это теоретическая характеристика, которую можно определить, не прибегая к опыту, то статистическая вероятность может быть определена только по результатам эксперимента. При большем числе опытов величина W(A) может служить оценкой для вероятности P(A). Достаточно вспомнить классические опыты Бюффона и Пирсона. Подобные аналогии можно продолжить и далее. Например, для теоретической характеристики М(x) таковой аналогией будет - среднее арифметическое:

= i f i / n ,

для дисперсии D(x) эмпирическим аналогом будет статистическая дисперсия:

S 2 (x) = (x i - ) 2 f i / n .

Эмпирические характеристики , S 2 (x) , W(A) являются оценками параметров М(x) , D(x) , P(A) . В тех случаях, когда эмпирические характеристики определяются на основе большого числа опытов, использование их в качестве теоретических параметров не приведет к существенным ошибкам в исследовании, однако в тех случаях, когда число опытов ограничено, ошибка при замене будет существенна. Поэтому к эмпирическим характеристикам, являющимися оценками теоретических параметров предъявляются 3 требования:

оценки должны быть состоятельными, несмещенными и эффективными.

Оценка называется состоятельной, если вероятность отклонения ее от оцениваемого параметра на величину меньшую как угодно малого положительного числа стремится к единице при неограниченном увеличении числа наблюдений n , т.е.

P(| - | < ) = 1

где - некоторый параметр генеральной совокупности,

/ - оценка этого параметра. Большинство оценок различных чис­ловых параметров отвечают этим требованиям. Однако одного этого требования бывает недостаточно. Необходимо, чтобы они еще были и несмещенными.

Оценка называется несмещенной, если математическое ожидание этой оценки равно оцениваемому параметру:

М ( / ) = .

Примером состоятельной и несмещенной оценки систематического ожидания является средняя арифметическая:

М () = .

Примером состоятельной и смещенной оценки является

дисперсия:

М (S 2 (x) ) = [ (n – 1)/ n] D(x).

Поэтому, чтобы получить несмещенную оценку теоретической дисперсии D(x) надо эмпирическую дисперсию S 2 (x) умножить на n/(n – 1) , т.е.

S 2 (x) = (x i - ) 2 f i / n n /(n – 1) = (x i - ) 2 f i /(n – 1) .

Практически эту поправку вносят при вычислении оценки дисперсии в тех случаях, когда n < 30 .

Состоятельных несмещенных оценок может быть несколько. Например, для оценки центра рассеивания нормального распределения наряду со средней арифметической , может быть взята медиана . Медиана так же, как и является несмещенной состоятельной оценкой центра группирования. Из двух состоятельных несмещенных оценок для одного и того же параметра естественно отдать пред­почтение той, у которой дисперсия меньше.

Такая оценка, у которой дисперсия будет наименьшей относительно оцениваемого параметра, называется эффективной . Например, из двух оценок центра рассеивания нормального распределения М(x) эффективной оценкой является , а не , так как дисперсия меньше дисперсии . Сравнительная эффективность этих оценок при большой выборке приближенно равна: D() / D= 2/ = 0,6366.

Практически это означает, что центр распределения генеральной совокупности (назовем его 0) определяется по с той же точностью при n наблюдениях, как и при 0,6366 n наблюдениях по средней арифметической .

4.4. Свойства выборочных средних и дисперсий.

1. Если объем выборки достаточно велик, то на основе закона больших чисел с вероятностью близкой к единице, можно утверждать, что средняя арифметическая и дисперсия S 2 будут как угодно мало отличаться от М(x) и D(x ), т.е.

М(x) , S 2 (x) D(x ), и дисперсией D() , каков бы не был объем выборок n, лишь бы число выборок было достаточно велико.

4. Когда дисперсия D(x ), генеральной совокупности неизвестна, тогда для больших значений n с большей вероятностью малой ошибки можно дисперсию выборочных средних вычислить приближенно по равенству:

D() = S 2 (x) / n,

где S 2 (x) = (x i - ) 2 f i / n - дисперсия большой выборки.

5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез

Состоятельность, несмещенность и эффективность оценок

Как сравнивать методы оценивания между собой? Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др.

Рассмотрим оценку θ n числового параметра θ, определенную при n = 1, 2, … Оценка θ n называется состоятельной , если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θ n является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

Пример 3. Из закона больших чисел следует, что θ n = является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D (X ); однако, как доказал А.Я. Хинчин , достаточно выполнения более слабого условия – существования математического ожидания М(Х) ).

Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.

Вообще, все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.

Пример 5 . Так, согласно теореме В.И. Гливенко, эмпирическая функция распределения F n (x ) является состоятельной оценкой функции распределения результатов наблюдений F (x ).

При разработке новых методов оценивания следует в первую очередь проверять состоятельность предлагаемых методов.

Второе важное свойство оценок – несмещенность . Несмещенная оценка θ n – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: М (θ n ) = θ.

Пример 6. Из приведенных выше результатов следует, что и являются несмещенными оценками параметров m и σ 2 нормального распределения. Поскольку М() = М(m ** ) = m , то выборочная медиана и полусумма крайних членов вариационного ряда m ** - также несмещенные оценки математического ожидания m нормального распределения. Однако

поэтому оценки s 2 и (σ 2 )** не являются состоятельными оценками дисперсии σ 2 нормального распределения.

Оценки, для которых соотношение М (θ n ) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θ n и оцениваемым параметром θ, т.е. М (θ n ) – θ, называется смещением оценки.

Пример 7. Для оценки s 2 , как следует из сказанного выше, смещение равно

М (s 2) - σ 2 = - σ 2 /n .

Смещение оценки s 2 стремится к 0 при n → ∞.

Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называется асимптотически несмещенной . В примере 7 показано, что оценка s 2 является асимптотически несмещенной.

Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки М (θ n – θ) 2 . Как следует из основных свойств математического ожидания и дисперсии,

т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.

Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n , а смещение – не более чем 1/n , где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство

где с – число, определяемое методом вычисления оценок θ n и истинным значением оцениваемого параметра θ.

С дисперсией оценки связано третье важное свойство метода оценивания – эффективность . Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра.

Доказано , что и являются эффективными оценками параметров m и σ 2 нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение

Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки параметра m к дисперсии несмещенной оценки этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.

Понятие эффективности вводится для несмещенных оценок, для которых М (θ n ) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные.

Пример 8. Рассмотрим «оценку» математического ожидания m 1 ≡ 0. Тогда D (m 1 ) = 0, т.е. всегда меньше дисперсии D () эффективной оценки . Математическое ожидание среднего квадрата ошибки d n (m 1 ) = m 2 , т.е. при имеем d n (m 1 ) < d n (). Ясно, однако, что статистику m 1 ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m .

Пример 9. Более интересный пример рассмотрен американским математиком Дж. Ходжесом:

Ясно, что T n – состоятельная, асимптотически несмещенная оценка математического ожидания m , при этом, как нетрудно вычислить,

Последняя формула показывает, что при m ≠ 0 оценка T n не хуже (при сравнении по среднему квадрату ошибки d n ), а при m = 0 – в четыре раза лучше.

Подавляющее большинство оценок θ n , используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:

для любого х , где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок d n (θ n ).

Предыдущая

Одним из основных требований при построении оценок является получение оценок с минимальной дисперсией или минимальным рассеянием (если они существуют). В связи с этим в математической статистике введено понятие эффективных оценок ,

Применительно к смещенным оценкам параметра сигнала оценка называется эффективной, если среднее значение квадрата отклонения оценки от истинного значения оцениваемого параметра I не превышает среднее значение квадрата отклонения любой другой оценки у, т. е. выполняется неравенство

Для несмещенной оценки рассеяние оценки совпадает с ее дисперсией следовательно, эффективная несмещенная оценка определяется как оценка с минимальной дисперсией.

С. Рао и Крамер независимо друг от друга получили выражения для нижних границ условных дисперсий и рассеяний оценок, которые являются дисперсиями и рассеяниями эффективных оценок при условии, что таковые существуют для данных параметров.

Приведем вывод этого выражения, полагая, что необходимые допущения справедливы.

Оценку параметра у представим в сокращенной записи где X - многомерная выборка из реализации на интервале времени

Усредним выражение

по всевозможным значениям многомерной выборки X, которая описывается условной плотностью вероятности Учитывая известное соотношение для производной натурального логарифма после усреднения получаем

В силу свойства нормировки плотности вероятности последнее слагаемое в (1.3.3) равно нулю. Интеграл от первого слагаемого представляет среднее значение оценки

С учетом последнего усредненное значение можно записать в виде

Левая часть этого выражения представляет собой среднее значение произведения двух случайных величин с конечными значениями первых двух моментов. При этих условиях для случайных величин справедливо известное из математической статистики неравенство Буняковского - Шварца

которое переходит в равенство, если случайные величины связаны детерминированной зависимостью . С учетом (1.3.6) из выражения (1.3.5) можно получить

Для несмещенных оценок и оценок с постоянным смещением дисперсия оценки удовлетворяет неравенству Рао-Крамера

Необходимо отметить, что во всех соотношениях усреднение производится по многомерной выборке наблюдаемых данных X (при непрерывной обработке - по всевозможным реализациям а

произшодные берутся в точке истинного значения оцениваемого параметра.

Знак равенства в выражениях (1,3.7) и (1-3.8) достигается только для эффективных оценок.

Применительно к выражению (1.3.7) рассмотрим условия, при которых неравенство обращается в равенство, т. е. оценка параметра является эффективной смещенной оценкойю Согласно (1.3.6) для этого необходимо, чтобы коэффициент взаимной корреляции между был равен единице, т. е. чтобы эти случайные функции были связаны детерминированной линейной зависимостью.

Действительно, представим производную логарифма функции правдоподобия в виде

где функция, которая не зависит от оценки у и выборки наблюдаемых данных, но может зависеть от оцениваемого параметра При подстановке (1.3.5) и (1.3.9) в неравенство (1.3.7) оно переходит в равенство. Однако представление производной логарифма функции правдоподобия в виде (1.3.9) возможно, если для оценки у выполняется условие достаточности (1.2.9), из которого следует, что

и, следовательно, если производная логарифма отношения правдоподобия линейно зависит от достаточной оценки, то коэффициент пропорциональности не зависит от выборки

Таким образом, для существования смещенной эффективной оценки необходимо выполнение двух условий: оценка должна быть достаточной (1.2.9) и должно выполняться соотношение (1.3.9). Аналогичные ограничения налагаются на существование эффективных несмещенных оценок, при которых в выражении (1.3.8) знак неравенства переходит в равенство.

Полученное выше выражение для нижней границы дисперсии смещенной оценки справедливо и для нижней границы рассеяния смещенной оценки, так как т. е.

Последнее неравенство переходит в равенство, если кроме условия достаточности оценки справедливо соотношение

где имеет тот же смысл, что и в выражении (1.3.9).

Формула (1.3.10) выводится аналогично (1.3.7), если в исходном выражении (1.3.2) вместо рассматривать

Из характера условий (1.2.9) и (1.3.9) видно, что эффективные оценки существуют только в весьма специфических случаях. Также следует отметить, что эффективная оценка обязательно принадлежит к классу достаточных оценок, в то время как достаточная оценка не обязательно будет эффективной.

Анализ выражения для дисперсии эффективной смешенной оценки 1.3.7) показывает, что могут существовать смещенные оценки, которые обеспечивают меньшую дисперсию оценки, чем несмещенные. Для этого необходимо, чтобы производная от смещения имела отрицательное значение и по абсолютной величине в точке истинного значения параметра была близка к единице.

Поскольку в большинстве случаев интерес представляет средний квадрат результирующей ошибки оценки (рассеяние), имеет смысл говорить и о среднем квадрате ошибки оценки, который для любой оценки ограничен снизу:

При этом для эффективных оценок имеет место знак равенства.

Нетрудно показать, что соотношения (1.3.10) и (1.3.12) совпадают, если выполняются соответственно условия (1.3.11) и (1.3.9). Действительно, подставив в числитель и знаменатель (1.3.10) значения, выраженные через функции получим (1.3.12).

Используя рассмотренные выше свойства эффективных оценок уточним их определение. Будем называть оценку у эффективной, если для нее либо выполняются условия (1.2.9) и (1.3.11), либо при заданном смещении она обладает дисперсией

или рассеянием

либо при нулевом смещении эта оценка имеет дисперсию

Отметим, что характеристики эффективной оценки (1.3.13) - (1.3.15) могут быть вычислены и для тех параметров, для которых эффективной оценки не существует. В этом случае величины (1.3.13) -(1.3.15) определяют нижнюю границу (недостижимую) для соответствующих характеристик оценки.

Для сравнения реальных оценок с эффективными в математической статистике введено понятие относительной эффективности оценок, представляющее отношение среднего квадрата отклонения эффективной оценки относительно истинного значения параметра к среднему квадрату отклонения реальной оценки относительно истинного значения параметра:

Здесь у - реальная оценка, эффективность которой равна эффективная оценка.

Из определения дисперсии эффективной оценки (1.3.1) видно, что относительная эффективность оценки изменяется в пределах

Кроме понятия эффективных оценок существует понятие асимптотически эффективных оценок. При этом предполагается, что для достаточно большого времени наблюдения или неограниченного увеличения отношения сигнал/помеха предельное значение относительной эффективности реальной оценки равно единице. Это означает, что при асимптотически эффективной оценке дисперсия оценки для заданного смещения определяется выражением (1.3.13), а при отсутствии смещения - выражением (1.3.15).

Какая оценка параметра называется состоятельной, несмещенной, эффективной?

1) Состоятельная оценка

Состоятельная оценка в математической статистике -- это точечная оценка, сходящаяся по вероятности к оцениваемому параметру.

Определения

· Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется состоятельной, если

по вероятности при.

В противном случае оценка называется несостоятельной.

· Оценка называется сильно состоятельной, если

почти наверное при.

Свойства

· Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.

• · Выборочное среднее является состоятельной оценкой математического ожидания X i .
• · Периодограмма является несмещённой, но несостоятельной оценкой спектральной плотности.
• 2) Несмещённая оценка

Несмещённая оценка в математической статистике -- это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется несмещённой, если

В противном случае оценка называется смещённой, и случайная величина называется её смещением.

· Выборочное среднее

является несмещённой оценкой математического ожидания X i , так как если

· Пусть случайные величины X i имеют конечную дисперсию DX i = ? 2 . Построим оценки

Выборочная дисперсия,

Исправленная выборочная дисперсия.

Тогда является смещённой, а S 2 несмещённой оценками параметра? 2 .

3) Эффективная оценка

Текущая версия (не проверялась)

Определение

Оценка параметра называется эффективной оценкой в классе, если для любой другой оценки выполняется неравенство для любого.

Особую роль в математической статистике играют несмещенные оценки. Если несмещенная оценка является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной.

Эффективная оценка в классе, где -- некоторая функция, существует и единственна с точностью до значений на множестве, вероятность попасть в которое равна нулю ().

Оценка параметра называется эффективной, если для неё неравенство Крамера -- Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

В математической статистике неравенством Крамемра -- Рамо (в честь Гаральда Крамера и К.Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.