Какая оценка параметра называется эффективной. Эффективная оценка

Несмещенная статистическая оценка, дисперсия которой совпадает с нижней гранью в неравенстве Крамера-Рао .

Определение

Оценка $\backslash widehat\{\backslash theta\_1\}\; \backslash in\; \backslash Kappa$ параметра $\backslash theta$ называется эффективной оценкой в классе $\backslash Kappa$ , если для любой другой оценки $\backslash widehat\{\backslash theta\_2\}\; \backslash in\; \backslash Kappa$ выполняется неравенство $M\_\{\backslash theta\}(\backslash widehat\{\backslash theta\_1\}-\backslash theta)^2\backslash leqslant\; M\_\{\backslash theta\}(\backslash widehat\{\backslash theta\_2\}-\backslash theta)^2$ для любого $\backslash theta$.

Особую роль в математической статистике играют несмещенные оценки . Если несмещенная оценка $\backslash widehat\{\backslash theta\_1\}$ является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной .

Единственность

Эффективная оценка $\backslash widehat\{\backslash theta\}$ в классе $\backslash Kappa\_b\; =\; \backslash \{\; E(\backslash widehat\{\backslash theta\})\; =\; c(\backslash theta)\backslash \}$, где $c(\backslash theta)$ - некоторая функция, существует и единственна с точностью до значений на множестве $A$, вероятность попасть в которое равна нулю ($P(x\; \backslash in\; A)=0$).

Асимптотическая эффективность

Некоторые оценки могут быть не самыми эффективными на малых выборках, однако могут обладать преимуществами на больших выборках. Обычно рассматриваются состоятельные оценки, дисперсия которых с увеличением объема выборки стремится к нулю. Поэтому сравнить такие оценки можно по скорости сходимости, то есть фактически по дисперсии (ковариационной матрицы) случайной величины (вектора) $\backslash sqrt\{n\}\backslash hat\{\backslash theta\}$. В частности, асимптотически нормальная оценка

$\backslash sqrt\{n\}(\backslash hat\{\backslash theta\}-\backslash theta)\backslash xrightarrow\; d\; N(0,V)$

является асимптотически эффективной, если асимптотическая ковариационная матрица V минимальна в данном классе оценок.

См. также

Напишите отзыв о статье "Эффективная оценка"

Отрывок, характеризующий Эффективная оценка

Бенигсен от Горок спустился по большой дороге к мосту, на который Пьеру указывал офицер с кургана как на центр позиции и у которого на берегу лежали ряды скошенной, пахнувшей сеном травы. Через мост они проехали в село Бородино, оттуда повернули влево и мимо огромного количества войск и пушек выехали к высокому кургану, на котором копали землю ополченцы. Это был редут, еще не имевший названия, потом получивший название редута Раевского, или курганной батареи.
Пьер не обратил особенного внимания на этот редут. Он не знал, что это место будет для него памятнее всех мест Бородинского поля. Потом они поехали через овраг к Семеновскому, в котором солдаты растаскивали последние бревна изб и овинов. Потом под гору и на гору они проехали вперед через поломанную, выбитую, как градом, рожь, по вновь проложенной артиллерией по колчам пашни дороге на флеши [род укрепления. (Примеч. Л.Н. Толстого.) ], тоже тогда еще копаемые.

Какая оценка параметра называется состоятельной, несмещенной, эффективной?

1) Состоятельная оценка

Состоятельная оценка в математической статистике -- это точечная оценка, сходящаяся по вероятности к оцениваемому параметру.

Определения

· Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется состоятельной, если

по вероятности при.

В противном случае оценка называется несостоятельной.

· Оценка называется сильно состоятельной, если

почти наверное при.

Свойства

· Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.

• · Выборочное среднее является состоятельной оценкой математического ожидания X i .
• · Периодограмма является несмещённой, но несостоятельной оценкой спектральной плотности.
• 2) Несмещённая оценка

Несмещённая оценка в математической статистике -- это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется несмещённой, если

В противном случае оценка называется смещённой, и случайная величина называется её смещением.

· Выборочное среднее

является несмещённой оценкой математического ожидания X i , так как если

· Пусть случайные величины X i имеют конечную дисперсию DX i = ? 2 . Построим оценки

Выборочная дисперсия,

Исправленная выборочная дисперсия.

Тогда является смещённой, а S 2 несмещённой оценками параметра? 2 .

3) Эффективная оценка

Текущая версия (не проверялась)

Определение

Оценка параметра называется эффективной оценкой в классе, если для любой другой оценки выполняется неравенство для любого.

Особую роль в математической статистике играют несмещенные оценки. Если несмещенная оценка является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной.

Эффективная оценка в классе, где -- некоторая функция, существует и единственна с точностью до значений на множестве, вероятность попасть в которое равна нулю ().

Оценка параметра называется эффективной, если для неё неравенство Крамера -- Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

В математической статистике неравенством Крамемра -- Рамо (в честь Гаральда Крамера и К.Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез

Состоятельность, несмещенность и эффективность оценок

Как сравнивать методы оценивания между собой? Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др.

Рассмотрим оценку θ n числового параметра θ, определенную при n = 1, 2, … Оценка θ n называется состоятельной , если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θ n является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

Пример 3. Из закона больших чисел следует, что θ n = является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D (X ); однако, как доказал А.Я. Хинчин , достаточно выполнения более слабого условия – существования математического ожидания М(Х) ).

Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.

Вообще, все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.

Пример 5 . Так, согласно теореме В.И. Гливенко, эмпирическая функция распределения F n (x ) является состоятельной оценкой функции распределения результатов наблюдений F (x ).

При разработке новых методов оценивания следует в первую очередь проверять состоятельность предлагаемых методов.

Второе важное свойство оценок – несмещенность . Несмещенная оценка θ n – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: М (θ n ) = θ.

Пример 6. Из приведенных выше результатов следует, что и являются несмещенными оценками параметров m и σ 2 нормального распределения. Поскольку М() = М(m ** ) = m , то выборочная медиана и полусумма крайних членов вариационного ряда m ** - также несмещенные оценки математического ожидания m нормального распределения. Однако

поэтому оценки s 2 и (σ 2 )** не являются состоятельными оценками дисперсии σ 2 нормального распределения.

Оценки, для которых соотношение М (θ n ) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θ n и оцениваемым параметром θ, т.е. М (θ n ) – θ, называется смещением оценки.

Пример 7. Для оценки s 2 , как следует из сказанного выше, смещение равно

М (s 2) - σ 2 = - σ 2 /n .

Смещение оценки s 2 стремится к 0 при n → ∞.

Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называется асимптотически несмещенной . В примере 7 показано, что оценка s 2 является асимптотически несмещенной.

Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки М (θ n – θ) 2 . Как следует из основных свойств математического ожидания и дисперсии,

т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.

Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n , а смещение – не более чем 1/n , где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство

где с – число, определяемое методом вычисления оценок θ n и истинным значением оцениваемого параметра θ.

С дисперсией оценки связано третье важное свойство метода оценивания – эффективность . Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра.

Доказано , что и являются эффективными оценками параметров m и σ 2 нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение

Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки параметра m к дисперсии несмещенной оценки этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.

Понятие эффективности вводится для несмещенных оценок, для которых М (θ n ) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные.

Пример 8. Рассмотрим «оценку» математического ожидания m 1 ≡ 0. Тогда D (m 1 ) = 0, т.е. всегда меньше дисперсии D () эффективной оценки . Математическое ожидание среднего квадрата ошибки d n (m 1 ) = m 2 , т.е. при имеем d n (m 1 ) < d n (). Ясно, однако, что статистику m 1 ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m .

Пример 9. Более интересный пример рассмотрен американским математиком Дж. Ходжесом:

Ясно, что T n – состоятельная, асимптотически несмещенная оценка математического ожидания m , при этом, как нетрудно вычислить,

Последняя формула показывает, что при m ≠ 0 оценка T n не хуже (при сравнении по среднему квадрату ошибки d n ), а при m = 0 – в четыре раза лучше.

Подавляющее большинство оценок θ n , используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:

для любого х , где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок d n (θ n ).

Что является предметом эконометрии?

факторы, формирующие развитие экономических явлений и процессов.

Какие основные экономические задачи решаются с использованием эконометрии?

является прогнозирование путей развития макро- и микроэкономических факторов хозяйственной деятельности.

3)Какие основные методы используются при построении экономических моделей?

метод регрессионного и корреляционного анализа.

4)Какое основное отличие корреляционной зависимости y=f(x) от функциональной?

При функциональной зависимости каждому аргументу (X) соответствует строго определённое значение (У), а при корреляционной зависимости- каждому аргументу (X) соответствует не одно строго определённое значение функции (У), а ряд распределения этой величины.

Что показывает линия регрессии?

как в среднем изменяется У с изменением Х;

Чем характеризуется множественная регрессия?

множеством факторных признаков

Что такое «несовместная система уравнений»?

система уравнений, в которой точное решение какого-либо уравнения системы не удовлетворяет остальным уравнениям.

В чём заключается принцип наименьших квадратов?

наивероятнейшими значениями параметров уравнения регрессии будут такие, при которых сумма квадратов отклонений будет наименьшая.

Каким образом находятся параметры aj из системы уравнений

Наивероятнейшими значениями параметров aj будут такие значения при которых сумма квадратов отклонений будет минимальна. Для нахождения минимума функции необходимо взять частную производную по уравнению (1) по параметру aj и приравнять ее к 0

Какая функция будет линейной относительно параметров aj.

11. Каким условием в генеральной совокупности должна отвечать остаточная составляющая

( - теоретическое значение результативного признака, а - фактическое значение), чтобы МНК-оценки обладали свойствами несмещенности, состоятельности и эффективности.

1. должна отвечать следующим требованиям:

· величина является случайной величиной;

· мат.ожидание =0;

· дисперсия постоянна для всех ;

· значения не должны не зависеть друг от друга, т.е отсутствует автокорреляция

Что означает несмещенность МНК – оценки параметров уравнения регрессии?

математическое ожидание оценки равно его истинному значению;

Что означает состоятельность МНК - оценки параметров уравнения регрессии?

дисперсия оценок параметров при росте числа наблюдений стремится к нулю ;

Что означает эффективность МНК - оценки параметров уравнения регрессии?

оценки параметров уравнения регрессии имеют наименьшую дисперсию по сравнению с любыми другими оценками данных параметров;

15. Распределение остаточной компоненты в генеральной совокупности подчиняется нормальному закону распределения. Это позволяет:

использовать статистические критерии: t-критерий Стьюдента и F-критерий Фишера;

Определение

Оценка texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_1} \in \Kappa параметра Невозможно разобрать выражение (Выполняемый файл texvc называется эффективной оценкой в классе Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \Kappa , если для любой другой оценки Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_2} \in \Kappa выполняется неравенство Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): M_{\theta}(\widehat{\theta_1}-\theta)^2\leqslant M_{\theta}(\widehat{\theta_2}-\theta)^2 для любого Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \theta .

Особую роль в математической статистике играют несмещенные оценки . Если несмещенная оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_1} является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной .

Единственность

Эффективная оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta} в классе Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \Kappa_b = \{ E(\widehat{\theta}) = c(\theta)\} , где Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): c(\theta) - некоторая функция, существует и единственна с точностью до значений на множестве Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): A , вероятность попасть в которое равна нулю (Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): P(x \in A)=0 ).

Асимптотическая эффективность

Некоторые оценки могут быть не самыми эффективными на малых выборках, однако могут обладать преимуществами на больших выборках. Обычно рассматриваются состоятельные оценки, дисперсия которых с увеличением объема выборки стремится к нулю. Поэтому сравнить такие оценки можно по скорости сходимости, то есть фактически по дисперсии (ковариационной матрицы) случайной величины (вектора) Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt{n}\hat{\theta} . В частности, асимптотически нормальная оценка

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt{n}(\hat{\theta}-\theta)\xrightarrow d N(0,V)

является асимптотически эффективной, если асимптотическая ковариационная матрица V минимальна в данном классе оценок.

См. также

Напишите отзыв о статье "Эффективная оценка"

Отрывок, характеризующий Эффективная оценка

Довольно улыбаясь, Караффа буквально «тащил» меня за руку по длинному коридору, пока мы наконец-то не остановились у тяжёлой, украшенной узорчатой позолотой, двери. Он повернул ручку и... О, боги!!!.. Я оказалась в своей любимой венецианской комнате, в нашем родном фамильном палаццо...
Потрясённо озираясь вокруг, не в состоянии придти в себя от так неожиданно обрушившегося «сюрприза», я успокаивала своё выскакивающее сердце, будучи не в состоянии вздохнуть!.. Всё вокруг кружилось тысячами воспоминаний, безжалостно окуная меня в давно прожитые, и уже частично забытые, чудесные годы, тогда ещё не загубленные злостью жестокого человека... воссоздавшего для чего-то здесь(!) сегодня мой родной, но давно утерянный, счастливый мир... В этой, чудом «воскресшей», комнате присутствовала каждая дорогая мне моя личная вещь, каждая любимая мною мелочь!.. Не в состоянии отвести глаз от всей этой милой и такой привычной для меня обстановки, я боялась пошевелиться, чтобы нечаянно не спугнуть дивное видение...
– Нравится ли вам мой сюрприз, мадонна? – довольный произведённым эффектом, спросил Караффа.