Статистическое оценивание. Что означает эффективность МНК - оценки параметров уравнения регрессии? Выборочные характеристики

) задач математической статистики .

Предположим, что имеется параметрическое семейство распределений вероятностей (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы .

Точечное оценивание

Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .

К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия , метод моментов , метод квантилей .

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки . Это означает, что оценка должна сходиться к истинному значению при . Это свойство оценки и называется состоятельностью . Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

Когда употребляют просто термин состоятельность , то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность и асимптотическая несмещенность

Оценка параметра называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Более слабым условием является асимптотическая несмещенность , которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:

Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром и поставим задачу оценки параметра . Можно доказать, что для этой задачи не существует несмещенной оценки.

Сравнение оценок и эффективность

Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска , которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.

Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения

Для несмещенных оценок это есть просто дисперсия .

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао .

(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными . Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.

Более слабым является условие асимптотической эффективности , которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при .

Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.

Достаточные статистики

Статистика назвается достаточной для параметра , если условное распределение выборки при условии того, что , не зависит от параметра для всех .

Важность понятия достаточной статистики обуславливается следующим утверждением . Если - достаточная статистика, а - несмещенная оценка параметра , тогда условное математическое ожидание является также несмещенной оценкой параметра , причем ее дисперсия меньше или равна дисперсии исходной оценки .

Напомним, что условное математическое ожидание есть случайная величина, являющаяся функцией от . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке .

Что является предметом эконометрии?

факторы, формирующие развитие экономических явлений и процессов.

Какие основные экономические задачи решаются с использованием эконометрии?

является прогнозирование путей развития макро- и микроэкономических факторов хозяйственной деятельности.

3)Какие основные методы используются при построении экономических моделей?

метод регрессионного и корреляционного анализа.

4)Какое основное отличие корреляционной зависимости y=f(x) от функциональной?

При функциональной зависимости каждому аргументу (X) соответствует строго определённое значение (У), а при корреляционной зависимости- каждому аргументу (X) соответствует не одно строго определённое значение функции (У), а ряд распределения этой величины.

Что показывает линия регрессии?

как в среднем изменяется У с изменением Х;

Чем характеризуется множественная регрессия?

множеством факторных признаков

Что такое «несовместная система уравнений»?

система уравнений, в которой точное решение какого-либо уравнения системы не удовлетворяет остальным уравнениям.

В чём заключается принцип наименьших квадратов?

наивероятнейшими значениями параметров уравнения регрессии будут такие, при которых сумма квадратов отклонений будет наименьшая.

Каким образом находятся параметры aj из системы уравнений

Наивероятнейшими значениями параметров aj будут такие значения при которых сумма квадратов отклонений будет минимальна. Для нахождения минимума функции необходимо взять частную производную по уравнению (1) по параметру aj и приравнять ее к 0

Какая функция будет линейной относительно параметров aj.

11. Каким условием в генеральной совокупности должна отвечать остаточная составляющая

( - теоретическое значение результативного признака, а - фактическое значение), чтобы МНК-оценки обладали свойствами несмещенности, состоятельности и эффективности.

1. должна отвечать следующим требованиям:

· величина является случайной величиной;

· мат.ожидание =0;

· дисперсия постоянна для всех ;

· значения не должны не зависеть друг от друга, т.е отсутствует автокорреляция

Что означает несмещенность МНК – оценки параметров уравнения регрессии?

математическое ожидание оценки равно его истинному значению;

Что означает состоятельность МНК - оценки параметров уравнения регрессии?

дисперсия оценок параметров при росте числа наблюдений стремится к нулю ;

Что означает эффективность МНК - оценки параметров уравнения регрессии?

оценки параметров уравнения регрессии имеют наименьшую дисперсию по сравнению с любыми другими оценками данных параметров;

15. Распределение остаточной компоненты в генеральной совокупности подчиняется нормальному закону распределения. Это позволяет:

использовать статистические критерии: t-критерий Стьюдента и F-критерий Фишера;

Выборочные характеристики. Состоятельные,

В начале курса были рассмотрены такие понятия как классическая и статистическая вероятности.

Если классическая вероятность - это теоретическая характеристика, которую можно определить, не прибегая к опыту, то статистическая вероятность может быть определена только по результатам эксперимента. При большем числе опытов величина W(A) может служить оценкой для вероятности P(A). Достаточно вспомнить классические опыты Бюффона и Пирсона. Подобные аналогии можно продолжить и далее. Например, для теоретической характеристики М(x) таковой аналогией будет - среднее арифметическое:

= i f i / n ,

для дисперсии D(x) эмпирическим аналогом будет статистическая дисперсия:

S 2 (x) = (x i - ) 2 f i / n .

Эмпирические характеристики , S 2 (x) , W(A) являются оценками параметров М(x) , D(x) , P(A) . В тех случаях, когда эмпирические характеристики определяются на основе большого числа опытов, использование их в качестве теоретических параметров не приведет к существенным ошибкам в исследовании, однако в тех случаях, когда число опытов ограничено, ошибка при замене будет существенна. Поэтому к эмпирическим характеристикам, являющимися оценками теоретических параметров предъявляются 3 требования:

оценки должны быть состоятельными, несмещенными и эффективными.

Оценка называется состоятельной, если вероятность отклонения ее от оцениваемого параметра на величину меньшую как угодно малого положительного числа стремится к единице при неограниченном увеличении числа наблюдений n , т.е.

P(| - | < ) = 1

где - некоторый параметр генеральной совокупности,

/ - оценка этого параметра. Большинство оценок различных числовых параметров отвечают этим требованиям. Однако одного этого требования бывает недостаточно. Необходимо, чтобы они еще были и несмещенными.

Оценка называется несмещенной, если математическое ожидание этой оценки равно оцениваемому параметру:

М ( / ) = .

Примером состоятельной и несмещенной оценки систематического ожидания является средняя арифметическая:

М () = .

Примером состоятельной и смещенной оценки является

дисперсия:

М (S 2 (x) ) = [ (n – 1)/ n] D(x).

Поэтому, чтобы получить несмещенную оценку теоретической дисперсии D(x) надо эмпирическую дисперсию S 2 (x) умножить на n/(n – 1) , т.е.

S 2 (x) = (x i - ) 2 f i / n n /(n – 1) = (x i - ) 2 f i /(n – 1) .

Практически эту поправку вносят при вычислении оценки дисперсии в тех случаях, когда n < 30 .

Состоятельных несмещенных оценок может быть несколько. Например, для оценки центра рассеивания нормального распределения наряду со средней арифметической , может быть взята медиана . Медиана так же, как и является несмещенной состоятельной оценкой центра группирования. Из двух состоятельных несмещенных оценок для одного и того же параметра естественно отдать предпочтение той, у которой дисперсия меньше.

Такая оценка, у которой дисперсия будет наименьшей относительно оцениваемого параметра, называется эффективной . Например, из двух оценок центра рассеивания нормального распределения М(x) эффективной оценкой является , а не , так как дисперсия меньше дисперсии . Сравнительная эффективность этих оценок при большой выборке приближенно равна: D() / D= 2/ = 0,6366.

Практически это означает, что центр распределения генеральной совокупности (назовем его 0) определяется по с той же точностью при n наблюдениях, как и при 0,6366 n наблюдениях по средней арифметической .

4.4. Свойства выборочных средних и дисперсий.

1. Если объем выборки достаточно велик, то на основе закона больших чисел с вероятностью близкой к единице, можно утверждать, что средняя арифметическая и дисперсия S 2 будут как угодно мало отличаться от М(x) и D(x ), т.е.

М(x) , S 2 (x) D(x ), и дисперсией D() , каков бы не был объем выборок n, лишь бы число выборок было достаточно велико.

4. Когда дисперсия D(x ), генеральной совокупности неизвестна, тогда для больших значений n с большей вероятностью малой ошибки можно дисперсию выборочных средних вычислить приближенно по равенству:

D() = S 2 (x) / n,

где S 2 (x) = (x i - ) 2 f i / n - дисперсия большой выборки.

Определение

Оценка texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_1} \in \Kappa параметра Невозможно разобрать выражение (Выполняемый файл texvc называется эффективной оценкой в классе Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \Kappa , если для любой другой оценки Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_2} \in \Kappa выполняется неравенство Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): M_{\theta}(\widehat{\theta_1}-\theta)^2\leqslant M_{\theta}(\widehat{\theta_2}-\theta)^2 для любого Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \theta .

Особую роль в математической статистике играют несмещенные оценки . Если несмещенная оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_1} является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной .

Единственность

Эффективная оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta} в классе Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \Kappa_b = \{ E(\widehat{\theta}) = c(\theta)\} , где Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): c(\theta) - некоторая функция, существует и единственна с точностью до значений на множестве Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): A , вероятность попасть в которое равна нулю (Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): P(x \in A)=0 ).

Асимптотическая эффективность

Некоторые оценки могут быть не самыми эффективными на малых выборках, однако могут обладать преимуществами на больших выборках. Обычно рассматриваются состоятельные оценки, дисперсия которых с увеличением объема выборки стремится к нулю. Поэтому сравнить такие оценки можно по скорости сходимости, то есть фактически по дисперсии (ковариационной матрицы) случайной величины (вектора) Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt{n}\hat{\theta} . В частности, асимптотически нормальная оценка

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt{n}(\hat{\theta}-\theta)\xrightarrow d N(0,V)

является асимптотически эффективной, если асимптотическая ковариационная матрица V минимальна в данном классе оценок.

См. также

Напишите отзыв о статье "Эффективная оценка"

Отрывок, характеризующий Эффективная оценка

– Хватит пустых разговоров! – вдруг, довольно потирая руки, воскликнул «святой отец». – Пройдёмте со мной, моя дорогая, я думаю, на этот раз мне всё же удастся Вас ошеломить!..
Если бы он только знал, как хорошо это ему постоянно удавалось!.. Моё сердце заныло, предчувствуя недоброе. Но выбора не было – приходилось идти...

Довольно улыбаясь, Караффа буквально «тащил» меня за руку по длинному коридору, пока мы наконец-то не остановились у тяжёлой, украшенной узорчатой позолотой, двери. Он повернул ручку и... О, боги!!!.. Я оказалась в своей любимой венецианской комнате, в нашем родном фамильном палаццо...
Потрясённо озираясь вокруг, не в состоянии придти в себя от так неожиданно обрушившегося «сюрприза», я успокаивала своё выскакивающее сердце, будучи не в состоянии вздохнуть!.. Всё вокруг кружилось тысячами воспоминаний, безжалостно окуная меня в давно прожитые, и уже частично забытые, чудесные годы, тогда ещё не загубленные злостью жестокого человека... воссоздавшего для чего-то здесь(!) сегодня мой родной, но давно утерянный, счастливый мир... В этой, чудом «воскресшей», комнате присутствовала каждая дорогая мне моя личная вещь, каждая любимая мною мелочь!.. Не в состоянии отвести глаз от всей этой милой и такой привычной для меня обстановки, я боялась пошевелиться, чтобы нечаянно не спугнуть дивное видение...
– Нравится ли вам мой сюрприз, мадонна? – довольный произведённым эффектом, спросил Караффа.

Определение

Оценка параметра называется эффективной оценкой в классе , если для любой другой оценки выполняется неравенство для любого .

Wikimedia Foundation . 2010 .

Олаф I Трюггвасон
Кровь и шоколад

Смотреть что такое "Эффективная оценка" в других словарях:

эффективная оценка - — [Л.Г.Суменко. Англо русский словарь по информационным технологиям. М.: ГП ЦНИИС, 2003.] Тематики информационные технологии в целом EN efficient estimator … Справочник технического переводчика

эффективная оценка - efektyvusis įvertis statusas T sritis automatika atitikmenys: angl. efficient estimate; efficient estimator vok. effiziente Schätzung, f rus. эффективная оценка, f pranc. estimation effective, f … Automatikos terminų žodynas

Эффективная оценка - 2.22. Эффективная оценка Источник: ГОСТ 15895 77: Статистические методы управления качеством продукции. Термины и определения … Словарь-справочник терминов нормативно-технической документации

ЭФФЕКТИВНАЯ ОЦЕНКА - несмещенная статистическая оценка, дисперсия к рой совпадает с нижней гранью в Рао Крамера неравенстве. Э. о. является достаточной статистикой для оцениваемого параметра. Если Э. о. существует, то ее можно получить с помощью метода максимального… … Математическая энциклопедия

АСИМПТОТИЧЕСКИ ЭФФЕКТИВНАЯ ОЦЕНКА - понятие, расширяющее идею эффективной оценки на случай больших выборок. Однозначного определения А. э. о. не имеет. Напр., в классич. варианте речь идет об асимптотич. эффективности оценки в подходящим образом выделенном классе оценок. Именно,… … Математическая энциклопедия

ОЦЕНКА ЭФФЕКТИВНАЯ - оценка с минимальной для данного объема выборки дисперсией. О., обладающая аналогичным свойством при неограниченно возрастающем объеме выборки, называется асимптотически эффективной. Свойство эффективности должно учитываться в геологии в… … Геологическая энциклопедия

ЭФФЕКТИВНАЯ ТЕМПЕРАТУРА - з в е з д ы (T э) параметр, характеризующий светимость звезды, т. е. полное кол во энергии, излучаемое звездой в единицу времени. Э. т. связана со светимостью L и радиусом звезды R соотношением L =4pR2sT4 э, где 4pR2 площадь поверхности звезды. Т … Физическая энциклопедия

ОЦЕНКА СТАТИСТИЧЕСКАЯ - функция от случайных величин, применяемая для оценки неизвестных параметров теоретич. распределения вероятностей. Методы теории О. с. служат основой современной теории ошибок; обычно в качестве неизвестных параметров выступают измеряемые физич.… … Математическая энциклопедия

Эффективная площадь рассеяния - Пример диаграммы моностатической ЭПР (B 26 Инвэйдер) Эффективная площадь рассеяния (ЭПР; англ. Radar Cross Section, RCS; в некоторых источниках эффективная поверхность рассеяния, эффективный поперечник рассеяния, эффективная по … Википедия

ОЦЕНКА ЭФФЕКТИВНАЯ - СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ … Социология: Энциклопедия

Книги

Теория моделей и алгебраическая геометрия. О доказательстве Э. Хрущовского гипотезы Морделла–Ленга , Бускаран Э.. Книга посвящена впечатляющим результатам в алгебраической геометрии, полученным на основе применения современных достижений теории моделей (доказательство гипотезы Морделла–Ленга для полей… Купить за 153 руб
Оценка конкурентоспособности региональных инновационных продуктов на основе метода анализа иерархий , Р. Р. Харисова. Эффективная деятельность предприятия во многом зависит от того, насколько она адаптирована к внешней среде и в какой мере готова к нововведениям. В настоящее времябольшинством…