Математическая статистика

Пространством элементарных событий называется множество исходов некоторого эксперимента.

Элементарным событием называется любой элемент пространства элементарных событий.

Событием называется любое подмножество пространства элементарных событий.

Генеральной совокупностью называется достаточно большое, быть может, бесконечное подмножество элементарных событий.

Случайной величиной называют функцию от элементарного события.

Экспериментом называется функция, принимающая значение на пространстве элементарных событий.

Статистическая моделью называется совокупность законов, которым подчиняется процедура эксперимента.

Случайной выборкой1 или просто выборкой1 объема n называется набор некоторого числа элементов генеральной совокупности, наблюденных при серии из n одинаковых экспериментов

Выборкой2 объема n называется набор 1,…,n случайных величин, определенных на натуральных числах 1,…,n, k-я с.в. принимает значение исхода ki-го эксперимента на числе i, при условии, что все эксперименты одинаковы.

Статистикой называется любая измеримая функция от выборки.

Функцией правдоподобия называется плотность распределения выборки2, как n-мерной случайной величины.

Вариационный ряд, распределение порядковых статистик. Эмпирические Квантили ГММЕ 398.

к-й порядковой статистикой выборки х1,…,хn называется такая случайная величина х(k), что для каждого набора значений выборки х1,…,хn х(k) равна такому хi, для которого найдется ровно i-1 элементов выборки, которые меньше хi.

Если х1,…,хn – независимые, одинаково распределенные случайные величины, что распределение к-й порядковой статистики задается следующей формулой:Математическая статистика, где B(a,b) – плотность бета распределения.

Вариационным рядом называется последовательность порядковых статистик x(1),…,x(n).

Выборочным квантилем порядка р называется значение х((np)+1).

Квантилью zp для с.в. х с функцией распределения F(x) называется любой корень уравнения F(zp)=p.

Эмпирическая функция распределения, ее св-ва, как функции распределения и как случайного элемента (распределения и числовые характеристики) СКТ 191.

Эмпирическим распределением называется распределение, которое каждому элементу выборки1 х1,…,хn ставит в соответствие вероятность1/n.

Эмпирическим распределениемМатематическая статистикаÁn для выборки х1,…,хn называется функция, по определению равная Математическая статистика, где Математическая статистика равно 1, если хk принадлежит В, и нулю иначе.

Эмпирической функцией распределения называется функция Fn(x)=Á(-¥,x).

Математическое ожиданиеэмпирической функции распределения M(x) равно среднему арифметическому значений х1,…,хn.

Дисперсияэмпирической функции распределенияМатематическая статистика.

Выборочным моментом порядка k называется значение Математическая статистика.

Сходимость эмпирической функции распределения. Теорема Гливенко – Кантелли (БМС 22).

Теорема. Для эмпирического распределения Án(x) и распределения генеральной совокупности Á (x) при n®¥ Математическая статистика.

Теорема Гливенко – Кантелли. Для эмпирической функцией распределения Fn(x) и распределения генеральной совокупности F(x) при n®¥ Математическая статистика.

Теорема Колмогорова. Доказательство независимости статистики Колмогорова от вида непрерывной функции распределения – СКТ 209 ГММЕ 173.

Статистикой Колмогорова для непрерывной функции распределения генеральной совокупности F(x) и – эмпирической функция распределения Fn(x) , построенной по выборке х1,…,хn, называется функцияМатематическая статистика.

Теорема. Если F(x) непрерывна, то распределения статистики Колмогорова Dn не зависит от F(x).

Условные математические ожидания и условные распределения. Св-ва условных мат. ожиданий. Аналоги формул полной вероятности и формулы Байеса для мат. ожиданий ГММЕ 173 ШВ 91.

Условным законом распределения д.с.в. h при заданном значении д.с.в. x=хk называется набор условных вероятностей Математическая статистика l=1,…,m.

Условным математическим ожиданием д.с.в. h при заданном значении д.с.в. x=хk называется сумма Математическая статистикаМатематическая статистика. Имеет место равенство M(M(x½h)) = Mh. М (Р (h = yl| x=xk)) = P(h = yl).

Достаточные статистики. Теорема Неймана-Фишера (критерий достаточности) СКТ 221.

Достаточной называется такая статистика t(x), что для случайной величины x с распределением p(x,q) условное распределение P(x | t(x) = t0) не зависит от параметра q (то есть через нее можно определить значение параметра q).

Теорема. Статистика t(x) с распределением p(x,q)=g(t(x);q)h(x) является достаточной.

Статистические оценки. Св-ва оценок: состоятельность, несмещенность, эффективность. Задача оптимального статистического оценивания СКТ 215.

Оценкой для независимой выборки (x1,…,xn) называют статистику Математическая статистика, предназначенную для использования вместо параметра q, в качестве его приближения, однозначно определяемому исходным распределением F из семейства распределений Fq (x).

Несмещенной называется такая оценка Математическая статистика, что ее мат. ожидание равно q.

Состоятельной называется последовательность оценок Математическая статистика, сходящаяся по вероятности к q.

Эффективной называется такая оценка Математическая статистика что ее дисперсия минимальна среди последовательности оценок Математическая статистика.

Улучшение оценок с помощью достаточных статистик. Теорема Колмогорова Блекуэла Рао ВДВ СКТ 222.

Теорема Колмогорова Блекуэла Рао. Пусть t(х) - достаточная статистика семейства распределений p(x,q) , а Математическая статистика - несмещенная оценка параметра q с конечной дисперсией для некоторой выборки (x1,…,xn) . Тогда условное мат. ожидание Математическая статистикапри фиксированном t(х) будет несмещенной оценкой q с дисперсией не превосходящей дисперсию Математическая статистика.

Полные достаточные статистики и их использование для нахождения несмещенных оценок с минимальной дисперсией СКТ 222 БМС 142.

Полным семейством распределений Gq, зависящих от к-мерного параметра q называется такое семейство Gq, что из равенства нулю Математическая статистикадля любой измеримой функции y(s), следует , что y(s)=0.

Полной называется статистика с полным семейством распределений Gq, индуцированным распределением генеральной совокупности G.

Теорема. Для полной достаточной статистики S и оценки q, оценка qs=M(q|S) является единственной эффективной оценкой.

Неравенство Крамера-Рао-Фреше. Эффективные оценки в регулярном случае. Информация Фишера и ее св-ва СКТ 224.

Информацией Фишера для плотности p(x, q) называют математическое ожидание Математическая статистика.

Неравенство Рао-Крамера. Для семейства плотностей p(x, q) и оценки Математическая статистикас математическим ожиданием g(q) таких, что Математическая статистикаи Математическая статистика, имеет место неравенство Математическая статистика.

Эффективностью оценки Математическая статистика с математическим ожиданием g(q)называется отношение Математическая статистика.

Эффективной называется оценка, эффективность которой равна 1.

Метод моментов св-ва оценок СКТ 228.

Методом моментов называют способ нахождения оценокк к=1,…,r, получаемых как решение системы mk0=mk(q1,…,qr), где Математическая статистика, а mk - моменты порядка к для независимой выборки с плотностью p(x,q1,…,qn).

Теорема. Непрерывные оценки Математическая статистикак к=1,…,r, получаемые методом моментов, состоятельны.

Асимптотические св-ва статистических оценок. Состоятельность, асимптотическая эффективность, асимптотическая нормальность СКТ 227 ВДВ 221.

Асимптотически эффективностью оценки Математическая статистикаn называется конечным предел Математическая статистика.

Асимптотически эффективной называется такая оценка, асимптотическая эффективность к-рой равна единице.

Асимптотически нормальной называется оценка, которая в пределе сходится к нормальному распределению.

Состоятельность и асимптотическая нормальность эмпирических моментов и функций от эмпирических характеристик (БМС 40).

Теорема. Пусть F0 – функция распределения генеральной совокупности и g, Sn таковы, что Математическая статистика, где h – дифференцируема в точке Математическая статистика, Математическая статистикаМатематическая статистика, то Математическая статистика, где x - н.р.с.в. с параметрами 0 и Математическая статистика.

Асимптотические св-ва оценок максимального правдоподобия. Метод максимального правдоподобия. Оптимальные св-ва оценок СКТ 229 ГММЕ 541 ВДВ 221 ВДВ 249.

Оценкой максимального правдоподобия называется оценка, обращающая в максимум функцию правдоподобия: L(x; Математическая статистика)=maxqL(x; q), или Математическая статистика.

Теорема. Если q1, Математическая статистика, Математическая статистика, Математическая статистика и Математическая статистика, где М не зависит от q, то уравнение правдоподобия Математическая статистика имеет решение, которое в пределе сходится по вероятности к q0. Эта оценка наибольшего правдоподобия асимптотически нормальна и асимптотически эффективна.

Основные понятия общей теории статистических решений: пр-во решений, функция потерь и функция риска. Байесовский и минимальный подходы к задачам статистических решений (БМС 120).

Байесовский подход состоит в представлении параметра q как случайной величины с некоторой плотностью q(t), называемой априорной.

Байесовской оценкой q~, минимизирующей M(q-q~)2 является функция Математическая статистика, где Математическая статистика - апостериорное распределение q, Математическая статистика, ¦t(x) – функция правдоподобия, l - мера.

Минимальной называется такая оценка q~, что для любой другой оценки q Математическая статистика, qÎQ.

Байесовские оценки при квадратичной функции потерь. Априорный и апостериорный риск. Сравнение с эффективными оценками.Нормальное распределение в Rn. Эквивалентность различных определений и св-ва. ГММЕ 341 СКТ 164.

Нормально распределенным называется такой случайный вектор x, что его характеристическая функция равна Математическая статистикаМатематическая статистика, где, а – вектор, а В – симметрическая матрица положительно определенной КВАФ. Любое линейное преобразование нормально распределенного случайного вектора также является нормальным случайным вектором.

Теорема. Для того чтобы вектор x был нормально распределен, необходимо и достаточно, чтобы имело место представление Математическая статистика, где qi – набор нормально распределенных н.о.р.с.в., g – некоторая матрица, Mxa=aa.

Распределение хи квадрат. Стьюдента, Фишера и их использование в мат. статистике СКТ 169.

Распределение

Формула плотности

E

ГеометрическоеQ

p(x)=q(1-q)x(1-q)/q(1-q)/q2

ПуассонаQ

Математическая статистика

xx

НормальноеR

Математическая статистика

as2

Гамма x>0

Математическая статистика

Математическая статистика

Математическая статистика

Хи квадрат с k степенями свободы х³0

Математическая статистика

Стьюдента с k степенями свободы

R

Математическая статистика

Фишера

х³0

Математическая статистика

Независимость среднего арифметического и среднего квадратичного для независимых нормально распределенных случайных величин ГММЕ 413 СКТ 237.

Теорема. Статистики Математическая статистика(выборочное среднее) и Математическая статистика (дисперсия) незав. норм. р.с.в. независимы, случайная величина s2(n-1)/s 2 имеет распределение хи квадрат с (n-1)й степенью свободы.

Понятие доверительного интервала – интервальной статистической оценки и его хар-ки. Точные и асимптотические доверительные интервалы СКТ 234.

Доверительным интервалом для выборки с распределением p(x, q) называется такой отрезок, что q принимает значение из этого отрезка с вероятностью 1-a, называемой доверительной вероятностью.

Асимптотическим доверительным интервалом уровня e называется такой интервал (q1, q2), что Математическая статистика.

Доверительные интервалы для параметров нормального распределения СКТ 236.Доверительные интервалы для параметров биномиального распределения СКТ 240.Проверка статистических гипотез. Общие понятия: простые и сложные статистические гипотезы, критерии, ошибки 1го и 2го рода, размер, мощность критерия СКТ 197.

Статистической гипотезой называются предположения о значении параметра q для выборки с распределением p(x, q).

Простой называется статистическая гипотеза, состоящая в том, что q=q0.

Сложной называется статистическая гипотеза, предполагающая принадлежность q к некоторому мн-ву Q0.

Ошибкой первого рода называется опровержение верной гипотезы.

Ошибкой второго рода называется принятие ложной гипотезы при существующей истинной.

Критерий - правило, по которому гипотеза Н будет отвергнута, если случайная величина принимает значение из критического мн-ва S.

S критерием проверки гипотезы называется критерий заключающийся в нахождении критического подмн-ва выборки, не котором гипотеза не верна.

Уровнем значимости называется вероятность ошибки первого рода.

Функцией мощности S критерия называется функция Математическая статистика то есть вероятность отвергнуть гипотезу Н0 при истинном значении параметра q.

Оптимальным, или наиболее мощным называется критерий S для которого W(S,q0)=a, W(S,q1)=maxW(S,qk) при S принадлежащем множеству всех критериев с уровнем значимости a, где q0 q1 – значения параметров для двух рассматриваемых гипотез.

Проверка двух простых гипотез. Лемма Неймана-Пирсона. Критерий отношения правдоподобия как наиболее мощный критерий ГММЕ 541.

j критерием называется такой критерий, согласно которому гипотеза Н отвергается, если некоторая бинарная случайная величина от выборки, принимающая свои значения с вероятностями a и 1-a соотв., принимает нулевое значение .

Оптимальным, или наиболее мощным называется такой j критерий, что W(j, q0)=a, W(j,q1) максимален среди всех j - критериев с уровнем значимости a.

Теорема Неймана-Пирсона. Для любого a от нуля до единицы существуют такие числа с, большее нуля, и 0£e£1, что j критерий с функцией равной 1, если p(x,q1)>cp(x,q0), e, если они равны и 0, если p(x,q1)

Равномерно наиболее мощные критерии. Семейство распределений с монотонным отношением правдоподобия ГММЕ 571 580.

Равномерно наиболее мощным называется такой критерий, что для любых двух значений неизвестного параметра из множества их допустимых значений и не равных фиксированному a0 множество Х, определяемое соотношением

¦(x, a1)³c¦(x, a0) одно и тоже.

Критерий согласия. Критерий Колмогорова, критерий хи квадрат Пирсона СКТ 209 ГММЕ 368 453 488.

Критерием согласия называется критерий, позволяющий выяснить согласие между распределением выборки и эмпирическим распределением.

Критерием Колмогорова называется критерий, принимающий гипотезу о характере функции распределения для случайной выборки, если n1/2 Dn£ka, где ka - a квантиль предела распределения n1/2 Dn при n®¥, Dn =sup|Fn(x)-F(x)| по всем x, Fn(x) – эмпирическая функция распределения выборки, F(x) – непрерывная функция распределения генеральной совокупности.

Теорема. Если F(x) непрерывна, то распределение статистики Dn не зависит от F(x).

Критерием хи квадрат называется критерий, в котором за меру расхождения эмпирической функции распределения с гипотетической равна c2=Svi2/npi –n, где рi – вероятность нек-рого подмножества выборки, разбитой на прямую сумму непересекающихся подмножеств.

Критерий однородности различных выборок. Критерий Смирнова, критерий Стьюдента. Критерий независимости СКТ 211 ГММЕ 482.

Критерием Смирнова называется критерий, позволяющий проверять гипотезу о том, что две выборки х1…хn и у1…уm взяты из одного и того же распределения, основанный на том, что если их функции распределения F(x) и G(x) непрерывны и совпадают, то при n,m®¥, n/m®c 0, где Математическая статистикаимеет тот же закон распределения, как и в критерии Колмогорова.

Критерием Стьюдента называется критерий, позволяющий проверять гипотезу о том, что две выборки х1…хn и у1…имеют одинаковую дисперсию, он основывается на рассмотрении отношения дисперсии двух эмпирических распределений. Если F=|D1/D2| принадлежит доверительному интервалу распределения Фишера, то гипотеза о равенстве дисперсии для двух выборок считается состоятельной.

Критерий однородности двух выборок c объемами n1, n2, разделенные на l групп с численностями m’i и m’’i соотв. I=1,…,l состоит в вычислении значения Математическая статистикаи сравнивания его с табличным значением хи квадрат для соотв. Уровня значимости.

Список литературы:

1. СКТ – Севастьянов "Курс теории вероятностей и математической статистики".

2. ГММЕ - Крамер "Математические методы статистики".

3. ВДВ – Ван дер Варден "Математическая статистика".

4. БМС – Боровков "Математическая статистика".

5. ШВ - Ширяев "Вероятность".


Подобные работы:

Актуально: