\documentclass[a4paper,10pt]{article} \usepackage[utf8]{inputenc} \usepackage[russian]{babel} \usepackage{amsmath} \usepackage{amssymb} \usepackage{amsfonts} \usepackage{geometry} \usepackage{titlesec} \geometry{left=1.5cm, right=1.5cm, top=1.5cm, bottom=1.5cm} \titleformat{\section}{\normalsize\bfseries}{\thesection}{1em}{} \titleformat{\subsection}{\small\bfseries}{\thesubsection}{1em}{} \titleformat{\subsubsection}{\footnotesize\bfseries}{\thesubsubsection}{1em}{} \setlength{\parindent}{0pt} \setlength{\parskip}{0.5em} \pagestyle{empty} \begin{document} \large \sloppy \section{Что понимают под n-мерным случайным вектором и его функцией распределения (вероятностей)? Сформулируйте основные свойства функции распределения (вероятностей) n-мерного случайного вектора.} \subsection{Определение} Совокупность случайных величин \(X_1 = X_1(\omega), \ldots, X_n = X_n(\omega)\), заданных на одном и том же вероятностном пространстве \((\Omega, \mathcal{F}, P)\), называют многомерной (n-мерной) случайной величиной, или n-мерным случайным вектором. При этом СВ \(X_1, X_2, \ldots, X_n\) — координаты случайного вектора. \subsection{Определение функции распределения} Функцией распределения (вероятностей) \(F(x_1, \ldots, x_n) = F_{X_1, \ldots, X_n}(x_1, \ldots, x_n)\) (n-мерного) случайного вектора \((X_1, \ldots, X_n)\) называют функцию, значение которой в точке \((x_1, \ldots, x_n) \in \mathbb{R}^n\) равно вероятности совместного осуществления событий \(\{X_1 < x_1\}, \ldots, \{X_n < x_n\}\), т.е. \[ F(x_1, \ldots, x_n) = F_{X_1, \ldots, X_n}(x_1, \ldots, x_n) = P(X_1 < x_1, \ldots, X_n < x_n). \] Данную функцию также называют совместной (n-мерной) функцией распределения СВ \((X_1, \ldots, X_n)\). \subsection{Свойства функции распределения} Двумерная функция распределения удовлетворяет следующим свойствам: \begin{enumerate} \item \(0 \leq F(x_1, x_2) \leq 1\). \item \(F(x_1, x_2)\) — неубывающая функция по каждому из аргументов \(x_1\) и \(x_2\). \item \(F(-\infty, x_2) = F(x_1, -\infty) = 0\). \item \(F(+\infty, +\infty) = 1\). \item \(P\{a_1 < X_1 \leq b_1, a_2 < X_2 \leq b_2\} = F(b_1, b_2) - F(b_1, a_2) - F(a_1, b_2) + F(a_1, a_2)\). \item \(F(x_1, x_2)\) — непрерывная слева в любой точке \((x_1, x_2) \in \mathbb{R}^2\) по каждому из аргументов \(x_1\) и \(x_2\). \item \(F_{X_1, X_2}(x, +\infty) = F_{X_1}(x), \quad F_{X_1, X_2}(+\infty, x) = F_{X_2}(x)\). \end{enumerate} \section{Дайте определение дискретного случайного вектора. Задание закона распределения двумерного случайного вектора и его совместная функция распределения.} \subsection{Определение дискретного случайного вектора} n-мерный случайный вектор \(\vec{X}(\omega)\), принимающий не более счётного множества возможных значений \(\{X_k\}_{k=1}^{N<\infty}\), называют дискретным случайным вектором. \subsection{Закон распределения двумерного дискретного случайного вектора} Закон распределения двумерного дискретного случайного вектора может быть задан в виде следующей таблицы: \begin{table}[h] \centering \begin{tabular}{c|cccc} & $Y = y_1$ & $Y = y_2$ & $\cdots$ & $Y = y_m$ \\ \hline $X = x_1$ & $p_{11}$ & $p_{12}$ & $\cdots$ & $p_{1m}$ \\ $X = x_2$ & $p_{21}$ & $p_{22}$ & $\cdots$ & $p_{2m}$ \\ $\vdots$ & $\vdots$ & $\vdots$ & $\ddots$ & $\vdots$ \\ $X = x_n$ & $p_{n1}$ & $p_{n2}$ & $\cdots$ & $p_{nm}$ \\ \end{tabular} \end{table} Здесь \(y_1, \ldots, y_m\) — все возможные значения СВ \(Y\), а \(x_1, \ldots, x_n\) — все значения СВ \(X\). \[ p_{ij} = P\{X = x_i, Y = y_j\}, \quad p_{Xi} = P\{X = x_i\} = \sum_{j=1}^{m} p_{ij}, \quad p_{Yj} = P\{Y = y_j\} = \sum_{i=1}^{n} p_{ij}, \] \[ \sum_{i=1}^{n} \sum_{j=1}^{m} p_{ij} = 1, \] \[ F(x, y) = P\{X \leq x, Y \leq y\} = \sum_{\substack{x_i \leq x \\ y_j \leq y}} p_{ij}. \] \section{Дайте определение непрерывного случайного вектора. Сформулируйте основные свойства плотности распределения вероятностей непрерывного случайного вектора.} \subsection{Определение непрерывного случайного вектора} Непрерывным случайным вектором называют n-мерный случайный вектор \(\vec{X}(\omega)\), вероятность попадания которого в любую область \(\mathbb{R}^n\) бесконечно малого диаметра бесконечно мала и \(\forall (x_1, \ldots, x_n) \in \mathbb{R}^n\) определена функция: \[ f_{\vec{X}}(x_1, \ldots, x_n) = \lim_{\mu(U(\vec{x})) \to 0} \frac{P\{\vec{X}(\omega) \in U(\vec{x})\}}{\mu(U(\vec{x}))}, \] где \(U(\vec{x})\) — окрестность точки \(\vec{x}\), \(\mu(U(\vec{x}))\) — мера окрестности точки \(\vec{x} \in \mathbb{R}^n\), \(f_{\vec{X}}(x_1, \ldots, x_n)\) — плотность распределения вероятностей n-мерного случайного вектора. \subsection{Свойства двумерной плотности распределения} \begin{enumerate} \item \(f(x, y) \geq 0\). \item \(P\{a_1 \leq X \leq b_1, a_2 \leq Y \leq b_2\} = \int_{a_1}^{b_1} \int_{a_2}^{b_2} f(x, y) \, dy \, dx\). \item \(\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) \, dy \, dx = 1\). \item \(P\{x < X < x + \Delta x, y < Y < y + \Delta y\} \approx f(x, y) \Delta x \Delta y\). \item \(P\{X = x, Y = y\} = 0\). \item \(P\{(X, Y) \in D\} = \int \int_{D} f(x, y) \, dx \, dy\). \item \(f_{X}(x) = \int_{-\infty}^{+\infty} f(x, y) \, dy, \quad f_{Y}(y) = \int_{-\infty}^{+\infty} f(x, y) \, dx\). \end{enumerate} \section{Что называют функцией случайной величины?} \subsection{Определение} Функцией случайной величины \(Y = g(X)\) называется новая случайная величина, полученная путем применения детерминированной функции \(g\) к случайной величине \(X\). Если \(X\) — случайная величина, и \(g\) — функция, то \(Y = g(X)\) также будет случайной величиной. Значение \(Y\) в каждом эксперименте определяется значением \(X\) в этом эксперименте и функцией \(g\). \subsection{Пример} Если \(X\) — случайная величина, \(g(X) = X^2\), то \(Y = X^2\) — это новая случайная величина, значение которой в каждом эксперименте равно квадрату значения \(X\) в этом эксперименте. \section{Сформулируйте и решите задачу о нахождении закона распределения функции случайной величины (различные случаи).} \subsection{Формулировка задачи} Задача состоит в том, чтобы найти закон распределения случайной величины \(Y = g(X)\), где \(X\) — случайная величина с известным законом распределения, а \(g\) — некоторая функция. Рассмотрим два случая: \(X\) — дискретная случайная величина и \(X\) — непрерывная случайная величина. \subsection{Случай 1: \(X\) — дискретная случайная величина} Пусть \(X\) — дискретная случайная величина, принимающая значения \(x_1, x_2, \ldots, x_n\) с вероятностями \(p_1, p_2, \ldots, p_n\) соответственно. Требуется найти закон распределения \(Y = g(X)\). \subsubsection{Решение} 1. Определим возможные значения \(Y = g(X)\): \[ y_i = g(x_i) \quad \text{для} \quad i = 1, 2, \ldots, n. \] 2. Найдем вероятности значений \(Y\): \[ P(Y = y_i) = P(X = x_i) = p_i. \] Если \(g(x_i) = g(x_j)\) для некоторых \(i \neq j\), то соответствующие вероятности нужно суммировать. \subsubsection{Пример} Пусть \(X\) принимает значения \(0, 1, 2\) с вероятностями \(P(X=0) = 0.2\), \(P(X=1) = 0.5\), \(P(X=2) = 0.3\). Найдем закон распределения \(Y = X^2\). \[ \begin{aligned} &Y = 0^2, 1^2, 2^2 = 0, 1, 4, \\ &P(Y = 0) = P(X = 0) = 0.2, \\ &P(Y = 1) = P(X = 1) = 0.5, \\ &P(Y = 4) = P(X = 2) = 0.3. \end{aligned} \] Таким образом, \(Y\) принимает значения \(0, 1, 4\) с вероятностями \(0.2, 0.5, 0.3\) соответственно. \subsection{Случай 2: \(X\) — непрерывная случайная величина} Пусть \(X\) — непрерывная случайная величина с функцией плотности распределения \(f_X(x)\). Требуется найти закон распределения \(Y = g(X)\). \subsubsection{Решение} 1. Найдем функцию распределения \(F_Y(y)\): \[ F_Y(y) = P(Y \leq y) = P(g(X) \leq y). \] 2. Найдем функцию плотности \(f_Y(y)\) путем дифференцирования \(F_Y(y)\): \[ f_Y(y) = \frac{d}{dy}F_Y(y). \] Если \(g\) является монотонной функцией, то: \[ F_Y(y) = P(g(X) \leq y) = P(X \leq g^{-1}(y)) = F_X(g^{-1}(y)), \] где \(g^{-1}\) — обратная функция к \(g\). Тогда: \[ f_Y(y) = f_X(g^{-1}(y)) \left| \frac{d}{dy} g^{-1}(y) \right|. \] \subsubsection{Пример} Пусть \(X\) имеет равномерное распределение на \([0,1]\), то есть \(f_X(x) = 1\) для \(0 \leq x \leq 1\). Найдем закон распределения \(Y = X^2\). \[ \begin{aligned} &F_Y(y) = P(Y \leq y) = P(X^2 \leq y) = P(X \leq \sqrt{y}) = \sqrt{y} \quad \text{для} \quad 0 \leq y \leq 1, \\ &f_Y(y) = \frac{d}{dy} F_Y(y) = \frac{d}{dy} \sqrt{y} = \frac{1}{2\sqrt{y}} \quad \text{для} \quad 0 \leq y \leq 1. \end{aligned} \] Таким образом, \(Y\) имеет функцию плотности распределения \(f_Y(y) = \frac{1}{2\sqrt{y}}\) для \(0 \leq y \leq 1\). \section{Дайте определение независимых случайных величин. Каким основным свойством обладает совместный закон распределения независимых случайных величин?} \subsection{Определение} Случайные величины \(X\) и \(Y\) называются независимыми, если \[ F_{X,Y}(x,y) = F_X(x) \cdot F_Y(y), \] где \(F_{X,Y}(x,y)\) — совместная функция распределения случайных величин \(X\) и \(Y\), а \(F_X(x)\) и \(F_Y(y)\) — их маргинальные функции распределения. \subsection{Основное свойство} Основным свойством совместного закона распределения независимых случайных величин является то, что их совместная плотность распределения равна произведению их маргинальных плотностей: \[ f_{X,Y}(x,y) = f_X(x) \cdot f_Y(y), \] где \(f_{X,Y}(x,y)\) — совместная плотность распределения случайных величин \(X\) и \(Y\), а \(f_X(x)\) и \(f_Y(y)\) — их маргинальные плотности распределения. \section{Дайте определение математического ожидания скалярной случайной величины и приведите его содержательную интерпретацию. Сформулируйте основные свойства математического ожидания.} \subsection{Определение} Математическим ожиданием (средним значением) \(M[X]\) дискретной случайной величины \(X\) называют сумму произведений значений \(x_i\) случайной величины и вероятностей \(p_i = P\{X = x_i\}\), с которыми случайная величина принимает эти значения: \[ M[X] = \sum_i x_i p_i. \] Для непрерывной случайной величины \(X\) математическое ожидание \(M[X]\) определяется как интеграл: \[ M[X] = \int_{-\infty}^{+\infty} x f(x) \, dx, \] где \(f(x)\) — функция плотности распределения случайной величины \(X\). \subsection{Содержательная интерпретация} Математическое ожидание случайной величины \(X\) представляет собой взвешенное среднее всех возможных значений \(X\), где весами служат вероятности этих значений. Это значение можно интерпретировать как центр масс системы материальных точек, расположенных на числовой оси в координатах \(x_i\) с массами \(p_i\). Математическое ожидание даёт оценку "среднего" значения случайной величины в долгосрочной перспективе при многократных повторениях эксперимента. \subsection{Основные свойства математического ожидания} \begin{enumerate} \item Линейность: \[ M[aX + bY] = aM[X] + bM[Y], \] где \(a\) и \(b\) — константы, \(X\) и \(Y\) — случайные величины. \item Математическое ожидание константы: \[ M[C] = C, \] где \(C\) — константа. \item Для независимых случайных величин \(X\) и \(Y\): \[ M[XY] = M[X]M[Y]. \] \item Монотонность: \[ X \leq Y \Rightarrow M[X] \leq M[Y]. \] \item Если \(X\) — случайная величина и \(g(X)\) — функция, тогда: \[ M[g(X)] = \int_{-\infty}^{+\infty} g(x) f(x) \, dx, \] где \(f(x)\) — функция плотности распределения случайной величины \(X\). \end{enumerate} \section{Дайте определение дисперсии случайной величины. Сформулируйте основные свойства дисперсии.} \subsection{Определение} Дисперсией \(D[X]\) случайной величины \(X\) называют математическое ожидание квадрата отклонения случайной величины \(X\) от её среднего значения \(M[X]\): \[ D[X] = M[(X - M[X])^2]. \] Для дискретной случайной величины \(X\) дисперсия определяется как: \[ D[X] = \sum_i (x_i - M[X])^2 p_i, \] где \(x_i\) — возможные значения случайной величины, \(p_i = P\{X = x_i\}\) — вероятности этих значений. Для непрерывной случайной величины \(X\) дисперсия определяется как: \[ D[X] = \int_{-\infty}^{+\infty} (x - M[X])^2 f(x) \, dx, \] где \(f(x)\) — функция плотности распределения случайной величины \(X\). \subsection{Основные свойства дисперсии} \begin{enumerate} \item Дисперсия константы равна нулю: \[ D[C] = 0, \] где \(C\) — константа. \item Для любой случайной величины \(X\) и константы \(a\): \[ D[aX] = a^2 D[X]. \] \item Линейность дисперсии относительно независимых случайных величин \(X\) и \(Y\): \[ D[X + Y] = D[X] + D[Y], \] если \(X\) и \(Y\) — независимые случайные величины. \item Дисперсия суммы случайной величины \(X\) и константы \(a\): \[ D[X + a] = D[X]. \] \item Дисперсию можно выразить через математическое ожидание квадрата случайной величины: \[ D[X] = M[X^2] - (M[X])^2. \] \end{enumerate} \section{Дайте определение ковариации двух скалярных случайных величин. Сформулируйте основные свойства ковариации.} \subsection{Определение} Ковариацией (корреляционным моментом) двух случайных величин \(X\) и \(Y\) называется математическое ожидание произведения отклонений этих случайных величин от их средних значений: \[ \text{Cov}(X, Y) = M[(X - M[X])(Y - M[Y])]. \] Если \(X\) и \(Y\) — дискретные случайные величины с вероятностями \(p_{ij} = P\{X = x_i, Y = y_j\}\), то ковариация вычисляется по формуле: \[ \text{Cov}(X, Y) = \sum_i \sum_j (x_i - M[X])(y_j - M[Y]) p_{ij}. \] Для непрерывных случайных величин \(X\) и \(Y\) с функцией плотности совместного распределения \(f(x, y)\), ковариация вычисляется по формуле: \[ \text{Cov}(X, Y) = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x - M[X])(y - M[Y]) f(x, y) \, dx \, dy. \] \subsection{Основные свойства ковариации} \begin{enumerate} \item Ковариация константы и случайной величины равна нулю: \[ \text{Cov}(C, X) = 0, \] где \(C\) — константа. \item Ковариация линейной комбинации случайных величин: \[ \text{Cov}(aX + bY, Z) = a \text{Cov}(X, Z) + b \text{Cov}(Y, Z), \] где \(a\) и \(b\) — константы. \item Ковариация двух одинаковых случайных величин равна дисперсии этой величины: \[ \text{Cov}(X, X) = D[X]. \] \item Если случайные величины \(X\) и \(Y\) независимы, то их ковариация равна нулю: \[ \text{Cov}(X, Y) = 0, \] если \(X\) и \(Y\) независимы. \item Симметричность ковариации: \[ \text{Cov}(X, Y) = \text{Cov}(Y, X). \] \item Ковариация суммы случайных величин: \[ \text{Cov}(X+Y, Z) = \text{Cov}(X, Z) + \text{Cov}(Y, Z). \] \end{enumerate} \section{Дайте определение коэффициента корреляции двух скалярных случайных величин. Сформулируйте основные свойства коэффициента корреляции. Приведите возможную интерпретацию значения коэффициента корреляции.} \subsection{Определение} Коэффициентом корреляции \(\rho(X, Y)\) случайных величин \(X\) и \(Y\) называется величина, определяемая следующим образом: \[ \rho(X, Y) = \frac{\text{Cov}(X, Y)}{\sqrt{D[X] \cdot D[Y]}}, \] где \(\text{Cov}(X, Y)\) — ковариация \(X\) и \(Y\), \(D[X]\) и \(D[Y]\) — дисперсии \(X\) и \(Y\) соответственно. \subsection{Основные свойства коэффициента корреляции} \begin{enumerate} \item Коэффициент корреляции принимает значения в интервале от -1 до 1: \[ -1 \leq \rho(X, Y) \leq 1. \] \item Если случайные величины \(X\) и \(Y\) независимы, то их коэффициент корреляции равен нулю: \[ \rho(X, Y) = 0. \] Однако, обратное утверждение не всегда верно — коэффициент корреляции равный нулю не обязательно означает независимость случайных величин. \item Коэффициент корреляции симметричен: \[ \rho(X, Y) = \rho(Y, X). \] \item Коэффициент корреляции двух одинаковых случайных величин равен единице: \[ \rho(X, X) = 1. \] \item Линейность коэффициента корреляции: \[ \rho(aX + b, cY + d) = \text{sign}(ac) \cdot \rho(X, Y), \] где \(a, b, c,\) и \(d\) — константы, \(\text{sign}(ac)\) — знак произведения \(a\) и \(c\). \end{enumerate} \subsection{Интерпретация значения коэффициента корреляции} \begin{itemize} \item \(\rho(X, Y) = 1\): Случайные величины \(X\) и \(Y\) имеют полную положительную линейную зависимость. Если \(X\) увеличивается, \(Y\) также увеличивается. \item \(\rho(X, Y) = -1\): Случайные величины \(X\) и \(Y\) имеют полную отрицательную линейную зависимость. Если \(X\) увеличивается, \(Y\) уменьшается. \item \(\rho(X, Y) = 0\): Случайные величины \(X\) и \(Y\) не имеют линейной зависимости. Это не означает, что они независимы, так как могут быть другие (нелинейные) зависимости. \item \(0 < \rho(X, Y) < 1\): Случайные величины \(X\) и \(Y\) имеют положительную линейную зависимость. Чем ближе \(\rho\) к 1, тем сильнее положительная зависимость. \item \(-1 < \rho(X, Y) < 0\): Случайные величины \(X\) и \(Y\) имеют отрицательную линейную зависимость. Чем ближе \(\rho\) к -1, тем сильнее отрицательная зависимость. \end{itemize} \section{Что понимают под ковариационной матрицей n-мерного случайного вектора? Сформулируйте основные свойства ковариационной матрицы.} \subsection{Определение} Матрицей ковариаций (ковариационной матрицей) случайного вектора \(\vec{X}\) называют матрицу \(\Sigma = (\sigma_{ij})\), состоящую из ковариаций случайных величин \(X_i\) и \(X_j\). \subsection{Свойства ковариационной матрицы} Ковариационная матрица обладает следующими свойствами: \begin{enumerate} \item Матрица ковариаций \(\Sigma\) является симметрической. \item Если случайный вектор \(\vec{Y} = \vec{X} + \vec{c}\), то \(\Sigma_{\vec{Y}} = B^T \Sigma_{\vec{X}} B\), где \(\Sigma_{\vec{Y}}\) и \(\Sigma_{\vec{X}}\) — матрицы ковариаций случайных векторов \(\vec{Y}\) и \(\vec{X}\) соответственно. \item Матрица ковариаций \(\Sigma\) является неотрицательно определённой. \end{enumerate} \section{Сходимость последовательности случайных величин} \subsection{Определение} Если последовательность \(X_1, X_2, \ldots, X_n, \ldots\) случайных величин для любого \(\varepsilon > 0\) удовлетворяет условию \[ \lim_{n \to \infty} P\{|X_n - X| \geq \varepsilon\} = 0, \] то говорят о сходимости этой последовательности к \(X\) по вероятности и обозначают \(X_n \xrightarrow{P} X\). \subsection{Определение сходимости к нулю по вероятности} Если последовательность \(X_1, X_2, \ldots, X_n, \ldots\) случайных величин удовлетворяет условию \[ P\left( \lim_{n \to \infty} X_n = 0 \right) = 1, \] то говорят о сходимости этой последовательности к \(0\) с вероятностью 1 или почти наверное и обозначают \[ X_n \xrightarrow{a.s.} 0. \] \subsection{Определение слабой сходимости} Последовательность функций распределений \(F_1(x), \ldots, F_n(x), \ldots\) сходится к предельной функции распределения \(F(x)\), если \[ \lim_{n \to \infty} F_n(x) = F(x), \] для любых \(x\), являющихся точками непрерывности \(F(x)\). Такую сходимость называют слабой сходимостью последовательности функций распределения и обозначают \[ F_n(x) \xrightarrow{w} F(x). \] \section{Что понимают под законом больших чисел и что является его основным содержанием?} \subsection{Теорема (Закон больших чисел)} Если последовательность \(X_1, X_2, \ldots, X_n, \ldots\) независимых случайных величин такова, что существуют \(M X_i = m_i\) и \(D X_i = \sigma_i^2\), причём дисперсии \(\sigma_i^2\) ограничены в совокупности (т.е. \(\sigma_i^2 \leq C < +\infty\)), то для последовательности \[ \frac{1}{n} \sum_{i=1}^{n} X_i \] выполнен закон больших чисел. При этом говорят также, что к последовательности \(X_1, X_2, \ldots, X_n, \ldots\) случайных величин применим закон больших чисел в форме Чебышева. \subsection{Определение закона больших чисел} Последовательность \(X_1, X_2, \ldots, X_n, \ldots\) случайных величин удовлетворяет закону больших чисел (слабому), если для любого \(\varepsilon > 0\) \[ P \left( \left| \frac{1}{n} \sum_{i=1}^{n} X_i - \frac{1}{n} \sum_{i=1}^{n} m_i \right| \geq \varepsilon \right) \xrightarrow{n \to \infty} 0. \] Иными словами, выполнение закона больших чисел отражает предельную устойчивость средних арифметических случайных величин: при большом числе испытаний они практически перестают быть случайными и совпадают со своими средними значениями. \section{Сформулируйте теоремы о I-ом и II-ом неравенстве Чебышева.} \subsection{Первое неравенство Чебышева} Для каждой неотрицательной случайной величины \(X\), имеющей математическое ожидание \(M X\), при любом \(\varepsilon > 0\) справедливо соотношение \[ P\{X \geq \varepsilon\} \leq \frac{M X}{\varepsilon}, \] называемое первым неравенством Чебышева. \subsection{Второе неравенство Чебышева} Для каждой случайной величины \(X\), имеющей дисперсию \(D X = \sigma^2\), при любом \(\varepsilon > 0\) справедливо второе неравенство Чебышева \[ P\{|X - M X| \geq \varepsilon\} \leq \frac{\sigma^2}{\varepsilon^2}. \] \section{Сформулируйте теорему Чебышева и Бернулли.} \subsection{Теорема Чебышева} Если последовательность \(X_1, X_2, \ldots, X_n, \ldots\) независимых случайных величин такова, что существуют \(M X_i = m_i\) и \(D X_i = \sigma_i^2\), причём дисперсии \(\sigma_i^2\) ограничены в совокупности (т.е. \(\sigma_i^2 \leq C < +\infty\)), то для последовательности \[ \frac{1}{n} \sum_{i=1}^{n} X_i \] выполнен закон больших чисел. \subsection{Теорема Бернулли} Пусть проводится \(n\) испытаний по схеме Бернулли и \(Y_n\) — общее число успехов в \(n\) испытаниях. Тогда наблюдаемая частота успехов \(r_n = \frac{Y_n}{n}\) сходится по вероятности к вероятности \(p\) успеха в одном испытании, т.е. для любого \(\varepsilon > 0\) \[ P\left\{ \left| r_n - p \right| \geq \varepsilon \right\} \xrightarrow{n \to \infty} 0. \] \section{Сформулируйте центральную предельную теорему (частный случай) и теорему Муавра-Лапласа.} \subsection{Центральная предельная теорема (частный случай)} Пусть \(X_1, X_2, \ldots, X_n, \ldots\) — последовательность независимых одинаково распределённых случайных величин, \(M X_n = m\), \(D X_n = \sigma^2\). Тогда \[ P \left( \frac{S_n - n m}{\sqrt{n \sigma^2}} < x \right) \xrightarrow{n \to \infty} \Phi(x), \] где \(\Phi(x)\) — функция стандартного нормального распределения. \subsection{Теорема Муавра-Лапласа} Следствием из центральной предельной теоремы является интегральная теорема Муавра-Лапласа. Пусть \(S_n\) — суммарное число успехов в \(n\) испытаниях по схеме Бернулли с вероятностью успеха \(p\) и вероятностью неудачи \(q = 1 - p\). Тогда с ростом \(n\) последовательность функций распределения случайных величин \[ \frac{S_n - n p}{\sqrt{n p q}} \xrightarrow{n \to \infty} \Phi(x), \] где \(\Phi(x)\) — функция стандартного нормального распределения. \section{Сформулируйте основную задачу математической статистики.} Основная задача математической статистики — разработка методов получения научно обоснованных выводов о массовых явлениях и процессах по данным наблюдений или экспериментов. Эти выводы относятся не к отдельным экспериментам, а представляют собой утверждения о вероятностных характеристиках изучаемого процесса. \section{Что называют (а): случайной выборкой; (б): выборкой? Дайте определение выборочного пространства.} \subsection{Определение случайной выборки} Совокупность независимых случайных величин \(X_1, \ldots, X_n\), каждая из которых имеет то же распределение, что и случайная величина \(X\), будем называть случайной выборкой из генеральной совокупности \(X\) и записывать \(\vec{X}_n = (X_1, \ldots, X_n)\). При этом число \(n\) называют объёмом случайной выборки, а случайные величины \(X_i\) — элементами случайной выборки. \subsection{Определение выборки} Любое возможное значение \(\vec{x}_n = (x_1, \ldots, x_n)\) случайной выборки \(\vec{X}_n\) будем называть выборкой из генеральной совокупности \(X\) (также реализацией случайной выборки \(\vec{X}_n\)). Число \(n\) характеризует объём выборки, а числа \(x_i\), \(i = 1, \ldots, n\), представляют собой элементы выборки \(\vec{x}_n\). \subsection{Определение выборочного пространства} Множество возможных значений \(\vec{X}_n \in \mathbb{R}^n\) случайной выборки \(\vec{X}_n\) называют выборочным пространством. \section{Что называют (а): статистикой; (б): выборочным законом распределения?} \subsection{Определение статистики} Любую функцию \(g(\vec{X}_n)\) от случайной выборки \(\vec{X}_n\) называют статистикой или выборочной характеристикой, а её закон распределения — выборочным законом распределения. \section{Дайте определение выборочного начального момента k-го порядка. Как принято называть начальный момент первого порядка?} \subsection{Определение} Пусть \(\vec{X}_n\) — случайная выборка из генеральной совокупности с функцией распределения \(F(x)\) (и плотностью распределения \(f(x)\) в случае непрерывной статистической модели). Выборочную характеристику \[ \hat{\mu}_k(\vec{X}_n) = \frac{1}{n} \sum_{i=1}^{n} X_i^k \] называют выборочным начальным моментом \(k\)-го порядка. \subsection{Начальный момент первого порядка} Выборочный начальный момент 1-го порядка называют также выборочным средним и обозначают \(\bar{X} = \hat{\mu}_1(\vec{X}_n)\). \section{Сформулируйте задачу точечного оценивания. Какая основная проблема возникает при её решении?} \subsection{Определение} Точечной оценкой параметра \(\theta \in \Theta\) назовём любую статистику \(\hat{\theta}(\vec{X}_n)\), выборочное значение которой \(\hat{\theta}(\vec{x}_n)\) можно было бы считать приближённым значением параметра \(\theta\). \subsection{Пример} В частности, если \(\theta = M X\), то в качестве точечной оценки \(\hat{\theta}(\vec{X}_n)\) можно предложить выборочное среднее \[ \bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i, \] или медиану \[ \tilde{X} = \begin{cases} X_{\frac{n+1}{2}}, & n = 2k+1, \\ \frac{1}{2}(X_{\frac{n}{2}} + X_{\frac{n}{2}+1}), & n = 2k. \end{cases} \] Таким образом, возникает проблема выбора наилучшей в каком-то смысле оценки \(\hat{\theta}(\vec{X}_n)\) для параметра \(\theta\), построенной по данным случайной выборки \(\vec{X}_n\). \section{Дайте определение несмещённой статистики. Примеры смещённых и несмещённых точечных оценок.} \subsection{Определение} Статистику \(\hat{\theta}(\vec{X}_n)\) называют несмещённой оценкой параметра \(\theta\), если её математическое ожидание совпадает с \(\theta\), т.е. \(M \hat{\theta}(\vec{X}_n) = \theta\) для любого фиксированного \(n\). \subsection{Пример несмещённой оценки} Выборочное среднее \(\bar{X}\) является несмещённой оценкой для математического ожидания случайной величины \(X\). Действительно, согласно определению случайной выборки \(M X_k = M X\), \(\forall k = 1, \ldots, n\). Тогда, в силу свойств математического ожидания, имеем \[ M \bar{X} = M \left( \frac{1}{n} \sum_{i=1}^{n} X_i \right) = \frac{1}{n} \sum_{i=1}^{n} M X_i = M X. \] \subsection{Пример смещённой оценки} Можно показать, что выборочная дисперсия является смещённой оценкой дисперсии \(D X\). \section{Дайте определение эффективной статистики. Примеры эффективных оценок.} \subsection{Определение} Если в некотором классе несмещённых оценок параметра \(\theta\), имеющих конечную дисперсию, существует такая оценка \(\hat{\theta}(\vec{X}_n)\), что для всех остальных оценок \(\tilde{\theta}(\vec{X}_n)\) из данного класса выполняется неравенство \[ D \hat{\theta}(\vec{X}_n) < D \tilde{\theta}(\vec{X}_n), \] то оценку \(\hat{\theta}(\vec{X}_n)\) называют эффективной в данном классе оценок. \subsection{Пример эффективной оценки} Эффективную оценку в классе всех несмещённых оценок называют также оптимальной. \section{Дайте определение состоятельной статистики. Примеры состоятельных и несостоятельных оценок.} \subsection{Определение} Статистику \(\hat{\theta}(\vec{X}_n)\) называют состоятельной оценкой параметра \(\theta\), если для любого \(\varepsilon > 0\) \[ P\left( |\hat{\theta}(\vec{X}_n) - \theta| \geq \varepsilon \right) \xrightarrow{n \to \infty} 0. \] \subsection{Пример состоятельной оценки} Выборочное среднее \(\bar{X}\) является состоятельной оценкой для математического ожидания случайной величины \(X\). \subsection{Пример несостоятельной оценки} Если выборочное среднее \(\bar{X}\) по какой-то причине не сходится к математическому ожиданию \(X\) при увеличении объёма выборки \(n\), то оно не является состоятельной оценкой. \section{Сформулируйте теорему Рао (скалярный случай). Показатель эффективности по Рао.} \subsection{Теорема Рао (скалярный случай)} Пусть \(X_1, X_2, \ldots, X_n\) — случайная выборка из генеральной совокупности с плотностью распределения \(f(x; \theta)\), где \(\theta\) — неизвестный параметр. Тогда информация Фишера \(I(\theta)\) определяется как \[ I(\theta) = -E\left[ \frac{\partial^2 \ln f(X; \theta)}{\partial \theta^2} \right]. \] \subsection{Показатель эффективности по Рао} Для несмещённой оценки \(\hat{\theta}\) параметра \(\theta\) дисперсия удовлетворяет неравенству Рао-Крамера: \[ D \hat{\theta} \geq \frac{1}{I(\theta)}. \] Несмещённая оценка, достигающая этого нижнего предела, называется эффективной по Рао-Крамеру. \section{Изложите идею метода максимального правдоподобия построения точечных оценок параметров законов распределения дискретных случайных величин.} \subsection{Определение функции правдоподобия} Функцией правдоподобия называют функцию следующего вида \[ L(X_1, \ldots, X_n, \theta) = \prod_{i=1}^{n} p(X_i, \theta), \] где \(p(X_i, \theta) = P(X_i = x_i)\) если \(X\) — дискретная случайная величина и \(p(X_i, \theta) = f(X_i, \theta)\) если \(X\) — непрерывная случайная величина. \subsection{Определение оценки максимального правдоподобия} Оценкой максимального правдоподобия параметра \(\theta\) называют статистику \(\hat{\theta}(\vec{X}_n)\), значения \(\hat{\theta}\) которой для любой выборки \(\vec{x}_n\) удовлетворяют условию \[ L(\vec{x}_n, \hat{\theta}) = \max_{\theta \in \Theta} L(\vec{x}_n, \theta), \] т.е. функция правдоподобия, как функция аргумента \(\theta\), достигает максимума. \subsection{Уравнения правдоподобия} Для нахождения оценки максимального правдоподобия решают уравнения правдоподобия: \[ \frac{\partial \ln L(\vec{X}_n, \theta)}{\partial \theta_k} = 0, \quad k = 1, \ldots, r. \] \section{Что называют интервальной оценкой и с чем связана необходимость ее построения?} \subsection{Определение} Пусть для параметра \(\theta\) построен интервал \((\hat{\theta}_1(\vec{X}_n), \hat{\theta}_2(\vec{X}_n))\), где \(\hat{\theta}_1(\vec{X}_n)\) и \(\hat{\theta}_2(\vec{X}_n)\) — пара статистик случайной выборки \(\vec{X}_n\), такой, что выполняется равенство \[ P\{\hat{\theta}_1(\vec{X}_n) < \theta < \hat{\theta}_2(\vec{X}_n)\} = \gamma. \] Тогда интервал \((\hat{\theta}_1(\vec{X}_n), \hat{\theta}_2(\vec{X}_n))\) называют интервальной оценкой для параметра \(\theta\) с коэффициентом доверия \(\gamma\) или \(\gamma\)-доверительной интервальной оценкой, а \(\hat{\theta}_1(\vec{X}_n)\) и \(\hat{\theta}_2(\vec{X}_n)\) — соответственно нижней и верхней границами интервальной оценки. \section{Как определяется вероятность совершения ошибки при построении \(\gamma\)-доверительного интервала и что представляет собой вероятностные характеристики качества интервальной оценки?} \subsection{Определение ошибки} Вероятность \(\alpha\) совершения ошибки при нахождении интервальной оценки параметра \(\theta\) с коэффициентом доверия \(\gamma\), очевидно, равна \(\alpha = 1 - \gamma\), т.е. \[ \alpha = P\{\theta \notin (\hat{\theta}_1(\vec{X}_n), \hat{\theta}_2(\vec{X}_n))\}. \] \subsection{Вероятностные характеристики точности оценивания} Вероятностной характеристикой точности оценивания параметра \(\theta\) является случайная величина \[ I(\vec{X}_n) = \hat{\theta}_2(\vec{X}_n) - \hat{\theta}_1(\vec{X}_n), \] которая для любой реализации \(\vec{x}_n\) случайной выборки \(\vec{X}_n\) есть длина интервала \((\hat{\theta}_1(\vec{x}_n), \hat{\theta}_2(\vec{x}_n))\). Если \(P\{\hat{\theta}_1(\vec{X}_n) < \theta\} = \gamma\) или \(P\{\theta < \hat{\theta}_2(\vec{X}_n)\} = \gamma\), то статистики \(\hat{\theta}_1(\vec{X}_n)\) и \(\hat{\theta}_2(\vec{X}_n)\) называют соответственно односторонней нижней и односторонней верхней \(\gamma\)-доверительными границами для параметра \(\theta\). \section{Дайте определение центральной статистики.} \subsection{Определение} Статистику \(g(\vec{X}_n, \theta)\) называют центральной, если ее закон распределения не зависит от \(\theta\), т.е. функция распределения вероятностей \(F_{g(t)} = P\{g(\vec{X}_n, \theta) < t\}\) не зависит от \(\theta\). \section{Сформулируйте задачу построения интервальной оценки и изложите принципиальную схему ее решения.} Для упрощения дальнейших рассуждений будем предполагать, что для любой реализации \(\vec{x}_n\) случайной выборки \(\vec{X}_n\) выполнены следующие допущения: \begin{enumerate} \item Функция распределения \(F_g(t)\) центральной статистики \(g(\vec{X}_n, \theta)\) является непрерывной и возрастающей. \item Заданы положительные числа \(\alpha_1\) и \(\alpha_2\) такие, что \(\alpha = \alpha_1 + \alpha_2\). Коэффициент доверия \(\gamma = 1 - \alpha = 1 - (\alpha_1 + \alpha_2)\). \item Для любой выборки \(\vec{X}_n\) из генеральной совокупности \(X\) функция \(g(\vec{x}_n, \theta)\) является непрерывной и возрастающей (убывающей) функцией по \(\theta \in \Theta\). \end{enumerate} Согласно допущению 1, для любого \(q \in (0, 1)\) существует единственный корень \(h_q\) уравнения \(F_g(t) = q\), который называется квантилью уровня \(q\) функции распределения \(F_g(t)\) случайной величины \(g(\vec{X}_n, \theta)\). Таким образом, согласно допущению 2, имеют место равенства \(1 - \alpha_2 - \alpha_1 = \gamma = F_g(h_{1 - \alpha_2}) - F_g(h_{\alpha_1}) = P\{h_{\alpha_1} < g(\vec{X}_n, \theta) < h_{1 - \alpha_2}\}\), которые справедливы для любых возможных значений параметра \(\theta\). Согласно допущению 3 (для определенности будем считать, что функция \(g(\vec{X}_n, \theta)\) является возрастающей) для каждой реализации \(\vec{x}_n\) случайной выборки \(\vec{X}_n\) каждое из уравнений \(g(\vec{x}_n, \theta) = h_{\alpha_1}\) и \(g(\vec{x}_n, \theta) = h_{1 - \alpha_2}\) имеют единственное решение \(\hat{\theta}_1(\vec{x}_n)\) и \(\hat{\theta}_2(\vec{x}_n)\) соответственно. При этом \(h_{\alpha_1} < g(\vec{X}_n, \theta) < h_{1 - \alpha_2} \Leftrightarrow \hat{\theta}_1(\vec{X}_n) < \theta < \hat{\theta}_2(\vec{X}_n)\) для любой реализации \(\vec{x}_n\) случайной выборки \(\vec{X}_n\). Таким образом, с учетом сказанного выше, имеем: \[ \gamma = 1 - \alpha_1 - \alpha_2 = P\{h_{\alpha_1} < g(\vec{X}_n, \theta) < h_{1 - \alpha_2}\} = P\{\hat{\theta}_1(\vec{X}_n) < \theta < \hat{\theta}_2(\vec{X}_n)\} \] и \((\hat{\theta}_1(\vec{X}_n), \hat{\theta}_2(\vec{X}_n))\) — искомая интервальная оценка. \section{Пусть \(X(\omega) \equiv N(m, \sigma^2)\). Сформулируйте и приведите решение задачи (т.е. укажите вид полученного доверительного интервала) построения интервальной оценки для параметра \(m\) при известном значении параметра \(\sigma^2\).} \subsection{Построение доверительного интервала при известном значении \(\sigma^2\)} Пусть \(\vec{X}_n = (X_1, \ldots, X_n)\) — случайная выборка объема \(n\) из генеральной совокупности \(X\), распределенной по нормальному закону с параметрами \(m\) и \(\sigma^2\) известна. Рассмотрим статистику \[ g(\vec{X}_n, m) = \frac{m - \bar{X}}{\sigma / \sqrt{n}}, \] которая является неубывающей по параметру \(m\). Согласно определению случайной выборки случайные величины \(X_k, \, k = 1, \ldots, n,\) являются независимыми и \(X_k \sim N(m, \sigma^2)\). Поэтому \[ M g(\vec{X}_n, m) = M \left( \frac{\sqrt{n}}{\sigma} (m - \bar{X}) \right) = \frac{\sqrt{n}}{\sigma} M (m - \bar{X}) = 0, \] \[ D g(\vec{X}_n, m) = \frac{n}{\sigma^2} D (m - \bar{X}) = \frac{n}{\sigma^2} \left( D m - \frac{1}{n} \sum_{i=1}^{n} D X_i \right) = 1. \] Поскольку можно доказать, что линейная комбинация независимых нормально распределенных случайных величин есть нормальная случайная величина, то \(g(\vec{X}_n, m) \sim N(0, 1)\) и является центральной. Тогда \[ u_{\alpha_1} = g(\vec{X}_n, m(\vec{X}_n)) = \frac{\sqrt{n}}{\sigma} (m(\vec{X}_n) - \bar{X}) \Rightarrow m(\vec{X}_n) = \bar{X} + \frac{\sigma}{\sqrt{n}} u_{\alpha_1}, \] \[ u_{1 - \alpha_2} = g(\vec{X}_n, m(\vec{X}_n)) = \frac{\sqrt{n}}{\sigma} (m(\vec{X}_n) - \bar{X}) \Rightarrow m(\vec{X}_n) = \bar{X} + \frac{\sigma}{\sqrt{n}} u_{1 - \alpha_2}, \] где \(u_q\) — квантиль уровня \(q\) стандартного нормального распределения. В практических задачах полезно знать, что \(u_q = -u_{1 - q}\). \section{Пусть \(X(\omega) \equiv N(m, \sigma^2)\). Сформулируйте и приведите решение задачи (т.е. укажите вид полученного доверительного интервала) построения интервальной оценки для параметра \(m\) при неизвестном значении параметра \(\sigma^2\).} \subsection{Построение доверительного интервала при неизвестном значении \(\sigma^2\)} Пусть \(\vec{X}_n = (X_1, \ldots, X_n)\) — случайная выборка объема \(n\) из генеральной совокупности \(X\), распределенной по нормальному закону с параметрами \(m\) и \(\sigma^2\) неизвестна. Требуется построить доверительный интервал для неизвестного математического ожидания \(m\). Рассмотрим статистику \[ g(\vec{X}_n, m) = \frac{m - \bar{X}}{S(\vec{X}_n) / \sqrt{n}}. \] Данная статистика является центральной и распределена по закону Стьюдента с \(n - 1\) степенью свободы. Аналогично предыдущему случаю получаем следующие выражения для нижней и верхней границ доверительного интервала \[ \hat{m}(\vec{X}_n) = \bar{X} - \frac{S(\vec{X}_n)}{\sqrt{n}} t_{1 - \alpha_2}(n - 1), \] \[ \hat{m}(\vec{X}_n) = \bar{X} + \frac{S(\vec{X}_n)}{\sqrt{n}} t_{\alpha_1}(n - 1), \] где \(t_q(n)\) — квантиль уровня \(q\) распределения Стьюдента с \(n - 1\) степенью свободы и учтено, что \(t_{\alpha_1}(n) = -t_{1 - \alpha_2}(n - 1)\). \section{Пусть \(X(\omega) \equiv N(m, \sigma^2)\). Сформулируйте и приведите решение задачи (т.е. укажите вид полученного доверительного интервала) построения интервальной оценки для параметра \(\sigma^2\) при неизвестном значении параметра \(m\).} \subsection{Построение доверительного интервала для \(\sigma^2\)} Пусть \(\vec{X}_n = (X_1, \ldots, X_n)\) — случайная выборка объема \(n\) из генеральной совокупности \(X\), распределенной по нормальному закону с неизвестными параметрами \(m\) и \(\sigma^2\). Требуется построить доверительный интервал для среднего квадратичного отклонения \(\sigma\). Рассмотрим статистику \[ g(\vec{X}_n, \sigma) = \frac{(n - 1) S^2(\vec{X}_n)}{\sigma^2}. \] Данная статистика имеет \(\chi^2\)-распределение с \(n - 1\) степенью свободы и, как следствие, является центральной. Приведенная статистика является убывающей функцией параметра \(\sigma\). Поэтому получаем следующее выражение для нижней и верхней границ доверительного интервала: \[ \sigma(\vec{X}_n) = S(\vec{X}_n) \sqrt{\frac{(n - 1)}{\chi^2_{1 - \alpha_2}(n - 1)}}, \] \[ \sigma(\vec{X}_n) = S(\vec{X}_n) \sqrt{\frac{(n - 1)}{\chi^2_{\alpha_1}(n - 1)}}, \] где \(\chi^2_q(n - 1)\) — квантиль уровня \(q\) для \(\chi^2\)-распределения с \(n - 1\) степенью свободы. \end{document}