[spec] clean up
[notes.git] / spec / statistics.tex
index 0b6f4ce416680b27d9f2e5c8b673b6c19a035e10..d7e772321995d2f0757d5872269c7a9ddde2a420 100644 (file)
@@ -1,33 +1,7 @@
-\documentclass[a4paper]{article}
-\usepackage[a4paper, margin=2cm]{geometry}
-\usepackage{array}
-\usepackage{amsmath}
-\usepackage{amssymb}
-\usepackage{tcolorbox}
-\usepackage{fancyhdr}
-\usepackage{pgfplots}
-\usepackage{tabularx}
-\usepackage{keystroke}
-\usepackage{listings}
-\usepackage{xcolor} % used only to show the phantomed stuff
-\definecolor{cas}{HTML}{e6f0fe}
-\usepackage{mathtools}
-\pgfplotsset{compat=1.16}
-
-\pagestyle{fancy}
-\fancyhead[LO,LE]{Unit 4 Specialist --- Statistics}
-\fancyhead[CO,CE]{Andrew Lorimer}
-
-\setlength\parindent{0pt}
-
+\documentclass[spec-collated.tex]{subfiles}
 \begin{document}
 
-  \title{Statistics}
-  \author{}
-  \date{}
-  \maketitle
-
-  \section{Linear combinations of random variables}
+  \section{Statistics}
 
   \subsection*{Continuous random variables}
 
     \item \(\int^\infty_{-\infty} f(x) \> dx = 1\)
   \end{enumerate}
 
+  \begin{align*}
+    E(X) &= \int_\textbf{X} (x \cdot f(x)) \> dx \\
+    \operatorname{Var}(X) &= E\left[(X-\mu)^2\right]
+  \end{align*}
+
   \[ \Pr(X \le c) = \int^c_{-\infty} f(x) \> dx \]
+  
+
+  \subsection*{Two random variables \(X, Y\)}
+
+  If \(X\) and \(Y\) are independent:
+  \begin{align*}
+    \operatorname{E}(aX+bY) & = a\operatorname{E}(X)+b\operatorname{E}(Y) \\
+    \operatorname{Var}(aX \pm bY \pm c) &= a^2 \operatorname{Var}(X) + b^2 \operatorname{Var}(Y)
+  \end{align*}
 
-  \subsubsection*{Linear functions \(X \rightarrow aX+b\)}
+  \subsection*{Linear functions \(X \rightarrow aX+b\)}
 
   \begin{align*}
     \Pr(Y \le y) &= \Pr(aX+b \le y) \\
     \textbf{Variance:} && \operatorname{Var}(aX+b) &= a^2 \operatorname{Var}(X) \\
   \end{align*}
 
-  \subsection*{Linear combination of two random variables}
+  \subsection*{Expectation theorems}
+
+  For some non-linear function \(g\), the expected value \(E(g(X))\) is not equal to \(g(E(X))\).
 
   \begin{align*}
-    \textbf{Mean:} && \operatorname{E}(aX+bY) & = a\operatorname{E}(X)+b\operatorname{E}(Y) \\
-    \textbf{Variance:} && \operatorname{Var}(aX+bY) &= a^2 \operatorname{Var}(X) + b^2 \operatorname{Var}(Y) \tag{if \(X\) and \(Y\) are independent}\\
+    E(X^2) &= \operatorname{Var}(X) - \left[E(X)\right]^2 \\
+    E(X^n) &= \Sigma x^n \cdot p(x) \tag{non-linear} \\
+    &\ne [E(X)]^n \\
+    E(aX \pm b) &= aE(X) \pm b \tag{linear} \\
+    E(b) &= b \tag{\(\forall b \in \mathbb{R}\)}\\
+    E(X+Y) &= E(X) + E(Y) \tag{two variables}
   \end{align*}
 
-  \section{Sample mean}
+  \subsection*{Sample mean}
 
   Approximation of the \textbf{population mean} determined experimentally.
 
   \[ \overline{x} = \dfrac{\Sigma x}{n} \]
 
-  where \(n\) is the size of the sample (number of sample points) and \(x\) is the value of a sample point
-
-  \begin{tcolorbox}[colframe=cas!75!black, title=On CAS]
+  where
+  \begin{description}[nosep, labelindent=0.5cm]
+    \item \(n\) is the size of the sample (number of sample points)
+    \item \(x\) is the value of a sample point
+  \end{description}
 
-  \begin{enumerate}
+\begin{cas}
+  \begin{enumerate}[leftmargin=3mm]
     \item Spreadsheet
-    \item In cell A1: \verb;mean(randNorm(sd, mean, sample size));
+    \item In cell A1:\\ \path{mean(randNorm(sd, mean, sample size))}
     \item Edit \(\rightarrow\) Fill \(\rightarrow\) Fill Range
     \item Input range as A1:An where \(n\) is the number of samples
     \item Graph \(\rightarrow\) Histogram
   \end{enumerate}
-  \end{tcolorbox}
+  \end{cas}
 
   \subsubsection*{Sample size of \(n\)}
 
 
   Sample mean is distributed with mean \(\mu\) and sd \(\frac{\sigma}{\sqrt{n}}\) (approaches these values for increasing sample size \(n\)).
 
-  \begin{tcolorbox}[colframe=cas!75!black, title=On CAS]
+  For a new distribution with mean of \(n\) trials, \(\operatorname{E}(X^\prime) = \operatorname{E}(X), \quad \operatorname{sd}(X^\prime) = \dfrac{\operatorname{sd}(X)}{\sqrt{n}}\)
+
+  \begin{cas}
   
     \begin{itemize}
       \item Spreadsheet \(\rightarrow\) Catalog \(\rightarrow\) \verb;randNorm(sd, mean, n); where \verb;n; is the number of samples. Show histogram with Histogram key in top left
       \item To calculate parameters of a dataset: Calc \(\rightarrow\) One-variable
     \end{itemize}
-  \end{tcolorbox}
+
+  \end{cas}
   
-  \section{Normal distributions}
+  \subsection*{Normal distributions}
 
-  mean = mode = median
 
   \[ Z = \frac{X - \mu}{\sigma} \]
 
-  Normal distributions must have area (total prob.) of 1 \(\implies \int^\infty_{-\infty} f(x) \> dx = 1\)
+  Normal distributions must have area (total prob.) of 1 \(\implies \int^\infty_{-\infty} f(x) \> dx = 1\) \\
+  \(\text{mean} = \text{mode} = \text{median}\)
+
+  \begin{warning}
+    Always express \(z\) as +ve. Express confidence \textit{interval} as ordered pair.
+  \end{warning}
+
 \pgfmathdeclarefunction{gauss}{2}{%
   \pgfmathparse{1/(#2*sqrt(2*pi))*exp(-((x-#1)^2)/(2*#2^2))}%
 }
-
-{\begin{center} \begin{tikzpicture}
-  \pgfplotsset{set layers}
+                  \pgfplotsset{every axis/.append style={
+                    axis x line=middle,    % put the x axis in the middle
+                    axis y line=middle,    % put the y axis in the middle
+                  }} \pgfkeys{/pgf/decoration/.cd,
+      distance/.initial=10pt
+}  \pgfdeclaredecoration{add dim}{final}{
+\state{final}{% 
+\pgfmathsetmacro{\dist}{5pt*\pgfkeysvalueof{/pgf/decoration/distance}/abs(\pgfkeysvalueof{/pgf/decoration/distance})}    
+          \pgfpathmoveto{\pgfpoint{0pt}{0pt}}             
+          \pgfpathlineto{\pgfpoint{0pt}{2*\dist}}   
+          \pgfpathmoveto{\pgfpoint{\pgfdecoratedpathlength}{0pt}} 
+          \pgfpathlineto{\pgfpoint{(\pgfdecoratedpathlength}{2*\dist}}     
+          \pgfsetarrowsstart{latex}
+          \pgfsetarrowsend{latex}
+          \pgfpathmoveto{\pgfpoint{0pt}{\dist}}
+          \pgfpathlineto{\pgfpoint{\pgfdecoratedpathlength}{\dist}} 
+          \pgfusepath{stroke} 
+          \pgfpathmoveto{\pgfpoint{0pt}{0pt}}
+          \pgfpathlineto{\pgfpoint{\pgfdecoratedpathlength}{0pt}}
+}}
+\tikzset{dim/.style args={#1,#2}{decoration={add dim,distance=#2},
+                decorate,
+                postaction={decorate,decoration={text along path,
+                                                 raise=#2,
+                                                 text align={align=center},
+                                                 text={#1}}}}}
+                  \begin{figure*}[hb]
+                    \centering
+                    {\begin{center} \begin{tikzpicture}
+  \pgfplotsset{set layers, axis x line=middle, axis y line=middle}
 \begin{axis}[every axis plot post/.append style={
   mark=none,domain=-3:3,samples=50,smooth}, 
   axis x line=bottom, 
   every axis y label/.style={at={(axis description cs:-0.02,0.2)}, anchor=south west, rotate=90},
   ylabel={\(\Pr(X=x)\)}]
   \addplot {gauss(0,0.75)};
+\fill[red!30] (-3,0)  -- plot[id=f3,domain=-3:3,samples=50]
+        function {1/(0.75*sqrt(2*pi))*exp(-((x)^2)/(2*0.75^2))} -- (3,0) -- cycle;
+  \fill[darkgray!30] (3,0)  -- plot[id=f3,domain=-3:3,samples=50] function {1/(0.75*sqrt(2*pi))*exp(-x*x*0.5/(0.75*0.75))} -- (3,0) -- cycle;
+  \fill[lightgray!30] (-2,0)  -- plot[id=f3,domain=-2:2,samples=50] function {1/(0.75*sqrt(2*pi))*exp(-x*x*0.5/(0.75*0.75))} -- (2,0) -- cycle;
+  \fill[white!30] (-1,0)  -- plot[id=f3,domain=-1:1,samples=50] function {1/(0.75*sqrt(2*pi))*exp(-x*x*0.5/(0.75*0.75))} -- (1,0) -- cycle;
+  \begin{scope}[<->]
+    \draw (-1,0.35) -- (1,0.35) node [midway, fill=white] {68.3\%};
+    \draw (-2,0.25) -- (2,0.25) node [midway, fill=white] {95.5\%};
+    \draw (-3,0.15) -- (3,0.15) node [midway, fill=white] {99.7\%};
+  \end{scope}
+  \begin{scope}[-, dashed, gray]
+    \draw (-1,0) -- (-1, 0.35);
+    \draw (1,0) -- (1, 0.35);
+    \draw (-2,0) -- (-2, 0.25);
+    \draw (2,0) -- (2, 0.25);
+    \draw (-3,0) -- (-3, 0.15);
+    \draw (3,0) -- (3, 0.15);
+  \end{scope}
 \end{axis}
 \begin{axis}[every axis plot post/.append style={
   mark=none,domain=-3:3,samples=50,smooth}, 
   \addplot {gauss(0,0.75)};
 \end{axis}
 \end{tikzpicture}\end{center}}
+                  \end{figure*}
 
-  \section{Central limit theorem}
+  \subsection*{Central limit theorem}
 
   If \(X\) is randomly distributed with mean \(\mu\) and sd \(\sigma\), then with an adequate sample size \(n\) the distribution of the sample mean \(\overline{X}\) is approximately normal with mean \(E(\overline{X})\) and \(\operatorname{sd}(\overline{X}) = \frac{\sigma}{\sqrt{n}}\).
 
+  \subsection*{Confidence intervals}
+
+  \begin{itemize}
+    \item \textbf{Point estimate:} single-valued estimate of the population mean from the value of the sample mean \(\overline{x}\)
+    \item \textbf{Interval estimate:} confidence interval for population mean \(\mu\)
+    \item \(C\)\% confidence interval \(\implies\) \(C\)\% of samples will contain population mean \(\mu\)
+  \end{itemize}
+
+  \subsubsection*{95\% confidence interval}
+
+  For 95\% c.i. of population mean \(\mu\):
+
+  \[ x \in \left(\overline{x} \pm 1.96 \dfrac{\sigma}{\sqrt{n}} \right)\]
+
+  where:
+  \begin{description}[nosep, labelindent=0.5cm]
+    \item \(\overline{x}\) is the sample mean
+    \item \(\sigma\) is the population sd
+    \item \(n\) is the sample size from which \(\overline{x}\) was calculated
+  \end{description}
+
+  \begin{cas}
+    Menu \(\rightarrow\) Stats \(\rightarrow\) Calc \(\rightarrow\) Interval \\
+    Set \textit{Type = One-Sample Z Int} \\ \-\hspace{1em} and select \textit{Variable}
+  \end{cas}
+
+  \subsection*{Margin of error}
+
+  For 95\% confidence interval of \(\mu\):
+  \begin{align*}
+    M &= 1.96 \times \dfrac{\sigma}{\sqrt{n}} \\
+    \implies n &= \left( \dfrac{1.96 \sigma}{M} \right)^2
+  \end{align*}
+
+  Always round \(n\) up to a whole number of samples.
+
+  \subsection*{General case}
+
+  For \(C\)\% c.i. of population mean \(\mu\):
+
+  \[ x \in \left( \overline{x} \pm k \dfrac{\sigma}{\sqrt{n}} \right) \]
+  \hfill where \(k\) is such that \(\Pr(-k < Z < k) = \frac{C}{100}\)
+
+  \subsection*{Confidence interval for multiple trials}
+
+  For a set of \(n\) confidence intervals (samples), there is \(0.95^n\) chance that all \(n\) intervals contain the population mean \(\mu\).
+
+  \section{Hypothesis testing}
+
+  \begin{warning}
+    Note hypotheses are always expressed in terms of population parameters
+  \end{warning}
+
+  \subsection*{Null hypothesis \(H_0\)}
+
+  Sample drawn from population has same mean as control population, and any difference can be explained by sample variations.
+
+  \subsection*{Alternative hypothesis \(H_1\)}
+
+  Amount of variation from control is significant, despite standard sample variations.
+
+  \subsection*{\(p\)-value}
+
+
+  \begin{align*}
+    p &= \Pr(\overline{X} \lessgtr \mu(H_1)) \\
+    &= 2 \cdot \Pr(\overline{X} <> \mu(H_1) | \mu = 8)
+  \end{align*}
+
+  Probability of observing a value of the sample statistic as significant as the one observed, assuming null hypothesis is true.
+
+  \vspace{0.5em}
+  \begin{tabularx}{23em}{|l|X|}
+    \hline
+    \rowcolor{cas}
+    \(\boldsymbol{p}\) & \textbf{Conclusion} \\
+    \hline
+    \(> 0.05\) & insufficient evidence against \(H_0\) \\
+    \(< 0.05\) (5\%) & good evidence against \(H_0\) \\
+    \(< 0.01\) (1\%) & strong evidence against \(H_0\) \\
+    \(< 0.001\) (0.1\%) & very strong evidence against \(H_0\) \\
+    \hline
+  \end{tabularx}
+
+  \subsection*{Statistical significance}
+
+  Significance level is denoted by \(\alpha\).
+
+  \-\hspace{1em} If \(p<\alpha\), null hypothesis is \textbf{rejected} \\
+  \-\hspace{1em} If \(p>\alpha\), null hypothesis is \textbf{accepted}
+
+  \subsection*{\(z\)-test}
+
+  Hypothesis test for a mean of a sample drawn from a normally distributed population with a known standard deviation.
+
+  \begin{cas}
+  Menu \(\rightarrow\) Statistics \(\rightarrow\) Calc \(\rightarrow\) Test. \\
+  Select \textit{One-Sample Z-Test} and \textit{Variable}, then input:
+    \begin{description}[nosep, style=multiline, labelindent=0.5cm, leftmargin=2cm, font=\normalfont]
+    \item[\(\mu\) cond:] same operator as \(H_1\)
+    \item[\(\mu_0\):] expected sample mean (null hypothesis)
+    \item[\(\sigma\):] standard deviation (null hypothesis)
+    \item[\(\overline{x}\):] sample mean
+    \item[\(n\):] sample size
+  \end{description}
+  \end{cas}
+
+  \subsection*{One-tail and two-tail tests}
+
+  \subsubsection*{One tail}
+
+  \begin{itemize}
+    \item \(\mu\) has changed in one direction
+    \item State ``\(H_1: \mu \lessgtr \) known population mean''
+  \end{itemize}
+
+  \subsubsection*{Two tail}
+
+  \begin{itemize}
+    \item Direction of \(\Delta \mu\) is ambiguous
+    \item State ``\(H_1: \mu \ne\) known population mean''
+  \end{itemize}
+
+  For two tail tests:
+  \begin{align*}
+    p\text{-value} &= \Pr(|\overline{X} - \mu| \ge |\overline{x}_0 - \mu|) \\
+    &= \left( |Z| \ge \left|\dfrac{\overline{x}_0 - \mu}{\sigma \div \sqrt{n}} \right| \right)
+  \end{align*}
+
+  \subsection*{Modulus notation for two tail}
+
+  \(\Pr(|\overline{X} - \mu| \ge a) \implies\) ``the probability that the distance between \(\overline{\mu}\) and \(\mu\) is \(\ge a\)''
+
+  \subsection*{Inverse normal}
+
+  \begin{cas}
+    \verb;invNormCdf("L", ;\(\alpha\)\verb;, ;\(\dfrac{\sigma}{n^\alpha}\)\verb;, ;\(\mu\)\verb;);
+  \end{cas}
+
+  \subsection*{Errors}
+
+  \begin{description}[labelwidth=2.5cm, labelindent=0.5cm]
+    \item [Type I error] \(H_0\) is rejected when it is \textbf{true}
+    \item [Type II error] \(H_0\) is \textbf{not} rejected when it is \textbf{false}
+  \end{description}
+
+% \subsection*{Using c.i. to find \(p\)}
+% need more here
+
 \end{document}