Teorie pravděpodobnosti se zabývá studiem náhodných událostí, jevů, náhodných veličin a zákonitostmi, které pro ně platí. Zkoumá metody výpočtu pravděpodobností, problémy stochastické závislosti a nezávislosti, problémy náhodných procesů probíhajících v čase apod.
Definice: Náhodný jev je vlastnost nebo systém vlastností prvků nějakého základního souboru Z. Má-li prvek x Î Z vlastnost A, řekneme, že při pozorování tohoto prvku x nastává jev A. Různým vymezením vlastností prvků základního souboru Z získáváme systém náhodných jevů, který tvoří jevové pole (v moderním pojetí tzv. s-algebru jevů). Do jevového pole patří vždy jev nemožný (odpovídá vlastnosti, kterou nevykazuje žádný prvek základního souboru) a jev jistý (odpovídá vlastnosti, kterou naopak mají všechny prvky základního souboru).
Definice: Náhodný pokus je jakákoliv procedura, která se uskutečňuje za určitého systému Y podmínek, a jejíž realizace za tohoto systému podmínek může být - alespoň potenciálně nekonečně - opakována. Označme symbolem W množinu všech možných výsledků náhodného pokusu. Určité podmnožiny množiny W výsledků náhodných pokusů - totiž ty, při kterých si všímáme pouze jedné vlastnosti A - tvoří pak náhodné jevy z předchozí definice.
Poznámka: Je důležité si uvědomit, že systém Y podmínek neurčuje jednoznačně výsledek náhodného pokusu, ale rozložení pravděpodobnosti na množině všech možných výsledků (viz dále).
Sám pojem pravděpodobnost je definován různě; v minulosti bylo navrženo několik způsobů definice pravděpodobnosti podle záměru použití pravděpodobnosti (klasická pravděpodobnost, statistická pravděpodobnost, geometrická pravděpodobnost a jiné). Tyto definice však především nepokrývaly celou oblast náhodných jevů, nebo byly nepřesné a dokonce logicky sporné. V současné době se používá axiomatická definice pravděpodobnosti.
Historicky nejstarší pokus o definici pravděpodobnosti, definice klasické pravděpodobnosti, převádí problém na pojem stejné možnosti výskytu dvou jevů, ten považuje za základní a dále ho nezkoumá. Předpokládá, že výsledkem náhodného pokusu (generujícího stav jevu A) může být jen konečně mnoho - např. n - stejně pravděpodobných elementárních stavů (viz házení kostkou). Zavádí pojem příznivého stavu jevu A; všech příznivých stavů (označme jejich počet m) není rozhodně více než n, nemusí však být žádný. Pravděpodobnost p(A) jevu A pak definuje jako podíl počtu příznivých stavů a počtu všech stavů:
p(A)=m/n.
Klasické pojetí pravděpodobnosti je dodnes nejčastěji používané pro řešení rozsáhlé řady úloh především z oblasti technických a přírodních věd. Nedává však návod, jak postupovat při nesplnění podmínky stejné možnosti výskytu dvou jevů.
Jedním z prvních pokusů o rozšíření klasické teorie pravděpodobnosti i na případ nekonečné množiny elementárních stavů je zavedení geometrické pravděpodobnosti. Základní myšlenka, která dala takto chápané pravděpodobnosti název, je tato: Mějme nějakou oblast (např. v rovině) G a v ní jako její podmnožinu jinou oblast g. Vybíráme náhodně z oblasti G bod a zkoumáme, s jakou pravděpodobností p patří tento bod i do oblasti g. V geometrickém pojetí pravděpodobnosti se tato pravděpodobnost p klade rovna hodnotě
p = m(g)/m(G)
kde m je míra oblasti - v rovině např. plošný obsah.
Geometrické pojetí pravděpodobnosti řeší úspěšně řadu úloh, postupem času však byla ukázána nemožnost jeho obecné aplikace.
Nechť je W neprázdná množina elementárních stavů nějakého jevu. Označme L neprázdný systém podmnožin množiny W a symboly A, B resp. Ai libovolné prvky množiny L (A, B resp. Ai jsou tedy libovolné podmnožiny množiny W). Nechť L splňuje tyto podmínky:
Č Ai Î L pro i = 1, 2, ..., Ą
W - Ai Î L
Pak se L nazývá jevové pole, s-algebra jevů nebo také pole náhodných jevů.
Nechť je nad W dáno jevové pole L. Nechť je na L definována reálná množinová funkce P(A) taková, že platí
P(A) ł 0
P(W) = 1
Jsou-li A a B disjunktní, je P(A Č B) = P(A) + P(B)
Pak se číslo P(A) nazývá pravděpodobnost jevu A.
Z definice pravděpodobnosti podané předchozím odstavcem plyne (symbol Ø označuje prázdnou množinu):
Je-li A Ě B, je P(A) Ł P(B)
Je-li A Ě B, je P(B-A) = P(B) - P(A)
P(W-A) = 1 - P(A)
P(Ø) = 0
0 Ł P(A) Ł 1