Fiche-Résumé 2 : Cours 6 à 8

Version PDF

Chapitre 6 : Probabilités

Variables aléatoires

  • Si $X, Y$ sont indépendantes, et si ceci a un sens :

    \[V(X+Y) = V(X) + V(Y) \\ E(XY) = E(X)E(Y)\]

  • Cauchy-Schwartz :

    \[E(XY) ≤ \sqrt{E(X^2)}\sqrt{E(Y^2)}\]
Nom de la loi Loi Espérance Variance
Bernoulli : $B(p)$ $P(X=0) = P(X=1) = \frac 1 2$ $E(X) = p$ $V(X) = pq$
Binomiale : $B(n,p)$ $X = \sum_1^n X_i, X_i \rightsquigarrow p \ P(X=k) = \binom{n}{k} p^k q^{n-k}$ $E(X) = np$ $V(X) = npq$
Géométrique : $𝒢(p)$ $P(X=j) = q^{j-1}p$ $E(X) = \frac 1 p$ $V(X) = \frac{q}{p^2}$
Poisson : $𝒫(𝜆)$ $P(X=n) = {\rm e}^{-𝜆} \frac{𝜆^n}{n!}$ $E(X) =𝜆$ $V(X) = 𝜆$

Le problème du collectionneur de coupons

La v.a comptant le nb de boîtes achetées est $\sum_1^N T_i$, où $T_i \leadsto 𝒢\big(1-\frac{(i-1)}{N})$

\[E\left(\sum_1^N T_i\right) = N \sum_1^N \frac{1}{N-(i-1)} \\ = N H_N \sim N \log N\]

Proba d’avoir un dérangement dans $𝕾_n$

$F_i ≝ {𝜎∈𝕾_n \vert 𝜎(i)=i}$ ⟶ $\vert F_I \vert = (n-\vert I \vert)!$

\[\vert \lbrace \text{permutations avec au moins un point fixe}\rbrace \vert = \vert \bigcup\limits_{i=1}^n F_i \vert \\ = \sum\limits_{i=1}^n \vert F_i \vert - \sum\limits_{\vert I \vert = 2} \vert F_I \vert + \sum\limits_{\vert I \vert = 3} \vert F_I \vert + ⋯ + (-1)^{n-1} \sum\limits_{\vert I \vert = n} \vert F_I \vert \\ = n(n-1)! - \binom{n}{2}(n-2)! + ⋯ + (-1)^{n-1}\]

Donc $P(\lbrace \text{dérangement} \rbrace) = \frac{1}{2!} - ⋯ + \frac{(-1)^{n}}{n!} \xrightarrow[n \to +∞]{} 1/e$

II. Probabilités conditionnelles

Formule des probablités totales :

$\lbrace B_i \rbrace_{i∈I}$ un système complet d’événements, $A$ un événement :

\[P(A) = \sum_{i∈I} \underbrace{P(A\vert B_i) P(B_i)}_{= P(A∩B_i)}\]

Formule de Bayes :

$A$ et $B$ non négligeables :

\[P(A\vert B) P(B) = P(B\vert A) P(A)\]

$(= P(A∩B))$

Chaînes de Markov

$M=(m_{i, j})$ est stochastique si :

$M≥0$, et $∀i∈⟦1, n⟧, \sum_{j=1}^n m_{i, j} = 1$ ($M{\bf 1} = {\bf 1}$)

Ensemble des matrices stochastiques : convexe, fermé, stable par produit.

Prop : Si $M$ est stochastique, $𝜌(M) = 1$

\[𝜌(M)<1 ⟺ \lim\limits_{n⟶+∞} M^n = 0\]

Norme d’opérateur sur $𝕸_n(ℝ)$ associée à la norme sup sur $ℝ^n$ :

\[∀M=(m_{i,j}), \vert \vert M \vert \vert_1 = \sup_i (\sum_j \vert m_{i,j}\vert)\]
\[∀M, 𝜌(M)≤ \vert\vert M\vert \vert_1\]

Définition

Chaîne de Markov :

C’est la donnée d’un triplet $(G, 𝜆_0, ℙ)$, où :

  • $G = (S,E)$ est un graphe orienté fini.
  • $𝜆_0$ est une loi de proba sur $S$ appelée loi initiale
  • $ℙ = (P_{i,j})_{(i,j)∈S^2}$ une matrice stochastique

Processus stochastique associé : $\lbrace X_n \rbrace_{n∈ℕ}$ à valeurs dans $S$ :

  • $X_0$ est de loi $𝜆_0$
  • $∀t∈S, 𝜆_n(t) = P(X_n = t) = \sum_{s∈S} P_{s,t} P(X_{n-1} = s) = \sum_{s} P(X_n = t \vert X_{n-1} = s) P(X_{n-1} = s)$

  1. \([ℙ]_{s,t} = P_{s,t} = P(X_n = t \vert X_{n-1}=s)\) indépendant de $n$.

  2. Propriété de Markov : $∀s_0, ⋯, s_{n-1}, t$ :

    \[P(X_n = t \vert X_{n-1}=s_{n-1}, ⋯, X_0 = s_0) = P(X_n=t \vert X_{n-1} = s_{n-1})\]
  3. \[(𝜆_n(t))_{t∈S} = (𝜆_{n-1}(s))_{s∈S} ℙ\] \[∀n , (𝜆_n(t))_{t∈S} = (ℙ(X_n = t))_{t∈S} = (𝜆_{0}(s))_{s∈S} ℙ^n\]

Chaînes de Markov absorbantes

Chaîne de Markov $((S,E), ℙ, 𝜆_0)$ absorbante :

ssi il existe un état $f∈S$ tq :

  • $P_{f,f}= 1$ (donc $∀s≠f, P_{f,s} = 0$)
  • $∀s∈S$, il existe un chemin dans le graphe de $s$ vers $f$

NB : S’il existe, un tel état est unique.

Th : $𝒞$ une cdM absorbante d’état absorbant $f$ :

\[\lim_{n→+∞} P(X_n = f) = 1\]

Classification des états. Convergence asymptotique.

Graphe réduit :

graphe (acyclique) des composantes fortement connexes.

Soit $𝒞 = (S, ℙ, 𝜆_0)$ une cdM.

état récurrent :

s’il est dans une cfc finale (une dont on ne sort pas).

état transient :

non récurrent

  • Dans le graphe réduit, il existe une cfc finale
  • Une cdM absorbante a un unique état récurrent qui est son état absorbant.

Th : $𝒞$ une cdM, $R⊆S$ l’ensemble des états récurrents :

\[\lim_{n⟶+∞} P(X_n ∈R)=1\]

Comportement asymptotique des chaînes de Markov irréductibles et apériodiques

Chaîne de Markov irréductible :

ssi son graphe est fortement connexe.

Chaîne de Markov apériodique :

ssi le pgcd des longueurs des cycles vaut 1.

C’est le cas si la matrice $ℙ$ est $>0$.

Thm : $𝒞 = (S, ℙ, 𝜆_0)$ une chaîne irréductible et apériodique. Alors :

Il existe un unique vecteur de proba $𝜇=(𝜇(s))_{s∈S}$ appelé loi stationnaire tel que :

\[𝜇ℙ = 𝜇\]
  • De plus, $ℙ^k$ converge vers la matrice de rang 1 $L$ dont toutes les lignes valent $𝜇$

i.e :

\[∀s∈S, \lim_n P(X_n = s) = 𝜇(s)\]

Temps d’absorption

cdM d’état absorbant $f$

\[(T_i = n) = \lbrace i ⟶ i_1 ⟶ ⋯ ⟶ i_n = f \text{ et } ∀j<n, i_j ≠ f\rbrace\] \[(T_i = +∞) = \lbrace i ⟶ i_1 ⟶ ⋯ ⟶ i_j ⟶ i_{j+1} ⟶ ⋯ \text{ chemin infini et } ∀j, i_j ≠ f\rbrace\] \[T_f = 0\]

Th : $Q$ la matrice extraite de $ℙ$ de la façon suivante :

\[ℙ = \begin{pmatrix} && & * \\ &Q& & \vdots \\ && & * \\ 0 &⋯& 0 & \underbrace{1}_{\text{colonne de} f} \\ \end{pmatrix}\]

Alors

\[𝜌(Q)< 1 ⟺ I-Q \text{ inversible }\]

et $(E(T_i))_{i≠f}$ est l’unique solution du système linéaire

\[X = \mathbf{1} + QX\]

En particulier,

\[∀i≠f, E(T_i) < +∞\]

Types de convergences et théorèmes limites

Différents types de convergence

Convergence presque sûre (Almost Everywhere) :

$X_n \xrightarrow[n \to +∞]{ae / ps} X$ ssi $P(\lbrace 𝜔; \lim_n X_n(𝜔) = X(𝜔) \rbrace) = 1$

Convergence en probabilité :

$X_n \xrightarrow[n \to +∞]{proba} X$ ssi $∀𝜀>0, \lim\limits_{n⟶+∞} P(\vert X_n - X \vert > 𝜀) = 0$

Convergence en loi (v.a discrètes) :

$X_n \xrightarrow[n \to +∞]{loi} X$ ssi $∀a, \lim\limits_{n⟶+∞} P(X_n = a) = P(X = a)$

Convergence $L^p$ :

$X_n \xrightarrow[n \to +∞]{L^p} X$ ssi $\lim\limits_{n⟶+∞} E(\vert X_n - X \vert^p) = 0$

  digraph {
    rankdir=TB;
    ps[label="Convergence ps"];
    lp[label="Convergence L^p"];
    proba[label="Convergence en proba"];
    loi[label="Convergence en loi"];
    ps -> proba;
    lp -> proba;
    proba -> loi;
  }

Inégalités

Markov : $X$ une v.a $≥0$ tq $E(X)<+∞$ :

\[∀a, P(X>a) ≤ \frac{E(X)}{a}\]

Bienaymé-Tchebychev : $X$ une v.a qui a une variance :

\[∀𝜀>0, P(\vert X - E(X) \vert > 𝜀) ≤ \frac{Var(X)}{𝜀^2}\]

Théorèmes limites

Loi faible des grands nombres : $\lbrace X_n \rbrace$ v.a indépendantes admettant variance et un espérance tq

  • $\left(\frac 1 n \sum_1^n E(X_i)\right)_n$ est convergente de limite $m$
  • $\left(\frac{1}{n^2} \sum_1^n Var(X_i)\right)_n$ est convergente de limite $0$

Alors $\left(\frac 1 n \sum_1^n X_i\right)_n$ converge en probabilité vers $m$.

Loi centrée :

d’espérance 0

Loi réduite :

de variance 1

Loi normale :

  • $f(t) = \frac{\exp(-t^2/2)}{\sqrt{2𝜋}}$

Th Central Limite :

$\lbrace X_i \rbrace_{i∈ℕ}$ indépendantes et équidistribuées tq $m=E(X_i)$ , $𝜎^2 = Var(X_i)$ :

$\frac{1}{n}\sum_i X_i$ converge en loi vers $N(m, 𝜎^2)$ :

\[f(t) = \frac{\exp(-(\frac{t-m}{𝜎})^2/2)}{𝜎\sqrt{2 𝜋}}\]

Leave a comment