Markov-Prozess

stochastischer Prozess (X_t)_0≤t<∞ mit abzählbarem Zustandsraum  E, also mit abzählbar vielen möglichen Werten der X_t,bei dem für alle n und alle t > s > s_n > .. > s₀ bez. der bedingten Wahrscheinlichkeiten gilt:

mit j, i, i₀, ..., i_n E. Die bedingte Wahrscheinlichkeit P{X_t = j|X_s = i} heißt Übergangswahrscheinlichkeit (Wahrscheinlichkeit, dass der Prozess zum Zeitpunkt t den Zustand j hat, wenn er zum Zeitpunkt s den Zustand i einnahm).

Ist der Zustandsraum endlich, so wird der Markov-Prozess endlich genannt.

Bedeutung: Die „Markov-Eigenschaft” eines stochastischen Prozesses beschreibt, dass die Wahrscheinlichkeit des Übergangs von einem Zustand in den nächstfolgenden von der weiteren „Vorgeschichte” nicht abhängt.