Markov zincirleri

Kısaca: Markov zinciri, bir sonraki durumun yalnızca mevcut duruma bağlı olduğu, şimdiye dek olan gidişata bağlı olmadığı rastgele bir süreçtir.

Biraz daha ayrıntılı: Durumlar arasındaki geçiş olasılıklarıyla tanımlanır. Örnek: yarın %70 olasılıkla bugünkü gibi kalan hava.

Ayrıntılı

• Markov özelliği: “Belleksizlik”. Gelecek yalnızca bugüne bağlıdır.
• Geçiş matrisi: i. satırı, i durumundan diğer tüm durumlara olasılıkları içeren bir P matrisi. Her satırın toplamı 1’dir.
• Durağan dağılım: Uzun vadede birçok zincir durum başına sabit bir paya yerleşir. Özgün PageRank yöntemi (rastgele gezgin) buna dayanır.
• Kullanım: Basit metin üretimi (mevcut sözcükten sonraki sözcük), kuyruk modelleri, konuşma tanıma (gizli Markov modelleri), MCMC örnekleme.
• Sınır: Gelecek daha eski adımlara bağlıysa daha büyük durumlar veya başka modeller gerekir. Modern dil modelleri bunun çok ötesine geçer.

Ayrıca bak: Monte Carlo yöntemleri