国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

在Python上基于Markov鏈生成偽隨機文本的教程

2019-11-25 17:42:26
字體:
來源:轉載
供稿:網友

 首先看一下來自Wolfram的定義

    馬爾可夫鏈是隨機變量{X_t}的集合(t貫穿0,1,...),給定當前的狀態,未來與過去條件獨立。

Wikipedia的定義更清楚一點兒

    ...馬爾可夫鏈是具有馬爾可夫性質的隨機過程...[這意味著]狀態改變是概率性的,未來的狀態僅僅依賴當前的狀態。

馬爾可夫鏈具有多種用途,現在讓我看一下如何用它生產看起來像模像樣的胡言亂語。

算法如下,

  1.     找一個作為語料庫的文本,語料庫用于選擇接下來的轉換。
  2.     從文本中兩個連續的單詞開始,最后的兩個單詞構成當前狀態。
  3.     生成下一個單詞的過程就是馬爾可夫轉換。為了生成下一個單詞,首先查看語料庫,查找這兩個單詞之后跟著的單詞。從它們中隨機選擇一個。
  4.     重復2,直到生成的文本達到需要的大小。


代碼如下
 

import random class Markov(object):   def __init__(self, open_file):  self.cache = {}  self.open_file = open_file  self.words = self.file_to_words()  self.word_size = len(self.words)  self.database()      def file_to_words(self):  self.open_file.seek(0)  data = self.open_file.read()  words = data.split()  return words      def triples(self):  """ Generates triples from the given data string. So if our string were    "What a lovely day", we'd generate (What, a, lovely) and then    (a, lovely, day).  """     if len(self.words) < 3:   return     for i in range(len(self.words) - 2):   yield (self.words[i], self.words[i+1], self.words[i+2])     def database(self):  for w1, w2, w3 in self.triples():   key = (w1, w2)   if key in self.cache:    self.cache[key].append(w3)   else:    self.cache[key] = [w3]      def generate_markov_text(self, size=25):  seed = random.randint(0, self.word_size-3)  seed_word, next_word = self.words[seed], self.words[seed+1]  w1, w2 = seed_word, next_word  gen_words = []  for i in xrange(size):   gen_words.append(w1)   w1, w2 = w2, random.choice(self.cache[(w1, w2)])  gen_words.append(w2)  return ' '.join(gen_words)

為了看到一個示例結果,我們從古騰堡計劃中拿了沃德豪斯的《My man jeeves》作為文本,示例結果如下。
 

In [1]: file_ = open('/home/shabda/jeeves.txt') In [2]: import markovgen In [3]: markov = markovgen.Markov(file_) In [4]: markov.generate_markov_text()Out[4]: 'Can you put a few years of your twin-brother Alfred,who was apt to rally round a bit. I should strongly advocatethe blue with milk'

[如果想執行這個例子,請下載jeeves.txtmarkovgen.py
馬爾可夫算法怎樣呢?

  •     最后兩個單詞是當前狀態。
  •     接下來的單詞僅僅依賴最后兩個單詞,也就是當前狀態。
  •     接下來的單詞是從語料庫的統計模型中隨機選擇的。

這是一個示例文本。

復制代碼 代碼如下:
"The quick brown fox jumps over the brown fox who is slow jumps over the brown fox who is dead."

這個文本對應的語料庫像這樣,
 

{('The', 'quick'): ['brown'], ('brown', 'fox'): ['jumps', 'who', 'who'], ('fox', 'jumps'): ['over'], ('fox', 'who'): ['is', 'is'], ('is', 'slow'): ['jumps'], ('jumps', 'over'): ['the', 'the'], ('over', 'the'): ['brown', 'brown'], ('quick', 'brown'): ['fox'], ('slow', 'jumps'): ['over'], ('the', 'brown'): ['fox', 'fox'], ('who', 'is'): ['slow', 'dead.']}

現在如果我們從"brown fox"開始,接下來的單詞可以是"jumps"或者"who"。如果我們選擇"jumps",然后當前的狀態就變成了"fox jumps",再接下的單詞就是"over",之后依此類推。

提示

  •     我們選擇的文本越大,每次轉換的選擇更多,生成的文本更好看。
  •     狀態可以設置為依賴一個單詞、兩個單詞或者任意數量的單詞。隨著每個狀態的單詞數的增加,生成的文本更不隨機。
  •     不要去掉標點符號等。它們會使語料庫更具代表性,隨機文本更好看。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 东阿县| 阳高县| 正镶白旗| 安义县| 稷山县| 南投市| 威信县| 德令哈市| 东阳市| 达尔| 阜宁县| 潞城市| 城市| 海阳市| 汤阴县| 禹州市| 东台市| 民勤县| 昭觉县| 龙岩市| 佛学| 上饶市| 阳曲县| 博白县| 科技| 横峰县| 楚雄市| 白银市| 迁安市| 延吉市| 宁都县| 仙游县| 建瓯市| 柳河县| 抚宁县| 湄潭县| 安平县| 土默特左旗| 宁武县| 阿拉善左旗| 维西|