_db = redis.Reds(host='localhost', port=6379, db=0)

_db = redis.Redis(host='192.168.235.80')

_db.sadd(key, *values) # 插入指定values到集合中并返回新插入的的值的數(shù)量_db.spop(self.key) # 隨機(jī)從集合中的得到一個(gè)元素將其從集合中刪除并作為返回值返回_db.smembers(self.key) # 返回集合的所有元素_db.delete(key) # 刪除整個(gè)集合, 成功返回1, 失敗返回0_db.srandmember(self.key) # 從集合中隨機(jī)選取一個(gè)元素作為返回_db.sismember(self.key, value) # 判斷指定value是否在本集合中，成功返回1,失敗返回0

for i in range(20): # 將需爬取的糗事百科前20頁的url并存入urls集合  url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1)  _db.sadd('urls', url) # 將url插入關(guān)鍵字urls集合中，若url已存在則不再插入

url = _db.spop('urls') # 隨機(jī)從urls集合中取出一個(gè)url返回并將其刪去

# coding=utf-8import urllib2import reimport timeimport redisheaders = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/49.0.2623.108 Chrome/49.0.2623.108 Safari/537.36'}job_redis = redis.Redis(host='192.168.235.80') # host為主機(jī)的IP，port和db為默認(rèn)值class Clawer(object):  identity = 'master' # 或slaver  def __init__(self):    if self.identity == 'master':      for i in range(20): # 將需爬取的糗事百科前20頁的url并存入urls集合        url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1)        job_redis.sadd('urls', url)    self.main()  def get_content(self):    """    從糗事百科中獲取故事    :return: 故事列表    """    stories = []    content_pattern = re.compile('<div class="content">([/w/W]*?)</div>([/w/W]*?)class="stats"') # 匹配故事內(nèi)容（第一空）和是否含有圖片（第二空）的模板    pattern = re.compile('<.*?>') # 匹配包括括號(hào)及括號(hào)內(nèi)無關(guān)內(nèi)容的模板    url = job_redis.spop('urls')    while url: # 當(dāng)數(shù)據(jù)庫還存在網(wǎng)頁url，取出一個(gè)并爬取      try:        request = urllib2.Request(url, headers=headers)        response = urllib2.urlopen(request)        text = response.read()      except urllib2.URLError, e: # 若出現(xiàn)網(wǎng)頁讀取錯(cuò)誤捕獲并輸出        if hasattr(e, "reason"):          print e.reason      content = re.findall(content_pattern, text) # 獲取含模板內(nèi)容的列表      for x in content:        if "img" not in x[1]: # 過濾含圖片的故事          x = re.sub(pattern, '', x[0])          x = re.sub('/n', '', x)          stories.append(x)      url = job_redis.spop('urls')      time.sleep(3)    return stories  def main(self):    self.get_content()if __name__ == '__main__':  Clawer()