国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 編程 > Python > 正文

對(duì)Python中g(shù)ensim庫(kù)word2vec的使用詳解

2020-01-04 15:09:11
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

pip install gensim安裝好庫(kù)后,即可導(dǎo)入使用

1、訓(xùn)練模型定義

from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) 

參數(shù)解釋:

1.sg=1是skip-gram算法,對(duì)低頻詞敏感;默認(rèn)sg=0為CBOW算法。

2.size是輸出詞向量的維數(shù),值太小會(huì)導(dǎo)致詞映射因?yàn)闆_突而影響結(jié)果,值太大則會(huì)耗內(nèi)存并使算法計(jì)算變慢,一般值取為100到200之間。

3.window是句子中當(dāng)前詞與目標(biāo)詞之間的最大距離,3表示在目標(biāo)詞前看3-b個(gè)詞,后面看b個(gè)詞(b在0-3之間隨機(jī))。

4.min_count是對(duì)詞進(jìn)行過(guò)濾,頻率小于min-count的單詞則會(huì)被忽視,默認(rèn)值為5。

5.negative和sample可根據(jù)訓(xùn)練結(jié)果進(jìn)行微調(diào),sample表示更高頻率的詞被隨機(jī)下采樣到所設(shè)置的閾值,默認(rèn)值為1e-3。

6.hs=1表示層級(jí)softmax將會(huì)被使用,默認(rèn)hs=0且negative不為0,則負(fù)采樣將會(huì)被選擇使用。

7.workers控制訓(xùn)練的并行,此參數(shù)只有在安裝了Cpython后才有效,否則只能使用單核。

詳細(xì)參數(shù)說(shuō)明可查看word2vec源代碼。

2、訓(xùn)練后的模型保存與加載

model.save(fname) model = Word2Vec.load(fname) 

3、模型使用(詞語(yǔ)相似度計(jì)算等)

model.most_similar(positive=['woman', 'king'], negative=['man']) #輸出[('queen', 0.50882536), ...]  model.doesnt_match("breakfast cereal dinner lunch".split()) #輸出'cereal'  model.similarity('woman', 'man') #輸出0.73723527  model['computer'] # raw numpy vector of a word #輸出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32) 

其它內(nèi)容不再贅述,詳細(xì)請(qǐng)參考gensim的word2vec的官方說(shuō)明,里面講的很詳細(xì)。

以上這篇對(duì)Python中g(shù)ensim庫(kù)word2vec的使用詳解就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持VEVB武林網(wǎng)。


注:相關(guān)教程知識(shí)閱讀請(qǐng)移步到python教程頻道。
發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 平湖市| 甘洛县| 晋江市| 石屏县| 财经| 屯昌县| 鞍山市| 东阿县| 石嘴山市| 武清区| 简阳市| 保德县| 柳河县| 两当县| 吉木萨尔县| 洛南县| 永川市| 德化县| 巨鹿县| 昌宁县| 桐乡市| 太白县| 凌海市| 阿拉善盟| 小金县| 莎车县| 民勤县| 闵行区| 高淳县| 项城市| 色达县| 吉安县| 青田县| 华蓥市| 沾化县| 绵竹市| 阳泉市| 宁蒗| 从江县| 屏东市| 南溪县|