国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 編程 > Python > 正文

kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例

2020-01-04 13:41:16
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

如下所示:

from kafka import KafkaClientfrom kafka.producer import SimpleProducer
def send_data_2_kafka(datas):  '''    向kafka解析隊(duì)列發(fā)送數(shù)據(jù)  '''  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)  producer = SimpleProducer(client, async=False)   curcount = len(datas)/PARTNUM  for i in range(0, PARTNUM):    start = i*curcount    if i != PARTNUM - 1:      end = (i+1)*curcount      curdata = datas[start:end]      producer.send_messages(TOPICNAME, *curdata)    else:      curdata = datas[start:]      producer.send_messages(TOPICNAME, *curdata)      producer.stop()  client.close()

其中PARTNUM為topic的partition的數(shù)目,這樣保證批量發(fā)送的數(shù)據(jù)均勻的落在kafka的partition中。

以上這篇kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持VEVB武林網(wǎng)。


注:相關(guān)教程知識(shí)閱讀請(qǐng)移步到python教程頻道。
發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 建瓯市| 大关县| 宜丰县| 高青县| 油尖旺区| 哈尔滨市| 大悟县| 木里| 咸丰县| 崇文区| 台湾省| 镇安县| 凤阳县| 聂拉木县| 姜堰市| 中江县| 新化县| 民权县| 乌拉特后旗| 诏安县| 庆安县| 汝阳县| 庆元县| 平和县| 宝兴县| 凤冈县| 霍山县| 贵港市| 嵊州市| 长沙市| 宁乡县| 齐河县| 循化| 防城港市| 天津市| 墨玉县| 陆川县| 宁河县| 北京市| 福建省| 高雄县|