python3生产kafka消息--动态参数读取文件_python3读取kafka消息_万物可测的博客-程序员秘密

技术标签： python3

log：

通过

import linecache

member = linecache.getline("member_id.TXT", i)
line = member_id.strip('\n')
data["member"] = line

控制每次获取到的文件对应的参数

# !/usr/bin/env python
# -*- encoding: utf-8 -*-
# @Author : yyq

import json
import time
import linecache

from kafka import KafkaProducer
time1 = time.time()
producer = KafkaProducer(bootstrap_servers='192.168.172.123:9091,192.168.172.234:9091')
data = {"recordType":"GAIN","changeType":"SYSTEM"}

for i in range(0, 500000):
    data["recordSourceKeys"] = "57889913280038349"+str(i)
    #根据i读取对应行的参数
    member = linecache.getline("member_id.TXT", i)
    line = member_id.strip('\n')
    data["member"] = line
    point_account = linecache.getline("point_account.TXT", i)
    line2 = point_account.strip('\n')
    data["platAccount"] = line2
    msg = json.dumps(data).encode()
    future = producer.send('event.notification.EA-LOYALTY', msg)
    record_metadata = future.get(timeout=10)
time2 = time.time()
print("总耗时：", time2-time1)

文件格式：txt

数据存放方式：每行一条数据

本文链接：https://blog.csdn.net/qq_38915739/article/details/108993043

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

MySql authentication requires secure connection 身份验证需要安全连接_authentication requires secure connection._BXS_null的博客-程序员秘密

MySql 使用root账号登录的时候会报提示authentication requires secure connection 。将Connection tab下面的 SSL tab下面的 Use SSL 选为NO 即可

技术工具类：Axure工具生成的html页面在Chrome浏览器中无法打开_遇见小豆的博客-程序员秘密

使用Chrome浏览器打开 index.html页面时，弹出如下内容：解决方案一：按照弹出的页面提示，安装相应的插件即可！解决方案二：打开index.html文件，将下面的代码注释或删除即可再重新使用Chrome浏览器打开index.html页面即可打开了！...

SparkSQL整合Hive_set spark-sql_清梦清河的博客-程序员秘密

SparkSQL整合Hive1、Hive远程模式2、SparkSQL与Hive共用元数据2.1、开启Hive元数据服务2.1.1、修改配置2.1.2、启动服务2.2、拷贝hive-site.xml与mysql驱动2.3、启动SparkSQL2.4、测试使用3、SparkSQL JDBC连接方式3.1、启动Spark JDBC服务3.2、启动beeline3.3、测试使用1、Hive远程模式SparkSQL整合Hive需要明白如下结构图2、SparkSQL与Hive共用元数据2.1、开启Hive元数

离散傅里叶变换----解释的最透彻的|包括定义物理意义_离散傅立叶变换会产生什么效应_夏日里的猫的博客-程序员秘密

1. 傅里叶变换的集中形式及应用傅立叶变换是以时间为自变量的信号和以频率为自变量的频谱函数之间的一种变换关系。由于自变量时间和频率可以是连续的，也可以是离散的，因此可以组成几种不同的变换对。（1）非周期的连续时间，连续频率-----傅里叶变换正变换 X(jΩ)={-∞,+∞}x(t)*exp^-jΩt dt 反

机器学习十交叉验证_爱吃莴苣笋的博客-程序员秘密

交叉验证（Cross Validation）定义（摘自百度百科）：交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。目的：为了获

Python：Python多种集成开发环境(IDE，编译器)的简介、安装、入门、使用方法之详细攻略_.在python中常见的ide(集成开发环境)有: 、、、、方式。_一个处女座的程序猿的博客-程序员秘密

Python：Python多种集成开发环境(IDE，编译器)的简介、安装、入门、使用方法之详细攻略目录Python多种编译器的简介、安装、入门、使用方法1、Anaconda2、ipython2.1、ipython简介2.2、进入ipython3、Spyder3.1、Spyder简介3.3、Spyder安装3.3、Spyder界面...