技术标签： 大数据学习 Flume安装和部署 大数据生态技术
1） Flume官网地址
2）文档查看地址
http://flume.apache.org/FlumeUserGuide.html
1）apache-flume-1.7.0-bin.tar.gz上传到linux
2）解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下
$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/
3 )将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件
$ mv flume-env.sh.template flume-env.sh
$ vi flume-env.sh
#修改内容是：但是记住里面有个java home是注释掉的，千万别解开，后面还有，否则，启动不起来
export JAVA_HOME=/opt/module/jdk1.8.0_144
1、案例需求：首先，Flume监控本机44444端口，然后通过netcat工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。
2、实现步骤：
1）安装netcat工具 $ sudo yum install -y nc
2）判断44444端口是否被占用 $ sudo netstat -tunlp | grep 44444
3）创建Flume Agent配置文件 flume-netcat-logger.conf
$ touch flume-netcat-logger.conf
4）★编辑配置文件
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
5） 先开启flume监听端口------最重要的一点就是a1不是乱取的，是跟上面的配置文件是一致的
$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console
参数说明：
--conf(-c) conf/ ：表示配置文件存储在conf/目录
--name(-n) a1 ：表示给agent起名为a1--最重要的一点就是a1不是乱取的，是跟上面的配置文件是一致的
--conf-file(-f) job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger==INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
6）使用netcat工具向本机的44444端口发送内容
服务器端开启： $ nc -lk 44444
客户端连接服务器端：$nc localhost 44444
文章浏览阅读838次。title: 实战1.2-利用手势识别器，实现视图的手势控制知识预备什么是仿射变换？从视觉效果上来理解，仿射变换是通过一系列原子变换复合而来的变换。包括：平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和错切(Shear)(图像的错切实际上是平面景物在投影平面上的非垂直投影)。iOS 视图的 frame 和 bounds 属性的区别frame 描述了该..._python 手势 操控 ppt
文章浏览阅读973次。安装package：导入e1071：找一个数据集：训练并查看训练结果：下面看一下，这个库如何处理标称型特征：补充一下，如果某个数据缺少某些特征：参考：安装package：?1>install.packages("e1071")导入e10_bayest r
文章浏览阅读5k次，点赞16次，收藏70次。Conv1D-LSTM时间序列预测_lstm预测未来七天的数据
文章浏览阅读104次。以下是删除/backup目录下面创建时间超过3天的一级目录的shell脚本：```bash#!/bin/bash判断/backup目录是否存在if [ ! -d "/backup" ]; _packet.payloadpacket.payloadpacket.payloaddata 数据是一段一段的如何拼接
文章浏览阅读794次。5.QuantifiersQuantifiers在要满足特定条件的匹配一定数量的字符时使用，用于设定符合匹配表达的实例数。常见的数量词表达有：'?' 前面的待匹配的项目是可选的，且最多匹配一个'*' 前面待匹配的项目可以匹配0个或更多个'+' 前面待匹配的项目将匹配一个或多个'{n}' 前面待匹配的项目将匹配n个'{n,}' 前面待匹配的项目将匹配n个或更多个'{n,m}' 前面待匹配的项目将匹配..._rreg
文章浏览阅读534次。点击上方“程序猿技术大咖”，关注并选择“设为星标”回复“加群”获取入群讨论资格！本篇文章来自《华为云云原生王者之路训练营》钻石系列课程第3课，由华为云容器批量计算架构师王雷博主讲，为大家深入讲解Kubernetes调度流程原理以及典型调度算法。1Kubernetes的调度流程原理与算法详解众所周知，Kubernetes 是为了管理大规模的集群，当集群的计算节点非常多时，如..._当scheduler为pod选择了一个合适的node节点,通过bind将pod和节点进行绑定
文章浏览阅读5.1k次，点赞2次，收藏9次。文章目录前言一、Yolov31.Darknet53二、特征图像可视化1.可视化函数2.特征可视化总结前言图像卷积神经网络(Convolution Neural Network ,CNN)是通过Kernel对图像Tensor进行卷积（废话 ）从而提取出高维向量，对图像进行分类，目标识别，语义分割。写网络的过程中，不由得好奇每个层中图像被提取出了什么特征，所以简单编写了一个以Yolov3为例的特征层可视化函数。一、Yolov3Yolov3是一个目标识别卷积神经网络，该网络均由Convolutiona_yolov3特征图可视化
文章浏览阅读1.3w次，点赞4次，收藏48次。#第二章 SPSS统计分析前准备##2.1数据文件的建立新建数据文件直接打开已有数据文件利用数据库导入数据文本向导导入数据_spss做最大似然估计
文章浏览阅读8k次。QQ即时聊天代码*********为QQ号码以前这样写：http://wpa.qq.com/msgrd?V=1&Uin=*********&Site=hexun.com/ngdao&Menu=yes"现在这样写：tencent://message/?uin=*********&Site=hexun.com/ngdao&Menu=yestenc..._tencent://message
文章浏览阅读2.7w次，点赞56次，收藏385次。一、写在前面今天在准备的面试的时候，看到一个题目，谈一谈session和cookie的区别。我不会，下面进行总结一下。二、区别2.1、保存的位置不同 cookie保存在浏览器端，session保存在服务端。2.2、使用方式不同cookie如果在浏览器端对cookie进行设置对应的时间，则cookie保存在本地硬盘中，此时如果没有过期，则就可以使用，如果过期则就删除。如果没有对cookie设置时间，则默认关闭浏览器，则cookie就会删除。session：我们在请求中，如果发送的请求中存在ses_session和cookie的区别
文章浏览阅读2.3k次，点赞8次，收藏11次。通道（Channel）：由 java.nio.channels 包定义 的。Channel 表示 IO 源与目标打开的连接。Channel 类似于传统的“流”。只不过 Channel 本身不能直接访问数据，Channel 只能与 Buffer 进行交互。（Channel本身不存储数据，因此需要配合缓冲区进行传输）https://blog.csdn.net/zcw4237256/article/details/78662762..._java stream 和channel
文章浏览阅读195次。又到了一年一度的毕业论文答辩季，相信很多人都在整理论文参考文献时都遇到过类似的场景：假设你的论文现在有五十篇的参考文献，已经编号完成了。老师看完论文之后要求你再补充一些内容，于是你又多引用了一篇文献，但因为参考文献必须按顺序排列，所以你只能从中间插入这篇文献。假设这篇文献的位置应该是第17，那也就意味着从第17篇开始的参考文献序号都得加1。而Word又不像VSCode或者vim，可以实现快速的数字修改，所以只能苦逼地手动修改34篇文献的序号。_如何让chatgpt添加参考文献