技术标签： 大数据学习 Flume安装和部署 大数据生态技术
1） Flume官网地址
2）文档查看地址
http://flume.apache.org/FlumeUserGuide.html
1）apache-flume-1.7.0-bin.tar.gz上传到linux
2）解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下
$ tar -zxf apache-flume-1.7.0-bin.tar.gz -C /opt/module/
3 )将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置flume-env.sh文件
$ mv flume-env.sh.template flume-env.sh
$ vi flume-env.sh
#修改内容是：但是记住里面有个java home是注释掉的，千万别解开，后面还有，否则，启动不起来
export JAVA_HOME=/opt/module/jdk1.8.0_144
1、案例需求：首先，Flume监控本机44444端口，然后通过netcat工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。
2、实现步骤：
1）安装netcat工具 $ sudo yum install -y nc
2）判断44444端口是否被占用 $ sudo netstat -tunlp | grep 44444
3）创建Flume Agent配置文件 flume-netcat-logger.conf
$ touch flume-netcat-logger.conf
4）★编辑配置文件
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
5） 先开启flume监听端口------最重要的一点就是a1不是乱取的，是跟上面的配置文件是一致的
$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console
参数说明：
--conf(-c) conf/ ：表示配置文件存储在conf/目录
--name(-n) a1 ：表示给agent起名为a1--最重要的一点就是a1不是乱取的，是跟上面的配置文件是一致的
--conf-file(-f) job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-telnet.conf文件。
-Dflume.root.logger==INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
6）使用netcat工具向本机的44444端口发送内容
服务器端开启： $ nc -lk 44444
客户端连接服务器端：$nc localhost 44444
文章浏览阅读2.2k次，点赞30次，收藏47次。图论是数学的一个分支，研究图（Graph）的结构、性质以及它们之间的关系。寻找一个图的生成树，即包含图中所有顶点且边的权重之和最小的树。在图中寻找一种最优的流动方式，通常用于建模网络中的资源分配、流量控制等问题。在计算机科学中，图论用于设计和分析网络拓扑结构、路由算法、网络流等，以提高网络性能和可靠性。图由节点（顶点）和连接节点的边组成。图神经网络等图学习方法利用图论的概念来处理具有图结构的数据，如社交网络、分子结构等。对图算法的复杂性进行分析，包括时间复杂性和空间复杂性，以评估算法在大规模图上的效率。_图论
文章浏览阅读398次。1 public static Date getFirstDayOfWeek(Date date) { 2 Calendar c = new GregorianCalendar(); 3 c.setFirstDayOfWeek(Calendar.MONDAY); 4 c.setTime(date); 5 ..._java 获取第几周的开始时间和结束时间
文章浏览阅读6.9k次，点赞6次，收藏28次。原文地址：数据白化作者：紫de甘蓝白化的原理： 随机向量的“零均值化”和“空间解相关”（也叫白化）是最常用的两个预处理过程，其中“零均值化”比较简单，而“空间解相关”涉及一些矩阵的知识。 设有均值为零的随机信号向量 x ，其自相关矩阵为 Rx =E[xxT ] ≠ I 很明显， Rx 是对称矩阵，且是非负定的（所有_信号白化
文章浏览阅读3k次，点赞4次，收藏2次。组策略组策略（英语：Group Policy）是微软Windows NT家族操作系统的一个特性，它可以控制用户帐户和计算机帐户的工作环境。组策略提供了操作系统、应用程序和活动目录中用户设置的集中化管理和配置。组策略的其中一个版本名为本地组策略（缩写“LGPO”或“LocalGPO”），这可以在独立且非域的计算机上管理组策略对象。家庭版组策略因为Windows 10家庭版没有包含组策略，所以需要部署映像服务和管理工具安装部署映像服务和管理工具1、在桌面创建文本文档2、添加内联代码片@echo o_10.0.19041.746
文章浏览阅读1.5k次。--workers把这个参数改1就行 默认4我系统windows10_oserror: [winerror 1455] 页面文件太小,无法完成操作。 error loading "d:\softw
文章浏览阅读3.3k次，点赞2次，收藏11次。使用q2-phylogeny进行系统发育推断Phylogenetic inference with q2-phylogenyhttps://docs.qiime2.org/2020.11/..._qiime2里怎么让发育树生根
文章浏览阅读1.1w次。我在安装和破解loadrunner11的过程中，遇到主要三个问题：1.安装.netframework3.52.deletelicense.exe运行之后提示 failed3.以管理员身份运行提示受阻
文章浏览阅读1.9k次，点赞3次，收藏2次。（一） 概述 android的binder机制提供一种进程间通信的方法，使一个进程可以以类似远程过程调用的形式调用另一个进程所提供的功能。binder机制在Java环境和C/C++环境都有提供。 android的代码中，与C/C++的binder包括一些类型和接口的定义和实现，相关的代码在下面这几个文件中： frameworks\base\include\uti_mediaserver手动起
文章浏览阅读5.4k次，点赞10次，收藏2次。【代码】取模运算优化超级算法。_取模优化 acm
文章浏览阅读310次。Input：观测数据Xn×dX_{n\times d}Xn×d, 类别数ccc, 迭代停止条件 toltoltolOutput: 模型参数(pic×1pi_{c\times 1}pic×1, muc×dmu_{c\times d}muc×d, sigmac×d×dsigma_{c\times d\times d}sigmac×d×d )“”"ccc：类别数nnn：数据总数ddd..._c# 高斯混合模型
文章浏览阅读4.1k次，点赞2次，收藏41次。首先介绍以下KNN算法，KNN算法的全称是K近邻算法，基本的算法按流程就是： 1. 计算测试集中的样本到训练集中每个样本的距离 2. 对计算得到的距离进行排序 3. 选取和当前的测试样本距离最近的K个训练样本，作为这个测试样本的K个最近的邻居 4. 统计k个邻居的类别的概率 5. K个邻居里面所属的类别概率最高的即为该测试样本的类别上面的是用KNN来做分类的算法流程，从上面的..._nilm算法 arduino
文章浏览阅读1.6k次。转载自：https://zhuanlan.zhihu.com/p/1943089431.Seq2Seq模型简介Seq2Seq模型是输出的长度不确定时采用的模型，这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。 如下图所，输入的中文长度为4，输出的英文长度为2。 在网络结构中，输入一个中文序列，然后输出它对应的中文翻译，输出的部分的结果预测后面，根据上面的例子，也就是先输出“machine”，将"machine_seq2seq模型