技术标签: 网络流量分析 全流量 IDS NTA 网络安全 流量分析
网络流量贯穿业务流转的各个环节,从我们个人PC、手机,到IDC数据中心、WEB和APP应用等都需要通过网络流量完成数据交互。因此,根据"只要有攻击就会有流量产生"这样的朴素道理,无论是网络层的防DDoS、主机层的防入侵还是应用层防漏洞,都是围绕网络流量分析展开,基于NTA网络流量分析的安全产品在安全领域始终占据举足轻重的地位。
本文根据近来做IDS入侵检测流量分析相关的经验,基于流量分析的常见应用形式,总结流量分析常用的技术手段,包括流量采集常用的方法及工具,以及流量还原技术的基本原理。
要了解网络真实的运行情况,及时发现运行中存在的问题,必须对网络流量有一个全面了解。不同的应用层面,流量分析起到的作用不同,比如运营商需要通过分析用户网络流量来计算网络消费、掌握用户对其他运营商的访问情况,为网络出口互联链路的设置提供决策数据支撑等;业务应用层如网站提供方则通过流量分析了解网站访客的数据,如IP地址、浏览器信息等,统计网站在线人数,了解用户所访问网站页面,通过分析出异常帮助网站管理员知道是否有滥用或者攻击现象,了解网站使用情况,提前应对网站服务器系统的负载问题等;而安全监测领域则通过流量分析实现对网络异常通信的监测,防范常见的网络入侵、DDOS攻击和疆木蠕感染传播等。
面对复杂多变的规模庞大的网络环境,需要一个能够适应不同环境和高效分析处理的系统。首先我们需要对不同的采集技术有初步的认识。
网络流量分析的常用技术手段:
原始的网络流量以二进制方式呈现,无法直接读取和应用,因此需要通过相关工具和技术,把网络流量变成更加容易读取的数据信息,在这过程中就要对采集到的网络流量进行解码和分析,包括识别流量中的协议、业务、提取流量中的原始文件等。
流量数据包解析还原的过程,就是是对二进制比特流中各个位置的字段进行提取和解析重组的过程。当中使用了多种技术,包括端口匹配、流量特征检测、自动连接关联和行为特征分析。
1)端口匹配:在网络协议发展的过程当中,已经形成了一系列的标准协议规范, 其中规定了不同协议使用的端口如80端口的HTTP协议、53端口的DNS协议等等,另外很多广泛使用的应用程序虽然没有别标准化,但已经形成了事实上的标准端口。端口匹配就是根据这些标准或非标准的对应关系,根据TCP/UDP 的端口来识别应用。这种方式具有检测效率高的优点,弱点是容易被伪造, 因此在端口检测的基础上,还需要增加一些特征检测的判断和分析,来进一步分析这部分数据。
2)流量特征检测:相对于端口,不同的应用程序使用的协议也存在大量的共性。这些共性就是所谓的流量特征。对于流量特征的识别,大致分为两种:一种是有标准协议的识别如HTTP、DNS,TCP/IP作为标准的通信协议,在对数据包链路层、网络层、传输层进行解码时,只需要参照标准格式规范进行解码分析即可;另一种是私有协议的识别,如果协议基于TCP或UDP协议采用的标准接口格式,只需要参照标准的格式进行解码分析即可,否则可能需要通过逆向工程分析协议机制,直接或解密后通过报文流的特征字段来识别该通信流量。
3)自动连接关联:随着互联网应用的发展,在互联网上传输的数据越来越多,单个连接完成所有任务的模式也逐渐开始出现瓶颈,因此很多协议开始采用动态协商端口的方式进行传输,这种模式最早出现在标准的 FTP 协议上,后来逐渐在语音、视频和文件的传输上面被广泛使用。为了识别这种数据,需要根据控制链接上面的报文信息,自动关联到数据传输的链接并对其进行还原,这种技术称为自动连接关联。
4)行为特征分析:针对一些不便于还原的数据流量,可以采用行为特征的方法进行分析。这种方法不试图分析出链接上面的数据,而是使用链接的统计特征,如特定的特征字段、连接数、单个IP的连接模式、上下行流量的比例、数据包发送频率等指标来区分应用类型。如分析RDP或者SSH登陆等加密流量,可能无法完全还原流量通信内容,但是通过流量报文中的特定字段可以识别出该报文是主机登陆行为,一旦这类行为的报文异常高频出现,就能够判断可能出现登陆爆破的行为。
文章浏览阅读3.6k次。JW FLV PLAYER 在线FLV播放器中文使用说明使用方法:如果你仅需要播放一个FLV文件[例如“video.flv”],那么只要把“video.flv”和压缩包内的flvplayer.swf复制到同一个目录内,然后在页面内添加程序代码wmode="transparent" dat_aspx flv
文章浏览阅读1.1k次。java的数据结构及优缺点:数据结构: 优点: 缺点:数组 插入快 查找慢,删除慢,大小固定,只能存储单一元素有序数组 比无序数组查询快 插入慢,删除慢,大小固定,只能存储单一元素栈 提供后劲先出的存储方式 存取其他项很慢队列 提供先进先出的存取方式 存取其他项很慢链表 插入快,删除快 查找慢二叉树 如果树是平衡的,则..._http调用后端接口是一个线程吗
文章浏览阅读457次,点赞6次,收藏10次。EDA(Exploratory Data Analysis)即探索性数据分析,EDA通过可视化、统计和图形化的方法,对数据集进行全面的、非形式化的初步分析,帮助分析人员了解数据的基本特征,发现数据中的规律和模式。这有助于获取对数据的直观感受和深刻理解,为后续的数据处理和建模提供基础。
文章浏览阅读517次。在远程调用WebService时出现下面的情况: 这种情况一般是由于证书有问题时出现,如果在浏览器中打开是这种情况: 解决方法新建一个类,代码如下: 1 public static class CertificateTrust 2 { 3 4 public st..._c#wbsevice基础连接已经关闭,未能为ssl/tls安全通道建立信任关系
文章浏览阅读140次。这篇论坛文章详细讲解了SQL Server海量数据导入的最快方法,更多内容请参考下文:最近做某项目的数据库分析,要实现对海量数据的导入问题,就是最多把200万条数据一次导入sqlserver中,如果使用普通的insert语句进行写出的话,恐怕没个把小时完不成任务,先是考虑使用bcp,但这是基于命令行的,对用户来说友好性太差,实际不大可能使用;最后决定使用BULK INSERT语句实现,BU..._sql server 插入100万条记录怎样最快
文章浏览阅读1.6k次,点赞4次,收藏10次。一.前言小白写LaTeX时,经常查阅《一份不简短的LaTeX 2 介绍》,次数多了费时费力,所以将常用的知识汇总如下,方便作为字典快速查阅。二.正文下面的表格中将给出在数学模式中常用的所有符号。使用表 3.12–3.16所列出的符号,必须事先安装 AMS 数学字库并且在文档的导言区加载宏包: amssymb。如果你的系统中没有安装 AMS 宏包和数学字库,可去下述地址下载:CTAN:/tex-archive/macros/latex/required/amslatex..._latex查找表
文章浏览阅读345次。【代码】docker GPU报错解决。_在进入docker时报错no nvidia gpu device found
文章浏览阅读517次。型号(模式)选e1000,网络选刚刚创建好的。然后进入虚拟机就可以正常联网了,发现已经独立分配了与物理网卡相同网段的ip。为创建好的虚拟机添加网络,型号这次可以选virtio。进入虚拟机,进入光驱,安装virtio-win-guest-tools,成功联网。在omv6-kvm网络中添加macvtap网络,选择刚刚添加的br0桥。Sftp上传到你创建的池路径后在Vms中添加光盘,选择这个镜像。编辑/etc/network/interfaces。激活这个网络后到VMs界面为创建好的虚拟机添加网络。_kvm怎么给windows配网关
文章浏览阅读1.1k次。<div class="progress" style="left: 5%; width: 55%; height: 9px; display: inline-grid;"> <div id="progress7" class="progress-bar progress-bar-striped active" role="progressbar" a_bootstrap progres 0% 到100%
文章浏览阅读916次。初学Spring cloud,集成Eureka启动报错java.lang.ArrayStoreException: sun.reflect.annotation.TypeNotPresentExceptionProxy启动数组越界。。。这肯定不正常找到这个类断点该类的构造函数发下另有错误!可以看出真正的错误是:java.lang.ClassNotFoundException: org.springframework.cloud.context.scope.refresh.Refresh_springcloud服务启动java.lang.arraystoreexception: sun.reflect.annotation.typ
文章浏览阅读1.7k次。在Web开发中,有时候需要显示一些复选框(checkbox),表明这个地方是可以进行勾选操作的,但是有时候是只想告知用户"这个地方是可以进行勾选操作的"而不想让用户在此处勾选(比如在信息展示页面),这时候就需要将复选框设置成只读的效果。提到只读,很容易想到使用readonly属性,但是对于复选框来说,这个属性和期望得到的效果是有差别的。原因在于readonly属性关联的是页面元素的value属_input checkbox 只读
文章浏览阅读6k次。Fn+Esc 这2个键一起按可以关闭,再按一次就开启,开启后Fn的灯就亮了。_excel中,蓝牙键盘需同时按住fn+f4锁定表格中的公式,如何变成仅按f4锁定单元格