《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在支持 OpenShift 4.14 + Loki Operator 5.8.0 + Network observability 1.4.2 的环境中验证

Network Observability 相关组件和架构

Network Observability 的核心功能是收集网络流，然后用可视化方式呈现出来。Network Observability 可以对 OpenShift 的 pod、Deployment、DeploymentConfig、StatefulSet、CronJobs、Jobs、DemonSet、ReplicaSet、Route、Service 资源的网络流量进行监控。

为了收集网络流，首先使用 eBPF 代理来钩住网络事件，它可以在内核层面捕获和输出进出接口的数据。eBPF 允以安全的方式扩展内核，并且性能更强。

在这个输出数据的接收端，名叫 Flowlogs Pipeline（FLP）的流量收集器来处理接收到的数据，并删除多余的和不相关的数据，使其可被 Kubernetes 使用。如果有突发的或大量的流量，可以要考虑使用 Apache Kafka 作为 eBPF 代理和 FLP 之间的中介，以提供缓冲之用。

FLP处理完的网络数据是通过 Loki 保存在对象存储中，最后在 OpenShift 的 Web Console 中展现出来。

安装 Network Observaility 功能

为了安装 Network Observability 需要先安装 Loki 环境，而 Loki 环境又需要对象存储。 因此不但需要安装相关的 Operator，还需要配置 Loki 使用的对象存储。

安装 Operator

1. 使用默认配置安装 Loki Operator，该 Operator 将会安装在 openshift-operators-redhat 命名空间中。
2. 使用默认配置安装 Network Observaility Operator，该 Operator 将会安装在 openshift-netobserv-operator 命名空间中。
   

配置对象存储

可以使用以下任一种 S3 对象存储作为 Loki 的存储。

使用 MinIO 对象存储

1. 参考《OpenShift 4 - 基于 MinIO 安装 Red Hat Quay 镜像仓库》一文的 “安装 MinIO” 一节安装 MinIO 环境，然后创建名为 loki 的 bucket 和 user。
2. 创建新项目。

$ oc new-project netobserv

3. 创建访问 loki 存储桶的 Secret。

$ cat << EOF | kubectl apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: lokistack-dev-s3
  namespace:  openshift-logging
stringData:
  access_key_id: loki
  access_key_secret: openshift4
  bucketnames: loki
  endpoint: minio-svc.minio-dev.svc
  insecure: "true"
EOF

使用 AWS 对象存储

1. 执行命令创建访问 AWS 的凭证文件，其中我们会用到 us-east-1 区的 AWS S3 服务。

$ aws configure
AWS Access Key ID [None]: AKIAVROBYTZYQBBNWLF6
AWS Secret Access Key [None]: 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
Default region name [None]: us-east-1
Default output format [None]: json
 
$ cat .aws/credentials
[default]
aws_access_key_id = AKIAVROBYTZYQBBNWLF6
aws_secret_access_key = 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

2. 使用主机名在 AWS 上创建 S3 存储的 bucket。

$ GUID=`hostname | cut -d. -f2`
$ aws --profile default s3api create-bucket --bucket $GUID --region us-east-1 --create-bucket-configuration LocationConstraint=us-east-1
{
    
    "Location": "http://kh7zm.s3.amazonaws.com/"
}

3. 执行命令创建项目。

$ oc new-project netobserv

4. 基于以下 YAML 创建访问 AWS bucket 的 Secret 对象。

apiVersion: v1
kind: Secret
metadata:
  name: lokistack-dev-s3
  namespace: netobserv
stringData:
  access_key_id: w3EDfSERUiLSAEXAMPLE (Replace with your aws creds)
  access_key_secret: mshdyShDTYKWEywajsqpshdNSUWJDA+1+REXAMPLE (Replace with your aws creds)
  bucketnames: j68pw (we called it j68pw in our example)
  endpoint: https://s3.us-east-1.amazonaws.com/
  region: us-east-1

配置 Loki 环境

1. 在 netobserv 项目中使用 Loki Operator 根据以下 2 个截图创建一个 Loki Stack 对象。
   

---

上述配置过程会生成以下 YAML，其中 gp2-csi 是 OpenShift 已有的 StorageClass。

apiVersion: loki.grafana.com/v1
kind: LokiStack
metadata:
  name: loki
  namespace: netobserv
spec:
  size: 1x.extra-small
  storage:
    schemas:
      - effectiveDate: '2020-10-11'
        version: v11
    secret:
      name: lokistack-dev-s3
      type: s3
  storageClassName: gp2-csi
  tenants:
    mode: openshift-network

2. 完成后在 OpenShift 控制台 “开发者”视图的 “拓扑” 中可以看到如下部署的资源。
   
3. 根据以下 YAML 创建 ClusterRole 和 ClusterRoleBinding 对象。

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: loki-netobserv-tenant
rules:
- apiGroups:
  - 'loki.grafana.com'
  resources:
  - network
  resourceNames:
  - logs
  verbs:
  - 'get'
  - 'create'
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: loki-netobserv-tenant
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: loki-netobserv-tenant
subjects:
- kind: ServiceAccount
  name: flowlogs-pipeline              
  namespace: netobserv

配置 Network Observability 的 FlowCollector

1. 执行命令查看 loki-gateway-http 和 loki-query-frontend-http 服务的端口，以及访问 gateway。

$ oc get svc loki-gateway-http -n netobserv
NAME                TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
loki-gateway-http   ClusterIP   172.30.85.73   <none>        8080/TCP,8081/TCP,8083/TCP   3m49s
 
$ oc get svc loki-query-frontend-http -n netobserv
NAME                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
loki-query-frontend-http   ClusterIP   172.30.156.155   <none>        3100/TCP   3m57s
 
$ oc get configmap loki-gateway-ca-bundle -n netobserv
NAME                     DATA   AGE
loki-gateway-ca-bundle   1      4m1s

2. 在 netobserv 项目下根据以下 2 个截图使用 Network Observability Operator 创建一个 FlowCollector 对象。注意：需要修改其中 loki 的 tenantID、url、authToken、tls-caCert-name、tls-enabled、statusUrl 配置。
   

---

3. 配置完后可在 netobserv 项目中看到以下部署的资源。
   
   另外还会自从创建 netobserv-privileged 项目，并在其中以 DemonSet 的方式运行 ebpf 代理。

$ oc get daemonsets -n netobserv-privileged netobserv-ebpf-agent
NAME                   DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
netobserv-ebpf-agent   1         1         1       1            1           <none>          33m

4. 刷新 OpenShift 控制台，在 “观察” 中会出现新的 “Network Traffic” 菜单，点击该菜单即可看到 Network Traffic 页面。
   

使用 Network Observability

部署测试应用

$ oc new-project mesh-arena
$ oc apply -f https://raw.githubusercontent.com/jotak/demo-mesh-arena/zizou/quickstart-naked.yml -n mesh-arena

用 Network Observability 跟踪网络流量

查看整体的网络流量

1. 进入 “观察” 的 “Network Traffic” 菜单，在 Quick filters 选中 Pods network，在 Common Namespace·中输入 mesh-arena，然后选择合适的 Time range 和 Refresh interval。
   
2. 进入 Traffic flows 可以看到收集到的流量数据。每个数据包括 Source 和 Destination，以及发送的数据字节量。
   
3. 进入 Toplogy，可以在 Show advanced options 中设置 Display options（例如以下显示选项）。
   
4. 选中一条线后可以在右侧看到 Source 和 Destination 对应的 pod。注意：连线代表在统计时间范围内在 Source 和 Destination 之间有网络流量，而箭头代表网络流向。从图上可以看到有些线是双向箭头，有些是单向箭头。
   
   注意：如连线有双向箭头，则连线上显示的数字优先显示 B->A 的网络流量。
   
   而单项箭头的联系会显示 A->B 的网络流量。
   
   选中一个特定组件，会显示和该节点相关的流入和流出网络流量。
   

查看和特定资源相关的网络流量

1. 选择测试应用的一个 Pod（例如 ui-base-xxx），然后查看 Network Traffic 的 Topology。可以在 advanced options 中的 Display options 中选择 Scope 为 Node，Groups 为 None，这样将显示该资源在节点之间的网络流量。
   
2. 在 advanced options 中的 Display options 中选择 Scope 为 Namespace，Groups 为 None，这样将显示该资源在 Namespace 之间的网络流量。
   
3. 点击上图有 Step into this namespace 的图标，将显示下图，以 Namespace 为分组的各 Deployment 之间的网络流量。
   
4. 点击上图 ui-base 部署图标的右下方箭头，将进一步以 Deployment 为分组显示 Pod 之间的网络流量。
   
5. 可在 advanced options 中设置 Display options 的 Scope 为 Resource，Groups 为 Namespace+Owner。然后在选中不同的 Namespace 或 Deployment，可以在右方看到该分组所有的网络流量。
   

视频

视频

参考

https://cloud.redhat.com/blog/check-out-the-new-network-observability-support-in-openshift-4.12
https://cloud.redhat.com/blog/a-guide-to-providing-insight-with-network-observability
https://docs.openshift.com/container-platform/4.13/networking/network_observability/network-observability-overview.html
https://www.youtube.com/watch?v=4FC6j1NvlNE&t=443s
https://github.com/netobserv/documents
https://github.com/liuxiaoyu-git/ocp4-network-security/blob/netobserv/netobserv/netobserv.md
https://github.com/netobserv/network-observability-operator
https://myopenshiftblog.com/openshift-observability/