全网最简单的网络图画法,小白福音包学包会_刘永鑫Adam的博客-程序员秘密

全网最简单的网络图画法,小白福音包学包会

徐锐(助理研究员),广东省生态环境技术研究所,土壤微生物与宏基因组方向

版本1.0.1,更新日期:2020年6月23日

本项目永久地址:https://github.com/YongxinLiu/MicrobiomeStatPlot ,本节目录 212RareCurve,包含R markdown(*.Rmd)、Word(*.docx)文档、测试数据和结果图表,欢迎广大同行帮忙审核校对、并提修改意见。

背景知识

本教程使用方法

  1. 将251NetworkXuRui.zip解压至自己喜欢的目录即可(脚本部分修改成对应的工作目录)。本文件夹包含的子文件夹路径、名字不建议修改,脚本容易报错。

  2. 部分脚本可取消#注释,供有需求时使用

  3. 默认脚本与案例介绍均采用“微生物OTU丰度-环境理化Ev”的网络关系,可自行调整为“OTU-OTU”模式

重要术语

节点(node/):基因、物种OTU、环境因子等对象。若为有向网络,则可细分为源节点(Source)和目标节点(Target)。无向网络则不区分。

(edge/link):两个节点之间的连线,通常映射为相关性系数(r-value)。还可定义成正/负相关、有/无相关等。

相关性(correlation):两个节点相关系数的计算结果,根据数据不同可采用不同的模型方法,如常见的Pearson、Spearman、SparCC等。

显著性(significance):验证相关性是否具有显著性(p-value)。

布局(layout):节点及边的分布形式,如常见的球形、圆环形、放射形等。

拓扑特性(topological property):描述网络特征的数学参数,如连接度、中心性、模块数等

网络示意图

简介

网络图(俗称毛线球)是一种广泛用于复杂、高维度数据的分析与可视化方法,常用于表现成百上千个微生物(菌群)、基因、蛋白等对象(统称为特征,feature)之间的关联形式。在网络图中,各个特征被定义为”节点“,而两两特征之间的关系被定义为“相关性”,并以“边”的形式将两个节点进行连接。

简例

幼儿园小朋友们给自己最喜爱的食物打分:


小明 叮当 美美
鸡腿 89 91 20
牛排 95 85 22
花椰菜 10 12 84

简单观察得分表后可以发现,小明叮当都比较爱吃肉,而美美则是素食爱好者。那么小明叮当成为好朋友的可能性可能要比美美更高,用网络图表示就是:

图中:三名小朋友就是节点,对食物的喜爱偏好就是相关性,并且小明和叮当之间的偏好要强于美美,故也更宽。当然,仅仅根据食物偏好去判断是否能够成为好朋友,可信度不高。因此哪怕相关性很高(边更宽),但其背后的统计意义却不显著,也无法下结论。此外,本例不区分节点的方向,属于无向网络,故三名小朋友既是源节点,也是目标节点。最后,图片的整体分布特征(三角形)就是布局

实战范例

上述简例为抛砖引玉,实际的数据分析过程远比简例复杂。继续以最常见的微生物菌群丰度(OTU)与环境理化因子(Ev)的网络分析为例进一步说明:

数据准备
  1. 环境理化因子数据(data/data_Ev.txt):行为理化指标,列为各样品

  1. 微生物菌群OTU的丰度数据(data/data_OTU.txt):行为OTU丰度,列为各样品

  1. Ev和OTU的补充注释信息,需手动整理,推荐合成一个表(data/taxonomy.txt):

注意

  • Ev表和OTU表的样品要对应关系要一致

  • 尽量避免行、列名使用非法字符,如#、!、数字开头、空格等,并预先剔除全为0的行/列,常常因为格式不对而报错!

网络的计算

准备工作,安装R包,读取输入文件

# 检测包,是则跳过,没有则安装
if (!requireNamespace("psych", quietly=TRUE))
    install.packages("psych")
if (!requireNamespace("reshape2", quietly=TRUE))
    install.packages("reshape2")

# 加载包
library(psych)
library(reshape2)

# 导入数据(txt),可在RStudio右上角手动Import Dataset,设置如下
# OTU/Ev文件:heading=Yes, Row names=first column
# Taxonomy文件:heading=Yes, Row names=automatic

# 或使用如下命令导入数据:
Ev <- read.table("data/Ev.txt", sep="\t", header=T, row.names=1)
OTU <- read.table("data/OTU.txt", sep="\t", header=T, row.names=1)

# 导入节点注释文件
tax <- read.table("data/taxonomy.txt", sep="\t", header=T)
names(tax)[1] <- "Id"

数据预处理

# 转置数据格式

# # 情形1(默认):两数据Ev-OTU表格时:
Ev=t(Ev)
OTU=t(OTU)

# # 情形2:单数据OTU-OTU表格时:
# OTU=t(OTU)

设定分析阈值

结果不理想时可反复修改这些阈值

# 若OTU数目太多,极大影响计算速度,而且结果不具有可读性
# 按丰度值的百分比进行筛选, 默认保留相对丰度>0.05%的OTU
abundance=0.05

# 筛选
OTU <- OTU[,colSums(OTU)/sum(OTU)>=(abundance/100)]

# 网络分析的关联阈值
r.cutoff=0.6
p.cutoff=0.05

开始计算,不用修改

全选脚本后一键Enter~等待自动生成结果吧!超级爽

# 计算r、p

# 情形1:两数据Ev-OTU表格时,默认
occor=corr.test(OTU, Ev,
    use="pairwise",
    method="spearman", # 可选pearson/kendall
    adjust="fdr",
    alpha=0.05)

# 情形2:单OTU-OTU
# occor=corr.test(OTU,
#     use="pairwise",
#     method="spearman",
#     adjust="fdr",
#     alpha=0.05)

# 获取相关矩阵及边数据

# 提取相关性矩阵的r、p值
r_matrix=occor$r
p_matrix=occor$p

# 确定物种间存在相互作用关系的阈值,将相关性R矩阵内不符合的数据转换为0
r_matrix[p_matrix>p.cutoff|abs(r_matrix)<r.cutoff]=0

# 转换数据为长格式形式,方便下游分析
p_value=melt(p_matrix)
r_value=melt(r_matrix)

#将r、p两表合并
r_value=cbind(r_value, p_value$value)

# 删除含r_value=0的行
r_value=subset(r_value, r_value[,3]!=0)

# 删除含r_value=NA的行
r_value=na.omit(r_value)

# 对r表格增补绝对值、正负型等信息
abs=abs(r_value$value)

linktype=r_value$value
linktype[linktype>0]=1
linktype[linktype<0]=-1

r_value=cbind(r_value, abs, linktype)

# 重命名r、p表头
names(r_value) <- c("Source","Target","r_value","p_value", "abs_value", "linktype")
names(p_value) <- c("Source","Target","p_value")

# 输出结果为csv文件
write.csv(r_value,file="result/1.边数据.csv", row.names=FALSE)
write.csv(r_matrix, file="result/4.corr_matrix.csv")
write.csv(r_value,file="result/5.r_value.csv", row.names=FALSE)
write.csv(p_value,file="result/6.p_value.csv", row.names=FALSE)

# 获取节点数据
# 从边文件提取节点并去除重复
node_OTU <- as.data.frame(as.data.frame(r_value[,1])[!duplicated(as.data.frame(r_value[,1])), ])
node_Ev <- as.data.frame(as.data.frame(r_value[,2])[!duplicated(as.data.frame(r_value[,2])), ])

names(node_OTU)="Id"
names(node_Ev)="Id"

# OTU ID和Ev ID合并成节点索引表,用于检索注释信息
list <- rbind(node_Ev, node_OTU)
write.csv(list,file="result/3.node_list.csv", row.names=FALSE)

# 筛选节点对应的注释信息
list=subset(tax,Id %in% list$Id)

# 复制一列当节点Label
list$Label <- list$Id

# 输出结果为csv文件
write.csv(list,file="result/2.节点数据.csv", row.names=FALSE)

查验结果

在result文件夹中查验生成的表格结果,主要使用1.边数据.csv2.节点数据.csv两个。

1.边数据:

说明:当区分有向、无向网络时,Source和Target节点才有区别。r-value表示符合网络阈值的相关性数值,p-value供说明相关性的显著程度。abs-value是将可正可负的r-value取绝对值,用于画图时表示连线的宽度(关联强度)。linktype表示正(1)、负(-1)相关性,可在画图时用于指定连线的颜色(红=正相关,蓝=负相关)。

2.节点数据:

说明:Id表示边数据中的Source、Target节点,后续几列为节点的注释信息,如分类水平、性别(如有)、采样点等。最后一列Label用于指定画图时节点显示的标签字符,可手动删除不想显示的内容。

疑问?:为什么需要生成节点数据?因为如果直接使用最开始的taxonomy.txt注释文件(总表)画图,会存留许多非网络节点的节点(冗余)。因此需要根据边数据中保留下的节点(符合r/p网络阈值的),从taxonomy总表中挑选出来制作画图用的节点数据(子表)。

网络的可视化

数据在手,天下我有!只要有脚本生成的、或不怕麻烦自己excel手动整理的1.边数据.csv2.节点数据.csv就可以进行网络图的可视化啦~推荐使用Cytoscape或者Gephi两个软件。以Cytoscape为例:

Cytoscape安装及下载

下载页:https://cytoscape.org/download.html

下载最新版本的Cytoscape和对应的Java环境版本

  • 导入数据

边数据:【File】【Import】【Network from file】【1.边数据.csv】

节点数据:【File】【Import】【Table from file】【2.节点数据.csv】

  • 美化

Cytoscape中可以修改几乎所有能够想到的网络图属性,节点、连线的颜色、粗细、透明度当然不在话下,还可以修改多种布局、标签显示方式,甚至还能计算网络的拓扑参数。由于这部分不是本文重点,不再赘述,具体可参见其他指导手册~

CytoScape网络可视化相关资源

Gephi网络可视化相关资源

学术论文案例

  • 厌氧消化反应器中的微生物网络: https://www.sciencedirect.com/science/article/abs/pii/S0960852418306060    “Organic loading rate and hydraulic retention time shape distinct ecological networks of anaerobic digestion related microbiome”

  • 抗生素抗性基因与潜在宿主网络: https://www.sciencedirect.com/science/article/abs/pii/S0960852419303281    “Metagenomic analysis reveals the effects of long-term antibiotic pressure on sludge anaerobic digestion and antimicrobial resistance risk”

  • 酸性矿山废水侵蚀下的微生物网络: https://www.sciencedirect.com/science/article/pii/S0269749119368253    “Uncovering microbial responses to sharp geochemical gradients in a terrace contaminated by acid mine drainage”

责编:刘永鑫,中科院遗传发育所

版本1.0.0,网络基本讲解和网络文件准备
版本1.0.1,改写为Rmd版本,建议作者增加实战讲解和点评、绘图实战的典型操作和经验。

猜你喜欢

10000+:菌群分析 宝宝与猫狗 梅毒狂想曲 提DNA发Nature Cell专刊 肠道指挥大脑

系列教程:微生物组入门 Biostar 微生物组  宏基因组

专业技能:学术图表 高分文章 生信宝典 不可或缺的人

一文读懂:宏基因组 寄生虫益处 进化树

必备技能:提问 搜索  Endnote

文献阅读 热心肠 SemanticScholar Geenmedical

扩增子分析:图表解读 分析流程 统计绘图

16S功能预测   PICRUSt  FAPROTAX  Bugbase Tax4Fun

在线工具:16S预测培养基 生信绘图

科研经验:云笔记  云协作 公众号

编程模板: Shell  R Perl

生物科普:  肠道细菌 人体上的生命 生命大跃进  细胞暗战 人体奥秘  

写在后面

为鼓励读者交流、快速解决科研困难,我们建立了“宏基因组”专业讨论群,目前己有国内外5000+ 一线科研人员加入。参与讨论,获得专业解答,欢迎分享此文至朋友圈,并扫码加主编好友带你入群,务必备注“姓名-单位-研究方向-职称/年级”。PI请明示身份,另有海内外微生物相关PI群供大佬合作交流。技术问题寻求帮助,首先阅读《如何优雅的提问》学习解决问题思路,仍未解决群内讨论,问题不私聊,帮助同行。

学习16S扩增子、宏基因组科研思路和分析实战,关注“宏基因组”

点击阅读原文,跳转最新文章目录阅读

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/woodcorpse/article/details/106953731

智能推荐

匿名内部类_small_Stone1.0的博客-程序员秘密

1.什么是匿名内部类 所谓匿名内部类(anonymous inner class),是指可以利用内部类创建没有名称的对象,它一步完成了声明内部类和创建该类的一个对象,并利用该对象访问到类内的成员,这种类不取名字,而是直接用其父类的名字或者它所实现的接口的名字,而且匿名内部类的定义与创建该类的一个实例同时进行,即在类的定义前面有一个new运算符,而不是使用关键字class,同时带上小括号"()"表...

方差分析之单因素方差分析_IT农民工1的博客-程序员秘密

作者:DD 来源:数据科学家联盟方差分析是一种能使多因素(多组间)检验变得简洁的一种检验方式,它能同时考虑所有的样本,不仅能使检验过程变得简洁还能排除因两两检验可能造成...

使用logback对系统产生的日志文件进行脱敏处理_logback日志脱敏_playmaker的show就要开始了的博客-程序员秘密

业务场景开发中,对于打印出来的日志文件,涉及到敏感信息,类似银行卡,姓名,身份证等等,通常会根据需求进行关键词的隐藏,比如姓名:万旭会处理后在日志中显示:姓名:万*。这样的过程叫做日志关键词脱敏。如下使用logback进行脱敏操作和配置。配置枚举类用来管理需要脱敏的关键词public enum KeywordTypeEnum { /** * 真实姓名 */ TRUE_NAME("trueName","真实姓名"), /** * 身份证号码

基于大数据的用户画像构建(理论篇)_般若Neo的博客-程序员秘密

什么是用户画像? Alan Cooper (交互设计之父)最早提出了 persona 的概念:“Personas are a concrete representation of target users.”Persona 是真实用户的虚拟代表,是建立在一系列真实数据(Marketing data,Usability data)之上的目标用户模型。简而言之,用户画像是根据用户社会属性...

android重新启动应用程序和重新启动系统_从新启动应用程序区别_GitLqr的博客-程序员秘密

重新启动应用程序,有两种方法,分别是:1.通过ActivityManager来重新启动应用程序:ActivityManager manager = (ActivityManager)this.getSystemService(Context.ACTIVITY_SERVICE); manager.restartPackage("com.example.test"); 2.通过f

IOS UITableView单条刷新,数据不刷新解决方案_ios 数据源不刷新_贤贤的博客-程序员秘密

在使用 UITableView 进行某设置页面的设计时,由于设计页面有固定的section个数和row个数,而数据又需要根据用户的修改情况进行改变,所以我们往往不会为每个cell单独写一个类,而是直接对 contentView 添加子试图,如:[cell.contentView addSubview:contentLab];详细: static NSString *Identi

随便推点

深度学习方法(五):卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,Deep Residual Learning_haoji007的博客-程序员秘密

深度学习方法(五):卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,Deep Residual Learning原创 2016年01月02日 11:18:40标签:神经网络/cnn/深度学习欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流Q

would dispatch back to the current handler URL [/getWeWork] again.Check your ViewResolver setup!_山中寄离人的博客-程序员秘密

would dispatch back to the current handler URL [/getWeWork] again.Check your ViewResolver setup!

逆向分析abex'crackme#1_Mi1k7ea的博客-程序员秘密

abexcm1-voiees.exe程序是crackme的第一道最简单的逆向练习题。运行程序查看:弹框显示需要让程序觉得你的HD是一个CD-Rom。然后点击确定:显示错误,说不是CD-ROM。再按确定即退出程序。至此可以明确,需要逆向修改文件的逻辑以绕过检测CD-ROM的判断。使用OllyDbg打开该可执行文件:可以直观地看到EP代码十分简短,main()函数直接出现在EP中,因为其是由汇编语言直...

不随意付钱,不随意签字。_stormzhangV的博客-程序员秘密

阅读本文大概需要 1.8 分钟。一般周末我很少更文,但今天看到这个事情的时候,忍不住上来说几句。一公司突然劝员工主动辞职,员工不同意,HR 让员工登录公司 OA,然后抢用员工电脑提了辞职,...

职高计算机专业烧钱吗,大学“最烧钱”专业排行榜,“家境一般”慎入,“土豪”请随意..._weixin_39590868的博客-程序员秘密

俗话说“高考七分考,三分报”,而这也意味着在高考当中不仅考试重要,在高考后的填报志愿也是非常重要的,因为填报志愿也代表着在大学期间学习什么专业,也代表着在毕业后会从事什么行业,所以报考专业一定要慎重选择。对于很多普通家庭来说,供孩子上大学的费用也是一笔不小的支出,如果在填报志愿时选择的大学以及专业选错了,那么对于家庭的影响也是非常大的。要知道普通家庭若是经济负担过重,那么无疑是寸步难行,而今日小编...

随意有感而发!!_手赚小超人的博客-程序员秘密

现在才知道,一切都可以这样随意随心随性!原以为,写作是一件很严肃的事情。从来没有想过,这也是玩儿,也是游戏!今天在群里跟朋友们互动时,有感而发随意写了点儿东西,发布出来!在以前,我是绝对不会改了又改,变了又变!随心所欲的加减内容!今天我做到了!自己完全在放松的心态下做事!写作,发布,都是在做游戏!没有任何压力,天性被释放出来。感觉一切美好都来到了自己。此时此刻,空气是温暖的,细胞是兴奋的,神经是打...

推荐文章

热门文章

相关标签