作者简介Introduction

邬书豪，车联网数据挖掘工程师 ，R语言中文社区专栏作者。微信ID：tsaiedu

知乎专栏：https://www.zhihu.com/people/wu-shu-hao-67/activities

往期回顾

kaggle：数据科学社区调查报告（附学习视频）

kaggle：员工离职预测（附学习视频）

Kaggle：纽约的士旅程数据简要分析

Kaggle：R可视化分析美国枪击案（附数据集和代码）

共享单车租用频次分析

       1912年4月15日，载着1316号乘客和891名船员的豪华巨轮泰坦尼克号与冰山相撞而沉没，这场海难被认为是20世纪人间十大灾难之一。1985年，泰坦尼克号的沉船遗骸在北大西洋两英里半的海底被发现，美国探险家洛维特亲自潜入海底在船舱的墙壁上看见了一幅画，洛维持的发现立刻引起了一位老妇人的注意。已经是102岁高龄的罗丝声称她就是画中的少女，在潜水舱里，罗丝开始叙述她当年的故事：“从前有座山，山里有座庙，庙里......”

       步入正文之前，先给大家开了一个玩笑哈。那么现在就是开始认真跟着思路来了啊，首先呢，对于幸存者来说，运气肯定是必不可少的，但是幸存者之中必不可少一些共（主）同（角）特（光）征（环）。那么下面我们就在train中一起探索一下到底这些幸存者都有什么特征......

本篇文章分为两次来推送，此篇主要是预处理和可视化的探索：

## 加载所需程序包

## 加载所需程序包
library(Rmisc)
library(VIM)
library(ggplot2)
library(dplyr)
library(magrittr)
library(caret)

在女孩子面前就是“包治百病”，在R用户手中同样是“包治百病”啊！包包很重要，对后续分析就是简单粗暴。

---

## 读取数据+简单探索

train <- read.csv('../input/train.csv', stringsAsFactors = F, na.strings = c("NA", ""))
test <- read.csv('../input/test.csv', stringsAsFactors = F, na.strings = c("NA", ""))

dim(train); dim(test)
str(train)
names(test)

首先查看了两个数据集的维度：train是891行，12列；test是418行，11列。

然后带着这个列数不同的问题，使用str()去查看trian的数据结构，除了各个变量的类型和大致情况，顺便得到了变量名称。

最后查看test的列名称，对比train的列名称，发现test中缺少“Survived”变量（因变量），其他均正常，切合实际。

---

## 合并数据+缺失值探索

test$Survived <- NA
alldata <- rbind(train, test)
summary(aggr(alldata, prop = F, numbers = T))
alldata[c('Sex', 'Survived')] %<>% lapply(as.factor)

从上图可以看出Survived变量存在418个缺失值，也就是合并的test的Survived个数；Age缺失263个；Fare缺失1个；Cabin缺失1014个；Embarked缺失2个。

---

## 描述性分析

## 因变量探索

alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Survived, fill = Survived)) +
 geom_bar(width = 0.8) +
 geom_label(stat = 'count', aes(label = ..count..)) +
 theme_bw()

在train中一共有891个样本，其中549位人员不幸死亡，342位幸存。从样本量来看，不属于特别不平衡，后续分析先不考虑样本不平衡问题。

---

## 自变量 VS 因变量

### Pclass / Sex / Pcalss & Sex VS Survived
## Pclass VS Survived
alldata$Pclass <- as.ordered(alldata$Pclass)

p_Pclass1 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Pclass, fill = Survived)) +
 geom_bar(position = 'stack', width = 0.8) +
 guides(fill = 'none') +
 labs(title = '(a)') +

 theme_bw()

p_Pclass2 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Pclass, fill = Survived)) +
 geom_bar(position = 'fill', width = 0.8) +
 labs(title = '(b)') +

 theme_bw()

## Sex VS Survived
p_Sex1 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Sex, fill = Survived)) +
 geom_bar(position = 'stack', width = 0.8) +
 guides(fill = 'none') +
 labs(title = '(c)') +

 theme_bw()

p_Sex2 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Sex, fill = Survived)) +
 geom_bar(position = 'fill', width = 0.8) +
 labs(title = '(d)') +

 theme_bw()

## Pclass & Sex VS Survived
alldata <- within(alldata, {
 PclassSex <- ''
 PclassSex[Pclass == '1' & Sex == 'male'] <- 'PM1'
 PclassSex[Pclass == '2' & Sex == 'male'] <- 'PM2'
 PclassSex[Pclass == '3' & Sex == 'male'] <- 'PM3'
 PclassSex[Pclass == '1' & Sex == 'female'] <- 'PF1'
 PclassSex[Pclass == '2' & Sex == 'female'] <- 'PF2'
 PclassSex[Pclass == '3' & Sex == 'female'] <- 'PF3'

})

p_PS1 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = PclassSex, fill = Survived)) +
 geom_bar(position = 'stack', width = 0.8) +
 guides(fill = 'none') +
 labs(title = '(e)') +

 theme_bw()

p_PS2 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = PclassSex, fill = Survived)) +
 geom_bar(position = 'fill', width = 0.8) +
 labs(title = '(f)') +
 theme_bw()

multiplot(p_Pclass1, p_Pclass2, p_Sex1, p_Sex2, p_PS1, p_PS2,
         layout = matrix(1:6, nrow = 3, byrow = T))

运行此代码块，可以绘制出6张图片，横向两两对应（堆积柱状图---百分比堆积柱状图）。

整体而言，从图（a）、（c）、（d）中可得出不同Pclass、Sex和PclassSex的总个数和其对应的是否幸存的个数。

通过图（b）、（d）、（e）中可得出不同Pclass、Sex和PclassSex中的是否幸存占比。

上图总结：

·船上第三类票型最多、其次就是第一类、最后是第二类；幸存人数占比从高到低一次是第一、二、三类票型。

·船上的男性居多、女性的幸存率高很多。

·持有一类票的女性幸存率最高，其次就是持有二类票的女性，都将近全部幸存；其他分类的幸存率则低了很多，最低的就是持有三类票的男性。

### Age / AgeGroup VS Survived
## Age VS Survived
alldata$Age <- ifelse(is.na(alldata$Age), mean(alldata$Age, na.rm = T), alldata$Age)

p_Age1 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Age)) +
 geom_histogram(fill = '#63B8FF') +
 guides(fill = 'none') +
 labs(title = '(a)') +

 theme_bw()

p_Age2 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Age, fill = Survived)) +
 geom_histogram(position = 'identity', alpha = 0.6) +
 labs(title = '(b)') +
 theme_bw()

## AgeGroup VS Survived
alldata <- within(alldata, {
 AgeGroup <- ''
 AgeGroup[Age < 18] <- 'nonage'
 AgeGroup[Age >= 18] <- 'adult'

})

p_AG1 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = AgeGroup, fill = Survived)) +
 geom_bar(width = 0.8) +
 guides(fill = 'none') +
 labs(title = '(c)') +
 theme_bw()

p_AG2 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = AgeGroup, fill = Survived)) +
 geom_bar(position = 'fill', width = 0.8) +
 labs(title = '(d)') +

 theme_bw()

multiplot(p_Age1, p_Age2, p_AG1, p_AG2,
         layout = matrix(1:4, nrow = 2, byrow = T))

根据年龄直方图（a）可以看出船上乘客年龄的分布：20-40岁的人员居多，最大的达到了80岁；通过（b）并不能显而易见地探索出年龄和是否幸存的关系。

我们对年龄进行分组（未成年人和成年人），这样可以看出：未成年人的幸存率较高，但是也不是特别的明显（估计是小孩子荒野求生能力比较低吧）。

### SibSp / Parch / SibSp & Parch VS Survived
## SibSp VS Survived
p_SibSp1 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = SibSp, fill = Survived)) +
 geom_bar() +
 guides(fill = 'none') +
 labs(title = '(a)') +

 theme_bw()

p_SibSp2 <-

 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = SibSp, fill = Survived)) +
 geom_bar(position = 'fill') +
 labs(title = '(b)') +

 theme_bw()

p_Parch1 <-

 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Parch, fill = Survived)) +
 guides(fill = 'none') +
 geom_bar() +
 labs(title = '(c)') +

 theme_bw()

p_Parch2 <-

 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = Parch, fill = Survived)) +
 geom_bar(position = 'fill') +
 labs(title = '(d)') +

 theme_bw()

alldata$FamilySize <- alldata$SibSp + alldata$Parch + 1

p_FS1 <-
 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = FamilySize, fill = Survived)) +
 geom_bar() +
 guides(fill = 'none') +
 labs(title = '(e)') +

 theme_bw()

p_FS2 <-

 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = FamilySize, fill = Survived)) +
 geom_bar(position = 'fill') +
 labs(title = '(f)') +
 theme_bw()

alldata <- within(alldata, {
 FamilySize2 <- ''
 FamilySize2[FamilySize < 2 | FamilySize > 4] <- 'low'
 FamilySize2[FamilySize >= 2 & FamilySize <= 4] <- 'high'

})

p_FS21 <-

 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = FamilySize2, fill = Survived)) +
 geom_bar() +
 guides(fill = 'none') +
 labs(title = '(g)') +

 theme_bw()

p_FS22 <-

 alldata %>%
 .[!is.na(.$Survived), ] %>%
 ggplot(aes(x = FamilySize2, fill = Survived)) +
 geom_bar(position = 'fill') +
 labs(title = '(h)') +
 theme_bw()

multiplot(p_SibSp1, p_SibSp2, p_Parch1, p_Parch2, p_FS1, p_FS2, p_FS21, p_FS22,
         layout = matrix(1:8, nrow = 4, byrow = T))

这8张图片分别是兄弟姐妹配偶、父母孩子、家庭总人数和家庭大小的堆积柱状图和百分比堆积柱状图。通过前6张图同样不能明显的探索出家庭人数与幸存率的关系，然后根据家庭人数分类之后，可以看出人数为2-5的家庭存活率较高。

这次的分析探索到此暂停一段落，有兴趣的读者可以好好的消化一下代码。第二期就是剩余的可视化、交叉验证、模型建立和评估，敬请期待......

注：本案例不提供数据集，如果要学习完整案例，点击文章底部阅读原文或者扫描课程二维码，购买包含数据集+代码+PPT的《kaggle十大案例精讲课程》，购买学员会赠送文章的数据集。

《kaggle十大案例精讲课程》提供代码+数据集+详细代码注释+老师讲解PPT！综合性的提高你的数据能力，数据处理+数据可视化+建模一气呵成！

相关课程推荐

Kaggle十大案例精讲课程(连载中)：