まだ厨二病

RとPyhtonを使ったデータ分析・統計解析らへんの話題をしていくだけ

データフレームの特徴をもっと早く掴みたい ~ ハドリーへの挑戦

探索的なデータ分析 (Explore Data Analysis: EDA)を行う際は、データの要約や欠損の有無の確認、可視化が欠かせない作業となります。

特に可視化は、データのもつ性質や関係を表現するのに大変役立ちます。一方で、可視化に用いた図はコードとは別に保存する必要があったり、作図のためのコードを書いたりと、面倒な側面もあります。

… きちんとした作図は面倒だけどデータの性質や欠損について把握したい。そんな時にはコンソール上での可視化を試しましょう。そのためのパッケージをHadley Wickhamが開発しています。

https://github.com/hadley/precis

Rにはそもそも、オブジェクトの情報を要約してくれるsummary()関数があるのですが、この precisパッケージは、それを置き換えるような設計を目指しているそうです。早速使ってみましょう。

# githubinstall::githubinstall('precis')
library(precis)

現在precisが提供するのは、それぞれベクトルとデータフレームの要約を行う2つの関数、precis_v()precis()です。precis()が返す個々の情報は、precis_v()によるものです。

データフレームにprecis()を実行すると、次のような出力が行われます。summary()と異なり、返り値もデータフレームであるのが特徴で、データフレームの変数名を示すname、変数のデータ型を示すtype、そして変数をベクトルとして評価した時の要約した情報がprecis列に格納されています。

precis(iris)
## # data.frame [150 x 5]
##           name  type                                     precis
##          <chr> <chr>                                      <chr>
## 1 Sepal.Length   dbl            4.3 [  5.1 (  5.8)   6.4]   7.9
## 2  Sepal.Width   dbl            2.0 [  2.8 (  3.0)   3.3]   4.4
## 3 Petal.Length   dbl           1.00 [ 1.60 ( 4.35)  5.10]  6.90
## 4  Petal.Width   dbl            0.1 [  0.3 (  1.3)   1.8]   2.5
## 5      Species  fctr setosa (50) versicolor (50) virginica (50)
precis(mtcars)
## # data.frame [32 x 11]
##     name  type                            precis
##    <chr> <chr>                             <chr>
## 1    mpg   dbl  10.4 [ 15.4 ( 19.2)  22.8]  33.9
## 2    cyl   dbl               4 (11) 6 (7) 8 (14)
## 3   disp   dbl  71.1 [121.0 (196.0) 334.0] 472.0
## 4     hp   dbl    52 [   96 (  123)   180]   335
## 5   drat   dbl  2.76 [ 3.08 ( 3.70)  3.92]  4.93
## 6     wt   dbl  1.51 [ 2.54 ( 3.32)  3.65]  5.42
## 7   qsec   dbl  14.5 [ 16.9 ( 17.7)  18.9]  22.9
## 8     vs   dbl                     0 (18) 1 (14)
## 9     am   dbl                     0 (19) 1 (13)
## 10  gear   dbl               3 (15) 4 (12) 5 (5)
## 11  carb   dbl     1 [    2 (    2)     4]     8

precis列の値は、対象の変数のデータ型に応じて異なります。例えば数値であれば、最小値、第一四分位、中央値、第三四分位、最大値の値です(summary()で得られる情報と同じ)。最大値と最小値の間が[括弧になっており、中央値については(括弧が使われているのでわかりやすいですね。また、因子型や文字列型については、順位、カウント値の情報が出力されます。

precis()の良い点は、これに加えて引数histogramTRUEを指定した際に、数値データのヒストグラムをコンソール上で描画してくれるところです。例えば次の例では、hist(iris$Sepal.Length)とせずともデータの分布が掴めるので、偏りがあるとか正規分布に近い、といったことが把握しやすいという利点になります。

precis(iris, histogram = TRUE)
## # data.frame [150 x 5]
##           name  type                                     precis
##          <chr> <chr>                                      <chr>
## 1 Sepal.Length   dbl              4.3 ▂▂▃▇▇▃▇▇▃▅▇▃▅▂▂▁▁▂▁   7.9
## 2  Sepal.Width   dbl                     2.0 ▁▁▂▅▇▅▃▂▂▁▁▁   4.4
## 3 Petal.Length   dbl                     1.0 ▇▂▁▁▁▂▃▃▃▃▁▁   6.9
## 4  Petal.Width   dbl                    0.1 ▇▃▁▁▂▂▅▃▃▂▂▂▁   2.5
## 5      Species  fctr setosa (50) versicolor (50) virginica (50)

… でも、それだけでなく、欠損値やカウントの数を知りたいんだ!という気持ちが改造したのが次のuncover()関数になります。gistからソースコードを引っ張って来ることで利用可能になります。

devtools::source_gist("f275260bbd1da5f613241458c43adb2d", 
    filename = "uncover.R")
uncover(mtcars)
### A tibble: 11 x 6
##   variable data_type          range count missing           hist
##      <chr>     <chr>          <chr> <int>   <int>          <chr>
## 1      mpg   numeric   10.4 to 33.9    25       0   ▂▁▇▃▅▅▂▂▁▁▂▂
## 2      cyl   numeric         4 to 8     3       0       ▅▁▁▃▁▁▁▇
## 3     disp   numeric    71.1 to 472    27       0      ▅▇▃▁▃▃▃▁▂
## 4       hp   numeric      52 to 335    22       0         ▇▇▃▃▁▁
## 5     drat   numeric   2.76 to 4.93    22       0   ▂▂▇▂▁▅▇▃▂▁▁▁
## 6       wt   numeric 1.513 to 5.424    29       0       ▃▃▃▇▅▁▁▂
## 7     qsec   numeric   14.5 to 22.9    30       0      ▁▂▂▇▃▂▁▁▁
## 8       vs   numeric         0 to 1     2       0     ▇▁▁▁▁▁▁▁▁▅
## 9       am   numeric         0 to 1     2       0     ▇▁▁▁▁▁▁▁▁▅
##10     gear   numeric         3 to 5     3       0     ▇▁▁▁▅▁▁▁▁▂
##11     carb   numeric         1 to 8     6       0 ▅▇▁▂▁▇▁▁▁▁▁▁▁▁
uncover(ggplot2::diamonds)
### A tibble: 10 x 6
##   variable      data_type         range count missing                 hist
##      <chr>          <chr>         <chr> <int>   <int>               <list>
## 1    carat        numeric   0.2 to 5.01   273       0            <chr [1]>
## 2      cut ordered_factor Fair to Ideal     5       0 <data.frame [5 x 2]>
## 3    color ordered_factor        D to J     7       0 <data.frame [7 x 2]>
## 4  clarity ordered_factor      I1 to IF     8       0 <data.frame [8 x 2]>
## 5    depth        numeric      43 to 79   184       0            <chr [1]>
## 6    table        numeric      43 to 95   127       0            <chr [1]>
## 7    price        integer  326 to 18823 11602       0            <chr [1]>
## 8        x        numeric    0 to 10.74   554       0            <chr [1]>
## 9        y        numeric     0 to 58.9   552       0            <chr [1]>
##10        z        numeric     0 to 31.8   375       0            <chr [1]>

range列はprecis()同様、変数のデータの幅を示すものですが、こちらは最小値と最大値しかわかりません。順位のある因子型は順位の並びで最小・最大のものが出力されるようになっています。

また、変数が数値であればprecis()と同じくヒストグラムを出力します。が、因子型や文字列が含まれるデータでは次のようにhist列の情報はリストカラムとして格納されます。これを取り出すには、dplyr::filterでデータ型の制限をし、tidyr::unnest()でリストカラムを解除してください。

uncover(ggplot2::diamonds) %>% dplyr::filter(data_type %in% 
    c("numeric", "integer")) %>% tidyr::unnest()
### A tibble: 7 x 6
##  variable data_type        range count missing         hist
##     <chr>     <chr>        <chr> <int>   <int>        <chr>
##1    carat   numeric  0.2 to 5.01   273       0  ▇▇▅▁▁▁▁▁▁▁▁
##2    depth   numeric     43 to 79   184       0     ▁▁▁▁▇▁▁▁
##3    table   numeric     43 to 95   127       0  ▁▁▂▇▁▁▁▁▁▁▁
##4    price   integer 326 to 18823 11602       0   ▇▃▂▁▁▁▁▁▁▁
##5        x   numeric   0 to 10.74   554       0  ▁▁▁▁▇▇▇▂▁▁▁
##6        y   numeric    0 to 58.9   552       0 ▃▇▁▁▁▁▁▁▁▁▁▁
##7        z   numeric    0 to 31.8   375       0      ▇▁▁▁▁▁▁
uncover(ggplot2::diamonds) %>% dplyr::filter(data_type %in% 
    c("ordered_factor")) %>% tidyr::unnest()
### A tibble: 20 x 7
##   variable      data_type         range count missing value.Var1 value.Freq
##      <chr>          <chr>         <chr> <int>   <int>      <chr>      <int>
## 1      cut ordered_factor Fair to Ideal     5       0       Fair       1610
## 2      cut ordered_factor Fair to Ideal     5       0       Good       4906
## 3      cut ordered_factor Fair to Ideal     5       0  Very Good      12082
## 4      cut ordered_factor Fair to Ideal     5       0    Premium      13791
## 5      cut ordered_factor Fair to Ideal     5       0      Ideal      21551
## 6    color ordered_factor        D to J     7       0          D       6775
## 7    color ordered_factor        D to J     7       0          E       9797
## 8    color ordered_factor        D to J     7       0          F       9542
## 9    color ordered_factor        D to J     7       0          G      11292
##10    color ordered_factor        D to J     7       0          H       8304
##11    color ordered_factor        D to J     7       0          I       5422
##12    color ordered_factor        D to J     7       0          J       2808
##13  clarity ordered_factor      I1 to IF     8       0         I1        741
##14  clarity ordered_factor      I1 to IF     8       0        SI2       9194
##15  clarity ordered_factor      I1 to IF     8       0        SI1      13065
##16  clarity ordered_factor      I1 to IF     8       0        VS2      12258
##17  clarity ordered_factor      I1 to IF     8       0        VS1       8171
##18  clarity ordered_factor      I1 to IF     8       0       VVS2       5066
##19  clarity ordered_factor      I1 to IF     8       0       VVS1       3655
##20  clarity ordered_factor      I1 to IF     8       0         IF       1790
uncover(datasets::Titanic) %>% dplyr::filter(data_type %in% 
    c("numeric", "integer")) %>% tidyr::unnest()
### A tibble: 1 x 6
##  variable data_type    range count missing           hist
##     <chr>     <chr>    <chr> <int>   <int>          <chr>
##1        n   numeric 0 to 670    22       0 ▇▂▁▁▁▁▁▁▁▁▁▁▁▁

コードを書いてみて思ったのが、precis::precis()でいいじゃん…ということでした。いやでもuncover()も役立つ時があるはず!(ハドリーへの挑戦と思ってこの思い出は胸にしまっておきます)

いやあ、欲を言えばこういうことがしたいんですよね(次回に続く…)

f:id:u_ribo:20170809205815p:plain