【Autoviz】機械学習EDAの便利ツールをPythonで試してみる

本記事は、下記２つの記事の続編として、EDAの便利ツールである「Autoviz」を紹介する記事です。

Kaggleや機械学習を始めて、EDA（Exploratory Data Analysis）のやり方に苦戦する方も多いのではないでしょうか。

EDAは簡単に言うとデータ全体の傾向を掴み、「どんな説明変数が使えそうか」「何か意味のある説明変数を作れそうか」と言ったことを考える非常に重要な工程です。

Hawaii

でも、１つ１つのコードを実行してその結果をどこかに控えておくのも地味に大変だなあ・・

と常日頃思っておりました。

そんな中、先日下記の記事を拝見しました。

4 Libraries that can perform EDA in one line of python code

様々なEDAをコード数行で一気に行ってくれるツール４選を紹介しています。

前の記事で「Pandas-profiling」「Sweetviz」を紹介し、本日は「Autoviz」をKaggleのtitanicを使って試したので、Autovizを初めて使った私が「ここが使えそう」「良いと思った」点を紹介したいと思います。

本記事の目次は以下の通りです。

１．前準備

STEP１：コマンドプロンプトでpip installしておく

記事にあるとおり、下記のコマンドでAutovizをpipインストールしておきます。

 command
pip install autoviz

STEP２：jupyter notebookで必要な内容をインポートしておく

jupyter notebookを立ち上げ、下記をインポートしておきます。

 command
#pandasのインポート
import pandas as pd
#Autovizのインストール
from autoviz.AutoViz_Class import AutoViz_Class

STEP３：データの読み込み

Kaggleのtitanicで、train.csvを読み込んでいきます。

 command
df_train = pd.read_csv("train.csv")

ここまでできたら準備完了です、早速便利ツールを使っていきましょう！

２．Autovizの実装

では、早速やっていきましょう。

 command
autoviz = AutoViz_Class().AutoViz('train.csv')

この１行の記述だけです！

Pandas-profilingやSweetvizはhtmlに出力しましたが、Autovizは上記のコードを実行すれば、直接Jupyter notebook上で結果を見れます。
下記のような出力がずらっとnotebook上で見られます！

冒頭に紹介した記事のAutovizの説明でも書かれていますが、Autovizはデータビジュアライゼーション（可視化）に特化したツールのようで、上記のようにカラム別のデータ可視化が一気に表示されます。

少しPandas-profilingやSweetvizとは毛色が違う気がしますね。次の章で、Autovizの便利だと思ったポイントを挙げていきます。

３．Autovizの便利ポイント

■便利ポイント１：カラム間の関係性が直感的にわかりやすいこと

下記のように、年齢（Age）やチケット代（Fare）について、目的変数のSurvied別に平均を表示してくれます。

ですので、直感的に

Hawaii

生死に年齢はあまり関係なかったのかな。あと、生き残った人はチケット代が高いから富裕層なのかもしれない

と考えることができます。

私は毎回同じような図を都度コードを書いて表示していたので、これはすごくありがたい機能だと思いました。

■便利ポイント２：ヴァイオリンプロットが表示されること

下記のように、連続値についてはヴァイオリンプロットが表示されます。

実は、私はKaggleやデータサイエンスのコンペに参加する際、ヴァイオリンプロットで可視化をすることが多いので、これは非常に嬉しいと思いました！

ただ、少し残念なのはカテゴリ変数については、カテゴリ別に表示される機能はどうやらなさそうなので、このツールだけで自分が今までやっていたことの補完はできなさそうだなと感じています。

＜Before＞

＜After＞：見づらいですが、カテゴリ変数も相関係数に追加されています。

４．まとめ

いかがでしたでしょうか。

データビジュアライゼーションに特化しているので、これ１つだけで完結することはないかもしれないですが、

便利ポイント１のカラム間の関係性が直感的にわかりやすいのは、特に目的変数と他のカラムの情報がわかるので、使い勝手がいいと感じました。

次回は最後のD-Taleについて紹介していきます。

以下の記事ではデータサイエンス分野でおすすめのudemy講座（Python、統計、SQL、git、docker）を紹介しているのでこちらも是非チェックしてみてください。

最後までお読み頂きありがとうございました。