Match Analysis Tool

今回ご紹介するアプリは、サッカーにおけるチームの集合的な動きのパフォーマンスを分析したり、個々のプレーヤーの評価をしたりすることを支援します。

Match Analysis Tool - https://dash.gallery/dash-soccer-analytics/

Dash Enterprise のスナップショット・エンジンを使うと、ユーザーのプレイする様子（ポジショニングやボール回し）を把握できるようになります。

試合の様子を再現することでそれぞれのプレイを確認することができ、コーチやマネージャは下記のような分析を行うことができます。

• 個々のプレーヤーのオンボール、オフボールでの位置と動き
• 攻撃時と防御時のチームフォーメーション
• チーム全体の動きまたは一部の選手の動作

Explore object properties

Explore object propertiesでは、画像セグメンテーションからメタデータを抽出し、データテーブルとリンクして表示することができます。

Explore object properties - https://dash.gallery/dash-label-properties/

まず白血球の一種の画像が左側に表示されています。

この画像は、scikit-image を使用して領域ごと分割されおり、領域の面積や周囲の長さなどの多くのプロパティが左のテーブルに表示されます。

画像とデータテーブルは動的にリンクされていて、一方を操作するともう片方に情報が反映されます。

使い方

このアプリケーションの操作方法は以下の通りです。

• 画像内の領域にカーソルを合わせると、それらに関する情報が表示され、データテーブル内の対応する行が強調表示されます。
• データテーブルの対応する列を選択すると、各領域に表示される情報が変更されます。
• データテーブルの行をクリックすると、対応する領域の周りにアウトラインが描画されます。
• データテーブルをフィルタリングすると、対応する領域が抽出されます。
• データテーブルから行を削除すると、対応する領域が画像から削除されます。

Alignment Chart

Alignment Viewerコンポーネントは、FASTAファイル または Clustalファイルから複数のゲノムまたはプロテオミクス配列を表示させることができます。

Alignment Chart - https://dash.gallery/dash-alignment-chart/

マルチ シーケンス アラインメント ビューアーとなっており、カラースケール サポート、コンセンサス シーケンス、ギャップや保存情報など複数のサブプロットを表示することができます。

Alignment Viewer は、強化されたコンポーネントであるWebGL アーキテクチャ のおかげで、アラインメントのサイズに関係なく遺伝子やタンパク質をすばやく表示できます。

またスライダーやヒートマップを利用して、長いシーケンスでもすばやくスクロールすることが可能です。

AlignmentChart ではシーケンスのチャートのみを表示しますが、AlignmentViewer にはカラースケール、ヒートマップ、およびサブプロットのコントロールが統合されているので、シーケンスをインタラクティブに制御できます。

今回からはDashを使ったいろいろなアプリケーションをご紹介します。

MANUFACTURING SPC DASHBOARD

MANUFACTURING SPC DASHBOARDは、製造生産ラインでリアルタイムにプロセス品質を監視するためのダッシュボードです。

MANUFACTURING SPC DASHBOARD - https://dash.gallery/dash-manufacture-spc-dashboard/

STARTボタンをクリックすると測定が開始され、STOPボタンをクリックすると測定が停止します。

画面真ん中にあるテーブルのParameter 列のボタンをクリックすると、下部パネルのLive SPC Chart(測定傾向線)に詳細が表示されます。

上部テーブルのSparkLine列と下部パネルのチャートは、プロセス・モニターを表示しています。

リアルタイム測定をシミュレートしており 測定中は1秒おきに更新されます。

制御不能 (OOC)を示す信号が発生すると、アラートが表示されます。

Dash Multiple slicers

前回記事で紹介したDash Slicerは複数設定することができます。

今回は複数のスライサー を各ディメンションごとに作成し、３つのレイアウトに配置します。

各ビューには、他のスライサーの位置を示すインジケーターラインが含まれます。

各スライサーには特定の色 (自動選択) が割り当てられ画像の四隅に表示されます。他のビュー上でのスライサーの位置はインジケーターラインの色で判断することができます。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import dash
import dash_html_components as html
import imageio
from dash_slicer import VolumeSlicer

app = dash.Dash(__name__, update_title=None)

vol = imageio.volread("imageio:stent.npz")
slicer0 = VolumeSlicer(app, vol, axis=0)
slicer1 = VolumeSlicer(app, vol, axis=1)
slicer2 = VolumeSlicer(app, vol, axis=2)

slicer0.graph.config["scrollZoom"] = False
slicer1.graph.config["scrollZoom"] = False
slicer2.graph.config["scrollZoom"] = False

app.layout = html.Div(
    style={
        "display": "grid",
        "gridTemplateColumns": "33% 33% 33%",
    },
    children=[
        html.Div([slicer0.graph, html.Br(), slicer0.slider, *slicer0.stores]),
        html.Div([slicer1.graph, html.Br(), slicer1.slider, *slicer1.stores]),
        html.Div([slicer2.graph, html.Br(), slicer2.slider, *slicer2.stores]),
    ],
)

if __name__ == "__main__":
    app.run_server(debug=True, dev_tools_props_check=False)

[ブラウザで表示]

３種類の断面図が表示されました。

画面下部のスライダーを操作すると、３種類のビューのスライス位置が全て更新されます。

まだドラッグして画像の表示位置を変更したり、zoom機能で拡大して表示したりすることも可能です。

Dash Slicer

dash_slicerライブラリを使うと、３Ｄ画像データを１つの次元にそってスライスして視覚化することができます。

Dash Slicerのインストール

Dash Slicerを使うためには、下記のコマンドでインストールを行います。

[コマンド]

1

pip install dash_slicer

サンプル

もっとも簡単なサンプルコードは下記の通りです。

最初に 3D numpy 配列 (ボリューム画像) を読み込み、そのデータを使用して VolumeSlicerオブジェクト をインスタンス化します。（8～9行目）

このオブジェクトは Dash コンポーネントではありませんが、Dash コンポーネントの属性を持っています。

グラフとスライダーをレイアウトに配置し、スライサーが機能するために必要な Storeコンポーネント を配置しています。（12行目）

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

import dash
import dash_html_components as html
import imageio
from dash_slicer import VolumeSlicer

app = dash.Dash(__name__, update_title=None)

vol = imageio.volread("imageio:stent.npz")
slicer = VolumeSlicer(app, vol)
slicer.graph.config["scrollZoom"] = False

app.layout = html.Div([slicer.graph, slicer.slider, *slicer.stores])

if __name__ == "__main__":
    app.run_server(debug=True, dev_tools_props_check=False)

[ブラウザで表示]

スライスした図を表示することができました。

下部のスライダーを操作することにより、スライスの位置を変更することができます。

またドラッグやスクロールすることにより、移動や拡大・縮小をすることもできます。

Dash + Dask

Daskは、メモリにのらないような大きなデータを扱う際によく使われるライブラリです。

主な特徴は、以下の通りです。

• 並列処理・分散処理などを簡単に扱える。
• Pythonでよく使われるライブラリ（NumPy、Pandas、Scikit-Learnなど）とかなり近いインターフェイスを提供している。
• データを全てメモリに乗せず、ある単位でメモリに乗せたりして計算するので、通常Pandasなどでメモリに乗り切らない大きなデータセットでも扱える。

サンプル

DashでDaskを使った簡単なサンプルを作成します。

下記のファイルをダウンロードして、ソースコードと同じ位置に配置しておきます。

CSVデータ - https://gist.githubusercontent.com/chriddyp/5d1ea79569ed194d432e56108a04d188/raw/a9f9e8076b837d541398e999dcbac2b2826a81f8/gdp-life-exp-2007.csv

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

import dash
from dash import dcc, html
import plotly.express as px
import dask.dataframe as dd

app = dash.Dash(__name__)

df = dd.read_csv('./gdp-life-exp-2007.csv')

def filter_df(pop_thresh):
    filt_df = df[df["population"] > pop_thresh].compute()
    return filt_df

def build_graphs():
    pop_thresh = 5 * 10 ** 6
    filt_df = filter_df(pop_thresh)

    fig_out = px.scatter(filt_df, x="gdp per capita", y="life expectancy",
                         size="population", color="continent", hover_name="country",
                         log_x=True, size_max=60)
    return fig_out

fig = build_graphs()

app.layout = html.Div([
    dcc.Graph(
        id='life-exp-vs-gdp',
        figure=fig
    )
])

if __name__ == '__main__':
    app.run_server(debug=True)

読み込んだ元のデータフレーム(df) をフィルタリングして、filt_df を作成しています。（filter_df関数）

元のデータ(df) は Dask DataFrammeでしたが、compute()メソッドで Pandas DataFrame に変換されています。（11行目）

この処理により、よりコンパクトなメモリ内オブジェクト(filt_df)を利用して図を作成することができます。

Dashを使うことにより計算コストの高い繰り返しを最小限に抑えることができます。

[ブラウザで表示]

平均寿命とGDPを表したバブルチャートを表示することができました。

指定した範囲を拡大表示したり、移動したり、凡例をクリックしデータの表示と非表示を切り替えたりすることが可能です。

BoundsX stream

HoloViewsでは、グラフに基づいた統計情報を表示することができます。

グラフの特定範囲を指定することで、その指定範囲のデータについての統計情報に反映可能です。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

# -*- coding: utf-8 -*-
import dash
from dash import html

import pandas as pd
import numpy as np
import holoviews as hv
from holoviews import streams
from holoviews.plotting.plotly.dash import to_dash

n = 200
xs = np.linspace(0, 1, n)
ys = np.cumsum(np.random.randn(n))
df = pd.DataFrame({'x': xs, 'y': ys})
curve = hv.Scatter(df)

def make_from_boundsx(boundsx):
    sub = df.set_index('x').loc[boundsx[0]:boundsx[1]]
    return hv.Table(sub.describe().reset_index().values, 'stat', 'value')

dmap = hv.DynamicMap(
    make_from_boundsx, streams=[streams.BoundsX(source=curve, boundsx=(0, 0))]
)

layout = curve + dmap

# Create App
app = dash.Dash(__name__)

# Dash display
components = to_dash(
    app, [layout], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == '__main__':
    app.run_server(debug=True)

[ブラウザで表示]

散布図と統計情報のテーブルが表示されました。

ツールバーからBox Selectをクリックし、グラフの特定範囲を選択すると選択されたデータに基づいた統計情報が右のテーブルに反映されます。

ツールバーから選択モードを変更すると、グラフを移動したり拡大・縮小表示したりすることもできます。

大規模なデータセットの視覚化

Datashaderは、大規模なデータセットを高速に視覚化するためのPythonライブラリです。

HoloViewsは、Datashaderと統合されていて容易に扱うことができます。

Plotly では数十万のデータを処理できますが、Datashader では数千万から数億のデータを処理できます。

Datashader では、データセット全体ではなく、データセットをラスタライズ（複雑なデータを軽くてシンプルなデータに）して扱います。

サンプルコード

今回は、plotly.pyに含まれる irisデータセットを読み込み、ノイズを追加して150万個のデータ（DataFrame） を生成します。（14行目）

この大規模なデータ（DataFrame）を、HoloViews Datasetにラップします。（16行目）

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import dash
from dash import html
from plotly.data import iris

import holoviews as hv
from holoviews.plotting.plotly.dash import to_dash
from holoviews.operation.datashader import datashade

import numpy as np
import pandas as pd

# Load iris dataset and replicate with noise to create large dataset
df_original = iris()[["sepal_length", "sepal_width", "petal_length", "petal_width"]]
df = pd.concat([df_original + np.random.randn(*df_original.shape) * 0.1 for i in range(10000)])

dataset = hv.Dataset(df)

scatter = datashade(
hv.Scatter(dataset, kdims=["sepal_length"], vdims=["sepal_width"])).opts(title="Datashader with %d points" % len(dataset))

app = dash.Dash(__name__)
components = to_dash(
    app, [scatter], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == "__main__":
    app.run_server(debug=True)

[ブラウザで表示]

150万個のデータを散布図で表示することができました。

データの表示範囲を変更したり、ドラッグやスクロールで移動や拡大・縮小を行ってももたつくことなくスムーズに表示できることが確認できます。

Map Overlay

HoloViewsの要素は Tiles要素 に重ねることで、地図上にグラフを表示することができます。

Tiles要素を使って地図上にグラフを表示するには、以下の3つの方法があります。

1. テンプレート化された WMTS タイルサーバーURL を使用して holoviews.Tiles要素 を作成する。
2. holoviews.element.tiles.tile_sourcesモジュール の関数を使用して、定義済みのタイルサーバー URLを持つ Tiles要素 を作成する。
3. コンストラクター引数なしで holoviews.Tiles要素 を作成し、オプションズ（.opts）を使用して mapbox トークンとスタイルを設定する。

plotly mapbox トレースでは地理的位置を指定する場合、経度と緯度を指定しますが、HoloViewsではWebメルカトル座標で指定します。

Webメルカトルの水平座標と垂直座標はそれぞれ easting と northing と呼ばれます。

HoloViewsには、座標変換用に Tiles.lon_lat_to_easting_northing と Tiles.easting_northing_to_lon_lat という関数が用意されています。

サンプル（カーシェア分布）

サンプルとして地図（StamenTerrain WMTS map）上にカーシェアの分布を表示してみます。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

import dash
from dash import html
import holoviews as hv
from holoviews.plotting.plotly.dash import to_dash
from holoviews.element.tiles import CartoDark
from plotly.data import carshare

# Convert from lon/lat to web-mercator easting/northing coordinates
df = carshare()
df["easting"], df["northing"] = hv.Tiles.lon_lat_to_easting_northing(
    df["centroid_lon"], df["centroid_lat"]
)

points = hv.Points(df, ["easting", "northing"]).opts(color="crimson")
tiles = CartoDark()
overlay = tiles * points

app = dash.Dash(__name__)
components = to_dash(app, [overlay])

app.layout = html.Div(
    components.children
)

if __name__ == '__main__':
    app.run_server(debug=True)

[ブラウザで表示]

地図が表示され、その上にカーシェアの分布が表示されました。

ドラッグして地図の位置を変えたり、スクロールによって拡大・縮小を行うことができます。