Dash Enterprise App Gallery② (Alignment Chart)

Alignment Chart

Alignment Viewerコンポーネントは、FASTAファイル または Clustalファイルから複数のゲノムまたはプロテオミクス配列を表示させることができます。

Alignment Chart - https://dash.gallery/dash-alignment-chart/

マルチ シーケンス アラインメント ビューアーとなっており、カラースケール サポート、コンセンサス シーケンス、ギャップや保存情報など複数のサブプロットを表示することができます。

Alignment Viewer は、強化されたコンポーネントであるWebGL アーキテクチャ のおかげで、アラインメントのサイズに関係なく遺伝子やタンパク質をすばやく表示できます。

またスライダーやヒートマップを利用して、長いシーケンスでもすばやくスクロールすることが可能です。

AlignmentChart ではシーケンスのチャートのみを表示しますが、AlignmentViewer にはカラースケール、ヒートマップ、およびサブプロットのコントロールが統合されているので、シーケンスをインタラクティブに制御できます。

Dash Enterprise App Gallery① (MANUFACTURING SPC DASHBOARD)

今回からはDashを使ったいろいろなアプリケーションをご紹介します。

MANUFACTURING SPC DASHBOARD

MANUFACTURING SPC DASHBOARDは、製造生産ラインでリアルタイムにプロセス品質を監視するためのダッシュボードです。

MANUFACTURING SPC DASHBOARD - https://dash.gallery/dash-manufacture-spc-dashboard/

STARTボタンをクリックすると測定が開始され、STOPボタンをクリックすると測定が停止します。

画面真ん中にあるテーブルのParameter 列のボタンをクリックすると、下部パネルのLive SPC Chart(測定傾向線)に詳細が表示されます。

上部テーブルのSparkLine列と下部パネルのチャートは、プロセス・モニターを表示しています。

リアルタイム測定をシミュレートしており 測定中は1秒おきに更新されます。

制御不能 (OOC)を示す信号が発生すると、アラートが表示されます。

Dash Multiple slicers

Dash Multiple slicers

前回記事で紹介したDash Slicerは複数設定することができます。

今回は複数のスライサー を各ディメンションごとに作成し、3つのレイアウトに配置します。

各ビューには、他のスライサーの位置を示すインジケーターラインが含まれます。

各スライサーには特定の色 (自動選択) が割り当てられ画像の四隅に表示されます。他のビュー上でのスライサーの位置はインジケーターラインの色で判断することができます。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import dash
import dash_html_components as html
import imageio
from dash_slicer import VolumeSlicer

app = dash.Dash(__name__, update_title=None)

vol = imageio.volread("imageio:stent.npz")
slicer0 = VolumeSlicer(app, vol, axis=0)
slicer1 = VolumeSlicer(app, vol, axis=1)
slicer2 = VolumeSlicer(app, vol, axis=2)

slicer0.graph.config["scrollZoom"] = False
slicer1.graph.config["scrollZoom"] = False
slicer2.graph.config["scrollZoom"] = False

app.layout = html.Div(
style={
"display": "grid",
"gridTemplateColumns": "33% 33% 33%",
},
children=[
html.Div([slicer0.graph, html.Br(), slicer0.slider, *slicer0.stores]),
html.Div([slicer1.graph, html.Br(), slicer1.slider, *slicer1.stores]),
html.Div([slicer2.graph, html.Br(), slicer2.slider, *slicer2.stores]),
],
)

if __name__ == "__main__":
app.run_server(debug=True, dev_tools_props_check=False)

[ブラウザで表示]

3種類の断面図が表示されました。

画面下部のスライダーを操作すると、3種類のビューのスライス位置が全て更新されます。

まだドラッグして画像の表示位置を変更したり、zoom機能で拡大して表示したりすることも可能です。

Dash Slicer

Dash Slicer

dash_slicerライブラリを使うと、3D画像データを1つの次元にそってスライスして視覚化することができます。

Dash Slicerのインストール

Dash Slicerを使うためには、下記のコマンドでインストールを行います。

[コマンド]

1
pip install dash_slicer

サンプル

もっとも簡単なサンプルコードは下記の通りです。

最初に 3D numpy 配列 (ボリューム画像) を読み込み、そのデータを使用して VolumeSlicerオブジェクト をインスタンス化します。(8~9行目)

このオブジェクトは Dash コンポーネントではありませんが、Dash コンポーネントの属性を持っています。

グラフとスライダーをレイアウトに配置し、スライサーが機能するために必要な Storeコンポーネント を配置しています。(12行目)

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import dash
import dash_html_components as html
import imageio
from dash_slicer import VolumeSlicer

app = dash.Dash(__name__, update_title=None)

vol = imageio.volread("imageio:stent.npz")
slicer = VolumeSlicer(app, vol)
slicer.graph.config["scrollZoom"] = False

app.layout = html.Div([slicer.graph, slicer.slider, *slicer.stores])

if __name__ == "__main__":
app.run_server(debug=True, dev_tools_props_check=False)

[ブラウザで表示]

スライスした図を表示することができました。

下部のスライダーを操作することにより、スライスの位置を変更することができます。

またドラッグやスクロールすることにより、移動拡大・縮小をすることもできます。

Dash + Dask

Dash + Dask

Daskは、メモリにのらないような大きなデータを扱う際によく使われるライブラリです。

主な特徴は、以下の通りです。

  • 並列処理・分散処理などを簡単に扱える。
  • Pythonでよく使われるライブラリ(NumPy、Pandas、Scikit-Learnなど)とかなり近いインターフェイスを提供している。
  • データを全てメモリに乗せず、ある単位でメモリに乗せたりして計算するので、通常Pandasなどでメモリに乗り切らない大きなデータセットでも扱える。

サンプル

DashでDaskを使った簡単なサンプルを作成します。

下記のファイルをダウンロードして、ソースコードと同じ位置に配置しておきます。

CSVデータ - https://gist.githubusercontent.com/chriddyp/5d1ea79569ed194d432e56108a04d188/raw/a9f9e8076b837d541398e999dcbac2b2826a81f8/gdp-life-exp-2007.csv

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
import dash
from dash import dcc, html
import plotly.express as px
import dask.dataframe as dd

app = dash.Dash(__name__)

df = dd.read_csv('./gdp-life-exp-2007.csv')

def filter_df(pop_thresh):
filt_df = df[df["population"] > pop_thresh].compute()
return filt_df

def build_graphs():
pop_thresh = 5 * 10 ** 6
filt_df = filter_df(pop_thresh)

fig_out = px.scatter(filt_df, x="gdp per capita", y="life expectancy",
size="population", color="continent", hover_name="country",
log_x=True, size_max=60)
return fig_out

fig = build_graphs()

app.layout = html.Div([
dcc.Graph(
id='life-exp-vs-gdp',
figure=fig
)
])

if __name__ == '__main__':
app.run_server(debug=True)

読み込んだ元のデータフレーム(df) をフィルタリングして、filt_df を作成しています。(filter_df関数

元のデータ(df) は Dask DataFrammeでしたが、compute()メソッドPandas DataFrame に変換されています。(11行目)

この処理により、よりコンパクトなメモリ内オブジェクト(filt_df)を利用して図を作成することができます。

Dashを使うことにより計算コストの高い繰り返しを最小限に抑えることができます。

[ブラウザで表示]

平均寿命とGDPを表したバブルチャートを表示することができました。

指定した範囲を拡大表示したり、移動したり、凡例をクリックしデータの表示と非表示を切り替えたりすることが可能です。

HoloViews⑤(BoundsX stream)

BoundsX stream

HoloViewsでは、グラフに基づいた統計情報を表示することができます。

グラフの特定範囲を指定することで、その指定範囲のデータについての統計情報に反映可能です。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# -*- coding: utf-8 -*-
import dash
from dash import html

import pandas as pd
import numpy as np
import holoviews as hv
from holoviews import streams
from holoviews.plotting.plotly.dash import to_dash

n = 200
xs = np.linspace(0, 1, n)
ys = np.cumsum(np.random.randn(n))
df = pd.DataFrame({'x': xs, 'y': ys})
curve = hv.Scatter(df)

def make_from_boundsx(boundsx):
sub = df.set_index('x').loc[boundsx[0]:boundsx[1]]
return hv.Table(sub.describe().reset_index().values, 'stat', 'value')

dmap = hv.DynamicMap(
make_from_boundsx, streams=[streams.BoundsX(source=curve, boundsx=(0, 0))]
)

layout = curve + dmap

# Create App
app = dash.Dash(__name__)

# Dash display
components = to_dash(
app, [layout], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == '__main__':
app.run_server(debug=True)

[ブラウザで表示]

散布図統計情報のテーブルが表示されました。

ツールバーからBox Selectをクリックし、グラフの特定範囲を選択すると選択されたデータに基づいた統計情報が右のテーブルに反映されます。

ツールバーから選択モードを変更すると、グラフを移動したり拡大・縮小表示したりすることもできます。

HoloViews④(大規模なデータセットの視覚化)

大規模なデータセットの視覚化

Datashaderは、大規模なデータセットを高速に視覚化するためのPythonライブラリです。

HoloViewsは、Datashaderと統合されていて容易に扱うことができます。

Plotly では数十万のデータを処理できますが、Datashader では数千万から数億のデータを処理できます。

Datashader では、データセット全体ではなく、データセットをラスタライズ(複雑なデータを軽くてシンプルなデータに)して扱います。

サンプルコード

今回は、plotly.pyに含まれる irisデータセットを読み込み、ノイズを追加して150万個のデータ(DataFrame) を生成します。(14行目)

この大規模なデータ(DataFrame)を、HoloViews Datasetにラップします。(16行目)

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import dash
from dash import html
from plotly.data import iris

import holoviews as hv
from holoviews.plotting.plotly.dash import to_dash
from holoviews.operation.datashader import datashade

import numpy as np
import pandas as pd

# Load iris dataset and replicate with noise to create large dataset
df_original = iris()[["sepal_length", "sepal_width", "petal_length", "petal_width"]]
df = pd.concat([df_original + np.random.randn(*df_original.shape) * 0.1 for i in range(10000)])

dataset = hv.Dataset(df)

scatter = datashade(
hv.Scatter(dataset, kdims=["sepal_length"], vdims=["sepal_width"])).opts(title="Datashader with %d points" % len(dataset))

app = dash.Dash(__name__)
components = to_dash(
app, [scatter], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == "__main__":
app.run_server(debug=True)

[ブラウザで表示]

150万個のデータを散布図で表示することができました。

データの表示範囲を変更したり、ドラッグやスクロールで移動拡大・縮小を行ってももたつくことなくスムーズに表示できることが確認できます。

HoloViews③(Map Overlay)

Map Overlay

HoloViewsの要素は Tiles要素 に重ねることで、地図上にグラフを表示することができます。

Tiles要素を使って地図上にグラフを表示するには、以下の3つの方法があります。

  1. テンプレート化された WMTS タイルサーバーURL を使用して holoviews.Tiles要素 を作成する。
  2. holoviews.element.tiles.tile_sourcesモジュール の関数を使用して、定義済みのタイルサーバー URLを持つ Tiles要素 を作成する。
  3. コンストラクター引数なしで holoviews.Tiles要素 を作成し、オプションズ(.opts)を使用して mapbox トークンとスタイルを設定する。

plotly mapbox トレースでは地理的位置を指定する場合、経度と緯度を指定しますが、HoloViewsではWebメルカトル座標で指定します。

Webメルカトルの水平座標と垂直座標はそれぞれ eastingnorthing と呼ばれます。

HoloViewsには、座標変換用に Tiles.lon_lat_to_easting_northingTiles.easting_northing_to_lon_lat という関数が用意されています。

サンプル(カーシェア分布)

サンプルとして地図(StamenTerrain WMTS map)上にカーシェアの分布を表示してみます。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import dash
from dash import html
import holoviews as hv
from holoviews.plotting.plotly.dash import to_dash
from holoviews.element.tiles import CartoDark
from plotly.data import carshare

# Convert from lon/lat to web-mercator easting/northing coordinates
df = carshare()
df["easting"], df["northing"] = hv.Tiles.lon_lat_to_easting_northing(
df["centroid_lon"], df["centroid_lat"]
)

points = hv.Points(df, ["easting", "northing"]).opts(color="crimson")
tiles = CartoDark()
overlay = tiles * points

app = dash.Dash(__name__)
components = to_dash(app, [overlay])

app.layout = html.Div(
components.children
)

if __name__ == '__main__':
app.run_server(debug=True)

[ブラウザで表示]

地図が表示され、その上にカーシェアの分布が表示されました。

ドラッグして地図の位置を変えたり、スクロールによって拡大・縮小を行うことができます。

HoloViews②(選択範囲の相互リンク)

選択範囲の相互リンク

HoloViewsでは、選択範囲のデータを相互リンクすることができます。

コールバック関数で定義する必要なく、グラフ間でデータ選択状態を自動的にリンク可能です。

実装手順は以下の通りです。

  1. link_selections.instanceメソッドを使用して link_selections インスタンス (以下のソースコードでは selection_linker) を作成する。(15行目)
  2. このオブジェクトをリンクする要素またはコンテナを含む関数として呼び出す。(16~21行目)

リンクされた要素が to_dash 関数に渡されると、Dash コールバックが自動的に生成されインタラクティブなリンク動作を実現できます。

また、to_dash関数のreset_buttonオプションTrueを設定することで、選択状態をリセットするためのボタンを表示することができます。(36行目)

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
# -*- coding: utf-8 -*-
import dash
from dash import html
from plotly.data import iris

import holoviews as hv
from holoviews import opts
from holoviews.plotting.plotly.dash import to_dash

# Load dataset
df = iris()
dataset = hv.Dataset(df)

# Build selection linking object
selection_linker = hv.selection.link_selections.instance()
scatter = selection_linker(
hv.Scatter(dataset, kdims=["sepal_length"], vdims=["sepal_width"])
)
hist = selection_linker(
hv.operation.histogram(dataset, dimension="petal_width", normed=False)
)

# Use plot hook to set the default drag mode to box selection
def set_dragmode(plot, element):
fig = plot.state
fig['layout']['dragmode'] = "select"
if isinstance(element, hv.Histogram):
# Constrain histogram selection direction to horizontal
fig['layout']['selectdirection'] = "h"

scatter.opts(opts.Scatter(hooks=[set_dragmode]))
hist.opts(opts.Histogram(hooks=[set_dragmode]))

app = dash.Dash(__name__)
components = to_dash(
app, [scatter, hist], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == "__main__":
app.run_server(debug=True)

[ブラウザで表示]

上図に散布図、下図に棒グラフが表示されました。

散布図で特定の範囲を選択すると、その選択範囲に応じたデータが折れ線グラフに反映されます。

折れ線グラフで特定の範囲を選択した場合も、その選択範囲に応じたデータが散布図に反映されます。

またresetボタンを押すことで、両グラフの選択状態をリセットできます。

HoloViews①(イントロダクション)

HoloViewsとは

HoloViewsは、さまざまなデータの視覚化や柔軟に相互作用するプロットを提供することを目的としたプロジェクトです。

HoloViewsでは、Plotly.jsDash などのさまざまなテクノロジーを使用してデータを可視化することができます。

また選択したデータを複数の図にまたがって自動的にリンクしたり、大規模なデータセットを表示したりする場合にとても便利です。

さまざまなデータ構造へのインターフェイスも提供するため、pandas DataFrameをはじめとして、RAPIDS cudf DataFramesMemory Dask DataFramesなどのデータを容易に扱うことができます。

HoloViewsのインストール

HoloViewsを使うためには、下記のコマンドでインストールを行います。

[コマンド]

1
pip install holoviews

次回からHoloViewsを使ったサンプルを実行していきます。