Dash Slicer

Dash Slicer

dash_slicerライブラリを使うと、3D画像データを1つの次元にそってスライスして視覚化することができます。

Dash Slicerのインストール

Dash Slicerを使うためには、下記のコマンドでインストールを行います。

[コマンド]

1
pip install dash_slicer

サンプル

もっとも簡単なサンプルコードは下記の通りです。

最初に 3D numpy 配列 (ボリューム画像) を読み込み、そのデータを使用して VolumeSlicerオブジェクト をインスタンス化します。(8~9行目)

このオブジェクトは Dash コンポーネントではありませんが、Dash コンポーネントの属性を持っています。

グラフとスライダーをレイアウトに配置し、スライサーが機能するために必要な Storeコンポーネント を配置しています。(12行目)

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import dash
import dash_html_components as html
import imageio
from dash_slicer import VolumeSlicer

app = dash.Dash(__name__, update_title=None)

vol = imageio.volread("imageio:stent.npz")
slicer = VolumeSlicer(app, vol)
slicer.graph.config["scrollZoom"] = False

app.layout = html.Div([slicer.graph, slicer.slider, *slicer.stores])

if __name__ == "__main__":
app.run_server(debug=True, dev_tools_props_check=False)

[ブラウザで表示]

スライスした図を表示することができました。

下部のスライダーを操作することにより、スライスの位置を変更することができます。

またドラッグやスクロールすることにより、移動拡大・縮小をすることもできます。

Dash + Dask

Dash + Dask

Daskは、メモリにのらないような大きなデータを扱う際によく使われるライブラリです。

主な特徴は、以下の通りです。

  • 並列処理・分散処理などを簡単に扱える。
  • Pythonでよく使われるライブラリ(NumPy、Pandas、Scikit-Learnなど)とかなり近いインターフェイスを提供している。
  • データを全てメモリに乗せず、ある単位でメモリに乗せたりして計算するので、通常Pandasなどでメモリに乗り切らない大きなデータセットでも扱える。

サンプル

DashでDaskを使った簡単なサンプルを作成します。

下記のファイルをダウンロードして、ソースコードと同じ位置に配置しておきます。

CSVデータ - https://gist.githubusercontent.com/chriddyp/5d1ea79569ed194d432e56108a04d188/raw/a9f9e8076b837d541398e999dcbac2b2826a81f8/gdp-life-exp-2007.csv

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
import dash
from dash import dcc, html
import plotly.express as px
import dask.dataframe as dd

app = dash.Dash(__name__)

df = dd.read_csv('./gdp-life-exp-2007.csv')

def filter_df(pop_thresh):
filt_df = df[df["population"] > pop_thresh].compute()
return filt_df

def build_graphs():
pop_thresh = 5 * 10 ** 6
filt_df = filter_df(pop_thresh)

fig_out = px.scatter(filt_df, x="gdp per capita", y="life expectancy",
size="population", color="continent", hover_name="country",
log_x=True, size_max=60)
return fig_out

fig = build_graphs()

app.layout = html.Div([
dcc.Graph(
id='life-exp-vs-gdp',
figure=fig
)
])

if __name__ == '__main__':
app.run_server(debug=True)

読み込んだ元のデータフレーム(df) をフィルタリングして、filt_df を作成しています。(filter_df関数

元のデータ(df) は Dask DataFrammeでしたが、compute()メソッドPandas DataFrame に変換されています。(11行目)

この処理により、よりコンパクトなメモリ内オブジェクト(filt_df)を利用して図を作成することができます。

Dashを使うことにより計算コストの高い繰り返しを最小限に抑えることができます。

[ブラウザで表示]

平均寿命とGDPを表したバブルチャートを表示することができました。

指定した範囲を拡大表示したり、移動したり、凡例をクリックしデータの表示と非表示を切り替えたりすることが可能です。

HoloViews⑤(BoundsX stream)

BoundsX stream

HoloViewsでは、グラフに基づいた統計情報を表示することができます。

グラフの特定範囲を指定することで、その指定範囲のデータについての統計情報に反映可能です。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# -*- coding: utf-8 -*-
import dash
from dash import html

import pandas as pd
import numpy as np
import holoviews as hv
from holoviews import streams
from holoviews.plotting.plotly.dash import to_dash

n = 200
xs = np.linspace(0, 1, n)
ys = np.cumsum(np.random.randn(n))
df = pd.DataFrame({'x': xs, 'y': ys})
curve = hv.Scatter(df)

def make_from_boundsx(boundsx):
sub = df.set_index('x').loc[boundsx[0]:boundsx[1]]
return hv.Table(sub.describe().reset_index().values, 'stat', 'value')

dmap = hv.DynamicMap(
make_from_boundsx, streams=[streams.BoundsX(source=curve, boundsx=(0, 0))]
)

layout = curve + dmap

# Create App
app = dash.Dash(__name__)

# Dash display
components = to_dash(
app, [layout], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == '__main__':
app.run_server(debug=True)

[ブラウザで表示]

散布図統計情報のテーブルが表示されました。

ツールバーからBox Selectをクリックし、グラフの特定範囲を選択すると選択されたデータに基づいた統計情報が右のテーブルに反映されます。

ツールバーから選択モードを変更すると、グラフを移動したり拡大・縮小表示したりすることもできます。

HoloViews④(大規模なデータセットの視覚化)

大規模なデータセットの視覚化

Datashaderは、大規模なデータセットを高速に視覚化するためのPythonライブラリです。

HoloViewsは、Datashaderと統合されていて容易に扱うことができます。

Plotly では数十万のデータを処理できますが、Datashader では数千万から数億のデータを処理できます。

Datashader では、データセット全体ではなく、データセットをラスタライズ(複雑なデータを軽くてシンプルなデータに)して扱います。

サンプルコード

今回は、plotly.pyに含まれる irisデータセットを読み込み、ノイズを追加して150万個のデータ(DataFrame) を生成します。(14行目)

この大規模なデータ(DataFrame)を、HoloViews Datasetにラップします。(16行目)

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import dash
from dash import html
from plotly.data import iris

import holoviews as hv
from holoviews.plotting.plotly.dash import to_dash
from holoviews.operation.datashader import datashade

import numpy as np
import pandas as pd

# Load iris dataset and replicate with noise to create large dataset
df_original = iris()[["sepal_length", "sepal_width", "petal_length", "petal_width"]]
df = pd.concat([df_original + np.random.randn(*df_original.shape) * 0.1 for i in range(10000)])

dataset = hv.Dataset(df)

scatter = datashade(
hv.Scatter(dataset, kdims=["sepal_length"], vdims=["sepal_width"])).opts(title="Datashader with %d points" % len(dataset))

app = dash.Dash(__name__)
components = to_dash(
app, [scatter], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == "__main__":
app.run_server(debug=True)

[ブラウザで表示]

150万個のデータを散布図で表示することができました。

データの表示範囲を変更したり、ドラッグやスクロールで移動拡大・縮小を行ってももたつくことなくスムーズに表示できることが確認できます。

HoloViews③(Map Overlay)

Map Overlay

HoloViewsの要素は Tiles要素 に重ねることで、地図上にグラフを表示することができます。

Tiles要素を使って地図上にグラフを表示するには、以下の3つの方法があります。

  1. テンプレート化された WMTS タイルサーバーURL を使用して holoviews.Tiles要素 を作成する。
  2. holoviews.element.tiles.tile_sourcesモジュール の関数を使用して、定義済みのタイルサーバー URLを持つ Tiles要素 を作成する。
  3. コンストラクター引数なしで holoviews.Tiles要素 を作成し、オプションズ(.opts)を使用して mapbox トークンとスタイルを設定する。

plotly mapbox トレースでは地理的位置を指定する場合、経度と緯度を指定しますが、HoloViewsではWebメルカトル座標で指定します。

Webメルカトルの水平座標と垂直座標はそれぞれ eastingnorthing と呼ばれます。

HoloViewsには、座標変換用に Tiles.lon_lat_to_easting_northingTiles.easting_northing_to_lon_lat という関数が用意されています。

サンプル(カーシェア分布)

サンプルとして地図(StamenTerrain WMTS map)上にカーシェアの分布を表示してみます。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import dash
from dash import html
import holoviews as hv
from holoviews.plotting.plotly.dash import to_dash
from holoviews.element.tiles import CartoDark
from plotly.data import carshare

# Convert from lon/lat to web-mercator easting/northing coordinates
df = carshare()
df["easting"], df["northing"] = hv.Tiles.lon_lat_to_easting_northing(
df["centroid_lon"], df["centroid_lat"]
)

points = hv.Points(df, ["easting", "northing"]).opts(color="crimson")
tiles = CartoDark()
overlay = tiles * points

app = dash.Dash(__name__)
components = to_dash(app, [overlay])

app.layout = html.Div(
components.children
)

if __name__ == '__main__':
app.run_server(debug=True)

[ブラウザで表示]

地図が表示され、その上にカーシェアの分布が表示されました。

ドラッグして地図の位置を変えたり、スクロールによって拡大・縮小を行うことができます。

HoloViews②(選択範囲の相互リンク)

選択範囲の相互リンク

HoloViewsでは、選択範囲のデータを相互リンクすることができます。

コールバック関数で定義する必要なく、グラフ間でデータ選択状態を自動的にリンク可能です。

実装手順は以下の通りです。

  1. link_selections.instanceメソッドを使用して link_selections インスタンス (以下のソースコードでは selection_linker) を作成する。(15行目)
  2. このオブジェクトをリンクする要素またはコンテナを含む関数として呼び出す。(16~21行目)

リンクされた要素が to_dash 関数に渡されると、Dash コールバックが自動的に生成されインタラクティブなリンク動作を実現できます。

また、to_dash関数のreset_buttonオプションTrueを設定することで、選択状態をリセットするためのボタンを表示することができます。(36行目)

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
# -*- coding: utf-8 -*-
import dash
from dash import html
from plotly.data import iris

import holoviews as hv
from holoviews import opts
from holoviews.plotting.plotly.dash import to_dash

# Load dataset
df = iris()
dataset = hv.Dataset(df)

# Build selection linking object
selection_linker = hv.selection.link_selections.instance()
scatter = selection_linker(
hv.Scatter(dataset, kdims=["sepal_length"], vdims=["sepal_width"])
)
hist = selection_linker(
hv.operation.histogram(dataset, dimension="petal_width", normed=False)
)

# Use plot hook to set the default drag mode to box selection
def set_dragmode(plot, element):
fig = plot.state
fig['layout']['dragmode'] = "select"
if isinstance(element, hv.Histogram):
# Constrain histogram selection direction to horizontal
fig['layout']['selectdirection'] = "h"

scatter.opts(opts.Scatter(hooks=[set_dragmode]))
hist.opts(opts.Histogram(hooks=[set_dragmode]))

app = dash.Dash(__name__)
components = to_dash(
app, [scatter, hist], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == "__main__":
app.run_server(debug=True)

[ブラウザで表示]

上図に散布図、下図に棒グラフが表示されました。

散布図で特定の範囲を選択すると、その選択範囲に応じたデータが折れ線グラフに反映されます。

折れ線グラフで特定の範囲を選択した場合も、その選択範囲に応じたデータが散布図に反映されます。

またresetボタンを押すことで、両グラフの選択状態をリセットできます。

HoloViews①(イントロダクション)

HoloViewsとは

HoloViewsは、さまざまなデータの視覚化や柔軟に相互作用するプロットを提供することを目的としたプロジェクトです。

HoloViewsでは、Plotly.jsDash などのさまざまなテクノロジーを使用してデータを可視化することができます。

また選択したデータを複数の図にまたがって自動的にリンクしたり、大規模なデータセットを表示したりする場合にとても便利です。

さまざまなデータ構造へのインターフェイスも提供するため、pandas DataFrameをはじめとして、RAPIDS cudf DataFramesMemory Dask DataFramesなどのデータを容易に扱うことができます。

HoloViewsのインストール

HoloViewsを使うためには、下記のコマンドでインストールを行います。

[コマンド]

1
pip install holoviews

次回からHoloViewsを使ったサンプルを実行していきます。

Dash VTK⑨(Clickコールバック)

Clickコールバック

Clickコールバックを使うと、3Dビューのクリックした位置の情報を取得することができます。

まずは下記のURLからcow-nonormals.objというファイルをダウンロードし、ソースコードと同じフォルダに格納します。

データセット - https://github.com/plotly/dash-vtk/tree/master/demos/data

次のソースコードでは、ダウンロードした牛のデータを読み込んで3Dビューで表示します。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
import json

import dash
import dash_vtk
import dash_html_components as html
from dash.dependencies import Input, Output

with open("datasets/cow-nonormals.obj", 'r') as file:
txt_content = file.read()

view = dash_vtk.View(
id="click-info-view",
pickingModes=["click"],
children=[
dash_vtk.GeometryRepresentation(id="cow-geometry", children=[
dash_vtk.Reader(
vtkClass="vtkOBJReader",
parseAsText=txt_content,
),
]),
],
)

# Dash setup
app = dash.Dash(__name__)
server = app.server

app.layout = html.Div([
html.Div(view, style={"width": "100%", "height": "400px"}),
html.B("Output of clickInfo (try clicking on the object above):"),
html.Pre(
id="click-info-output",
style={'overflowX': 'scroll'}
)
])


@app.callback(
Output('click-info-output', 'children'),
Input('click-info-view', 'clickInfo')
)
def display_clicked_content(click_info):
return json.dumps(click_info, indent=2)

if __name__ == "__main__":
app.run_server(debug=True)

コールバック関数(38~43行目)では、クリックした牛の部位の情報をjson形式で表示しています。

[ブラウザで表示]

牛が3Dビューで表示され、特定の部位をクリックするとその位置の情報が表示されます。

またドラッグすることにより角度を変えて表示したり、スクロールで拡大・縮小したりすることも可能です。

Dash VTK⑧(Multi-View with slicing)

Multi-View with slicing

Multi-View with slicingを使うと、物体データを3面からスライスしたイメージを表示することができます。

頭部データとして下記のファイルをダウンロードし、ソースコードと同じフォルダに格納します。

頭部データ - https://github.com/plotly/dash-vtk/blob/master/demos/data/head.vti

下記のソースコードでは、人体の頭部を3面からスライスした3Dビューを表示します。18行目で、ダウンロードしたファイル(head.vti)の位置を指定しています。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
import os
import random

import dash
import dash_bootstrap_components as dbc
import dash_html_components as html
import dash_core_components as dcc
from dash.dependencies import Input, Output, State

import dash_vtk
from dash_vtk.utils import to_volume_state

import vtk

random.seed(42)

# Data file path
head_vti = "head.vti"

# Load dataset from dist
reader = vtk.vtkXMLImageDataReader()
reader.SetFileName(head_vti)
reader.Update()

volume_state = to_volume_state(reader.GetOutput())

sliders = {
"Slice i": dcc.Slider(id="slider-i", min=0, max=256, value=128),
"Slice j": dcc.Slider(id="slider-j", min=0, max=256, value=128),
"Slice k": dcc.Slider(id="slider-k", min=0, max=95, value=47),
"Color Level": dcc.Slider(id="slider-lvl", min=0, max=4095, value=1000),
"Color Window": dcc.Slider(id="slider-window", min=0, max=4095, value=4095),
}

controls = dbc.Card(
body=True,
children=dbc.Row(
[
dbc.Col([dbc.Label(label), component], style={"width": "150px"})
for label, component in sliders.items()
]
),
)

slice_property = {"colorWindow": 4095, "colorLevel": 1000}

slice_view = dash_vtk.View(
id="slice-view",
cameraPosition=[1, 0, 0],
cameraViewUp=[0, 0, -1],
cameraParallelProjection=False,
background=[0.9, 0.9, 1],
children=[
dash_vtk.ShareDataSet(dash_vtk.Volume(state=volume_state)),
dash_vtk.SliceRepresentation(
id="slice-repr-i",
iSlice=128,
property=slice_property,
children=dash_vtk.ShareDataSet(),
),
dash_vtk.SliceRepresentation(
id="slice-repr-j",
jSlice=128,
property=slice_property,
children=dash_vtk.ShareDataSet(),
),
dash_vtk.SliceRepresentation(
id="slice-repr-k",
kSlice=47,
property=slice_property,
children=dash_vtk.ShareDataSet(),
),
],
)

app = dash.Dash(__name__, external_stylesheets=[dbc.themes.BOOTSTRAP])
server = app.server

app.layout = dbc.Container(
fluid=True,
style={"height": "calc(100vh - 30px)"},
children=[
html.Div(
style={"height": "20%", "display": "flex", "alignItems": "center"},
children=[
html.Br(),
controls,
html.Br(),
],
),
html.Div(slice_view, style={"height": "80%"}),
],
)

@app.callback(
[
Output("slice-view", "triggerRender"),
Output("slice-repr-i", "property"),
Output("slice-repr-i", "iSlice"),
Output("slice-repr-j", "property"),
Output("slice-repr-j", "jSlice"),
Output("slice-repr-k", "property"),
Output("slice-repr-k", "kSlice"),
],
[
Input("slider-i", "value"),
Input("slider-j", "value"),
Input("slider-k", "value"),
Input("slider-lvl", "value"),
Input("slider-window", "value"),
],
)
def update_slice_property(i, j, k, level, window):
render_call = random.random()
slice_prop = {"colorLevel": level, "colorWindow": window}
return render_call, slice_prop, i, slice_prop, j, slice_prop, k


if __name__ == "__main__":
app.run_server(debug=True)

[ブラウザで表示]

人体の頭部を3面からスライスした3Dビューが表示されました。

コントローラを使って各面のスライス位置色合いを変えたりすることができます。

またドラッグすることにより角度を変えて表示したり、スクロールで拡大・縮小したりすることも可能です。

Dash VTK⑦(Algorithmコンポーネント)

Algorithmコンポーネント

Algorithmコンポーネントを使うと、特定の物体を3Dで表示することができます。

今回はvtkClass“vtkConeSource”を指定し、三角コーンのような物体を表示します。(22行目)

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
import random

import dash
import dash_vtk
import dash_bootstrap_components as dbc
import dash_html_components as html
import dash_core_components as dcc
from dash.dependencies import Input, Output, State

random.seed(42)

app = dash.Dash(__name__, external_stylesheets=[dbc.themes.BOOTSTRAP])
server = app.server

vtk_view = dash_vtk.View(
id="geometry-view",
children=[
dash_vtk.GeometryRepresentation(
[
dash_vtk.Algorithm(
id="vtk-algorithm",
vtkClass="vtkConeSource",
state={"capping": False, "resolution": 60},
)
]
)
],
)

controls = dbc.Card(
[
dbc.CardHeader("Controls"),
dbc.CardBody(
[
html.P("Resolution:"),
dcc.Slider(
id="slider-resolution",
min=10,
max=100,
step=1,
value=60,
marks={10: "10", 100: "100"},
),
html.Br(),
dbc.Checklist(
options=[{"label": "Capping", "value": "capping"}],
value=[],
id="capping-checklist",
switch=True,
),
]
),
]
)

app.layout = dbc.Container(
fluid=True,
style={"marginTop": "15px", "height": "calc(100vh - 30px)"},
children=[
dbc.Row(
[
dbc.Col(width=4, children=controls),
dbc.Col(
width=8,
children=[
html.Div(
vtk_view,
style={"height": "100%", "width": "100%"},
)
],
),
],
style={"height": "100%"},
),
],
)

@app.callback(
[Output("vtk-algorithm", "state"), Output("geometry-view", "triggerResetCamera")],
[Input("slider-resolution", "value"), Input("capping-checklist", "value")],
)
def update_cone(slider_val, checked_values):
new_state = {"resolution": slider_val, "capping": "capping" in checked_values}
return new_state, random.random()

if __name__ == "__main__":
app.run_server(debug=True)

[ブラウザで表示]

三角コーンのような物体を表示できました。

コントローラを使って解像度を変えたり底辺部分にフタをしたりと表示を変えられます。

またドラッグすることにより角度を変えて表示することも可能です。