Dash Enterprise App Gallery⑤ （Dash Autonomous Driving）

September 3, 2022

Dash Autonomous Driving

今回ご紹介するアプリでは、自動運転の様子をシミュレーションします。

自動運転車の走行から収集されたシーンを読み込み、センサーによるデータ(LIDAR、パスなど) と手動で注釈を付けたデータ(境界ボックス) の両方を表示します。

Dash Autonomous Driving Demo - https://dash.gallery/dash-avs-explorer/

ユーザインターフェース(UI)は、基本的なUIと高度なUIがあり、モードをクリックすることで切り替えができます。

どちらのユーザインターフェース(UI)も streetscape.gl を使用して作成されており、Dash コンポーネントとして利用できます。

Dash Enterprise App Gallery④ （Match Analysis Tool）

September 2, 2022

Match Analysis Tool

今回ご紹介するアプリは、サッカーにおけるチームの集合的な動きのパフォーマンスを分析したり、個々のプレーヤーの評価をしたりすることを支援します。

Match Analysis Tool - https://dash.gallery/dash-soccer-analytics/

Dash Enterprise のスナップショット・エンジンを使うと、ユーザーのプレイする様子（ポジショニングやボール回し）を把握できるようになります。

試合の様子を再現することでそれぞれのプレイを確認することができ、コーチやマネージャは下記のような分析を行うことができます。

個々のプレーヤーのオンボール、オフボールでの位置と動き
攻撃時と防御時のチームフォーメーション
チーム全体の動きまたは一部の選手の動作

Dash Enterprise App Gallery③ （Explore object properties）

September 1, 2022

Explore object properties

Explore object propertiesでは、画像セグメンテーションからメタデータを抽出し、データテーブルとリンクして表示することができます。

Explore object properties - https://dash.gallery/dash-label-properties/

まず白血球の一種の画像が左側に表示されています。

この画像は、scikit-image を使用して領域ごと分割されおり、領域の面積や周囲の長さなどの多くのプロパティが左のテーブルに表示されます。

画像とデータテーブルは動的にリンクされていて、一方を操作するともう片方に情報が反映されます。

使い方

このアプリケーションの操作方法は以下の通りです。

画像内の領域にカーソルを合わせると、それらに関する情報が表示され、データテーブル内の対応する行が強調表示されます。
データテーブルの対応する列を選択すると、各領域に表示される情報が変更されます。
データテーブルの行をクリックすると、対応する領域の周りにアウトラインが描画されます。
データテーブルをフィルタリングすると、対応する領域が抽出されます。
データテーブルから行を削除すると、対応する領域が画像から削除されます。

Dash Enterprise App Gallery② （Alignment Chart）

August 31, 2022

Alignment Chart

Alignment Viewerコンポーネントは、FASTAファイル または Clustalファイルから複数のゲノムまたはプロテオミクス配列を表示させることができます。

Alignment Chart - https://dash.gallery/dash-alignment-chart/

マルチシーケンスアラインメントビューアーとなっており、カラースケールサポート、コンセンサスシーケンス、ギャップや保存情報など複数のサブプロットを表示することができます。

Alignment Viewer は、強化されたコンポーネントであるWebGL アーキテクチャ のおかげで、アラインメントのサイズに関係なく遺伝子やタンパク質をすばやく表示できます。

またスライダーやヒートマップを利用して、長いシーケンスでもすばやくスクロールすることが可能です。

AlignmentChart ではシーケンスのチャートのみを表示しますが、AlignmentViewer にはカラースケール、ヒートマップ、およびサブプロットのコントロールが統合されているので、シーケンスをインタラクティブに制御できます。

Dash Enterprise App Gallery① （MANUFACTURING SPC DASHBOARD）

August 30, 2022

今回からはDashを使ったいろいろなアプリケーションをご紹介します。

MANUFACTURING SPC DASHBOARD

MANUFACTURING SPC DASHBOARDは、製造生産ラインでリアルタイムにプロセス品質を監視するためのダッシュボードです。

MANUFACTURING SPC DASHBOARD - https://dash.gallery/dash-manufacture-spc-dashboard/

STARTボタンをクリックすると測定が開始され、STOPボタンをクリックすると測定が停止します。

画面真ん中にあるテーブルのParameter 列のボタンをクリックすると、下部パネルのLive SPC Chart(測定傾向線)に詳細が表示されます。

上部テーブルのSparkLine列と下部パネルのチャートは、プロセス・モニターを表示しています。

リアルタイム測定をシミュレートしており測定中は1秒おきに更新されます。

制御不能 (OOC)を示す信号が発生すると、アラートが表示されます。

Dash Multiple slicers

August 29, 2022

Dash Multiple slicers

前回記事で紹介したDash Slicerは複数設定することができます。

今回は複数のスライサー を各ディメンションごとに作成し、３つのレイアウトに配置します。

各ビューには、他のスライサーの位置を示すインジケーターラインが含まれます。

各スライサーには特定の色 (自動選択) が割り当てられ画像の四隅に表示されます。他のビュー上でのスライサーの位置はインジケーターラインの色で判断することができます。

[ソースコード]

import dash
import dash_html_components as html
import imageio
from dash_slicer import VolumeSlicer

app = dash.Dash(__name__, update_title=None)

vol = imageio.volread("imageio:stent.npz")
slicer0 = VolumeSlicer(app, vol, axis=0)
slicer1 = VolumeSlicer(app, vol, axis=1)
slicer2 = VolumeSlicer(app, vol, axis=2)

slicer0.graph.config["scrollZoom"] = False
slicer1.graph.config["scrollZoom"] = False
slicer2.graph.config["scrollZoom"] = False

app.layout = html.Div(
    style={
        "display": "grid",
        "gridTemplateColumns": "33% 33% 33%",
    },
    children=[
        html.Div([slicer0.graph, html.Br(), slicer0.slider, *slicer0.stores]),
        html.Div([slicer1.graph, html.Br(), slicer1.slider, *slicer1.stores]),
        html.Div([slicer2.graph, html.Br(), slicer2.slider, *slicer2.stores]),
    ],
)

if __name__ == "__main__":
    app.run_server(debug=True, dev_tools_props_check=False)

[ブラウザで表示]

３種類の断面図が表示されました。

画面下部のスライダーを操作すると、３種類のビューのスライス位置が全て更新されます。

まだドラッグして画像の表示位置を変更したり、zoom機能で拡大して表示したりすることも可能です。

Dash Slicer

August 28, 2022

Dash Slicer

dash_slicerライブラリを使うと、３Ｄ画像データを１つの次元にそってスライスして視覚化することができます。

Dash Slicerのインストール

Dash Slicerを使うためには、下記のコマンドでインストールを行います。

[コマンド]

1	pip install dash_slicer

サンプル

もっとも簡単なサンプルコードは下記の通りです。

最初に 3D numpy 配列 (ボリューム画像) を読み込み、そのデータを使用して VolumeSlicerオブジェクト をインスタンス化します。（8～9行目）

このオブジェクトは Dash コンポーネントではありませんが、Dash コンポーネントの属性を持っています。

グラフとスライダーをレイアウトに配置し、スライサーが機能するために必要な Storeコンポーネント を配置しています。（12行目）

[ソースコード]

import dash
import dash_html_components as html
import imageio
from dash_slicer import VolumeSlicer

app = dash.Dash(__name__, update_title=None)

vol = imageio.volread("imageio:stent.npz")
slicer = VolumeSlicer(app, vol)
slicer.graph.config["scrollZoom"] = False

app.layout = html.Div([slicer.graph, slicer.slider, *slicer.stores])

if __name__ == "__main__":
    app.run_server(debug=True, dev_tools_props_check=False)

[ブラウザで表示]

スライスした図を表示することができました。

下部のスライダーを操作することにより、スライスの位置を変更することができます。

またドラッグやスクロールすることにより、移動や拡大・縮小をすることもできます。

Dash + Dask

August 27, 2022

Dash + Dask

Daskは、メモリにのらないような大きなデータを扱う際によく使われるライブラリです。

主な特徴は、以下の通りです。

並列処理・分散処理などを簡単に扱える。
Pythonでよく使われるライブラリ（NumPy、Pandas、Scikit-Learnなど）とかなり近いインターフェイスを提供している。
データを全てメモリに乗せず、ある単位でメモリに乗せたりして計算するので、通常Pandasなどでメモリに乗り切らない大きなデータセットでも扱える。

サンプル

DashでDaskを使った簡単なサンプルを作成します。

下記のファイルをダウンロードして、ソースコードと同じ位置に配置しておきます。

CSVデータ - https://gist.githubusercontent.com/chriddyp/5d1ea79569ed194d432e56108a04d188/raw/a9f9e8076b837d541398e999dcbac2b2826a81f8/gdp-life-exp-2007.csv

[ソースコード]

import dash
from dash import dcc, html
import plotly.express as px
import dask.dataframe as dd

app = dash.Dash(__name__)

df = dd.read_csv('./gdp-life-exp-2007.csv')

def filter_df(pop_thresh):
    filt_df = df[df["population"] > pop_thresh].compute()
    return filt_df

def build_graphs():
    pop_thresh = 5 * 10 ** 6
    filt_df = filter_df(pop_thresh)

    fig_out = px.scatter(filt_df, x="gdp per capita", y="life expectancy",
                         size="population", color="continent", hover_name="country",
                         log_x=True, size_max=60)
    return fig_out

fig = build_graphs()

app.layout = html.Div([
    dcc.Graph(
        id='life-exp-vs-gdp',
        figure=fig
    )
])

if __name__ == '__main__':
    app.run_server(debug=True)

読み込んだ元のデータフレーム(df) をフィルタリングして、filt_df を作成しています。（filter_df関数）

元のデータ(df) は Dask DataFrammeでしたが、compute()メソッドで Pandas DataFrame に変換されています。（11行目）

この処理により、よりコンパクトなメモリ内オブジェクト(filt_df)を利用して図を作成することができます。

Dashを使うことにより計算コストの高い繰り返しを最小限に抑えることができます。

[ブラウザで表示]

平均寿命とGDPを表したバブルチャートを表示することができました。

指定した範囲を拡大表示したり、移動したり、凡例をクリックしデータの表示と非表示を切り替えたりすることが可能です。

HoloViews⑤（BoundsX stream）

August 26, 2022

BoundsX stream

HoloViewsでは、グラフに基づいた統計情報を表示することができます。

グラフの特定範囲を指定することで、その指定範囲のデータについての統計情報に反映可能です。

[ソースコード]

# -*- coding: utf-8 -*-
import dash
from dash import html

import pandas as pd
import numpy as np
import holoviews as hv
from holoviews import streams
from holoviews.plotting.plotly.dash import to_dash

n = 200
xs = np.linspace(0, 1, n)
ys = np.cumsum(np.random.randn(n))
df = pd.DataFrame({'x': xs, 'y': ys})
curve = hv.Scatter(df)

def make_from_boundsx(boundsx):
    sub = df.set_index('x').loc[boundsx[0]:boundsx[1]]
    return hv.Table(sub.describe().reset_index().values, 'stat', 'value')

dmap = hv.DynamicMap(
    make_from_boundsx, streams=[streams.BoundsX(source=curve, boundsx=(0, 0))]
)

layout = curve + dmap

# Create App
app = dash.Dash(__name__)

# Dash display
components = to_dash(
    app, [layout], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == '__main__':
    app.run_server(debug=True)

[ブラウザで表示]

散布図と統計情報のテーブルが表示されました。

ツールバーからBox Selectをクリックし、グラフの特定範囲を選択すると選択されたデータに基づいた統計情報が右のテーブルに反映されます。

ツールバーから選択モードを変更すると、グラフを移動したり拡大・縮小表示したりすることもできます。

HoloViews④（大規模なデータセットの視覚化）

August 25, 2022

大規模なデータセットの視覚化

Datashaderは、大規模なデータセットを高速に視覚化するためのPythonライブラリです。

HoloViewsは、Datashaderと統合されていて容易に扱うことができます。

Plotly では数十万のデータを処理できますが、Datashader では数千万から数億のデータを処理できます。

Datashader では、データセット全体ではなく、データセットをラスタライズ（複雑なデータを軽くてシンプルなデータに）して扱います。

サンプルコード

今回は、plotly.pyに含まれる irisデータセットを読み込み、ノイズを追加して150万個のデータ（DataFrame） を生成します。（14行目）

この大規模なデータ（DataFrame）を、HoloViews Datasetにラップします。（16行目）

[ソースコード]

import dash
from dash import html
from plotly.data import iris

import holoviews as hv
from holoviews.plotting.plotly.dash import to_dash
from holoviews.operation.datashader import datashade

import numpy as np
import pandas as pd

# Load iris dataset and replicate with noise to create large dataset
df_original = iris()[["sepal_length", "sepal_width", "petal_length", "petal_width"]]
df = pd.concat([df_original + np.random.randn(*df_original.shape) * 0.1 for i in range(10000)])

dataset = hv.Dataset(df)

scatter = datashade(
hv.Scatter(dataset, kdims=["sepal_length"], vdims=["sepal_width"])).opts(title="Datashader with %d points" % len(dataset))

app = dash.Dash(__name__)
components = to_dash(
    app, [scatter], reset_button=True
)

app.layout = html.Div(components.children)

if __name__ == "__main__":
    app.run_server(debug=True)