Python matplotlib - グラフの描画

Pythonでグラフを描画する場合に、matplotlibというライブラリがよく使われます。

折れ線グラフや散布図などを描くことができ、詳細に表示設定をすることもできます。

グラフの描画

[コード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# 方程式を設定するためにNumpyをインポート
import numpy as np
# グラフを描画するためにmatplotlibをインポート
import matplotlib.pyplot as plt

# x軸の領域と精度を設定
x1 = np.arange(-3, 3, 0.1)
# 方程式のy値を設定
y1 = np.sin(x1)

# x値とy値ともにランダムな値を設定
x2 = np.random.rand(100) * 6 -3
y2 = np.random.rand(100) * 6 -3

# figureオブジェクトを作成
plt.figure()

# １つのグラフで表示する設定
plt.subplot(1, 1, 1)

# 線形とマーカー、ラベルを設定しグラフを描画する
plt.plot(x1, y1, marker='o', markersize=5, label='line')

# 散布図を描画する
plt.scatter(x2, y2, label='scatter')

# 凡例表示を設定
plt.legend()

# グリッド線を表示
plt.grid(True)

# グラフ表示
plt.show()

[実行結果]

結果

Python Numpy⑥ - 行列での四則演算

Numpy行列で四則演算を行っていきます。

行列の準備

まずNumpyをインポートし、２行３列の行列を２つ作成します。

[コード]

1
2
3
4
5
6
7
8
9
10
11
12
import numpy as np

# １つめの２次元配列を定義
x = np.array([[1, 2, 3], [4, 5, 6]])
print('行列 x')
print(x)
print()

# ２つめの２次元配列を定義
y = np.array([[1, 2, 3], [0.1, 0.5, 0.8]])
print('行列 y')
print(y)

[実行結果]

行列 x
[[1 2 3]
 [4 5 6]]

行列 y
[[1.  2.  3. ]
 [0.1 0.5 0.8]]

行列の四則演算


形状が同じ行列同士ではそのまま四則演算が適用できます。

[コード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
print('# 和')
print(x + y)
print()

print('# 差')
print(x - y)
print()

print('# 積')
print(x * y)
print()

print('# 商')
print(x / y)

[実行結果]

# 和
[[2.  4.  6. ]
 [4.1 5.5 6.8]]

# 差
[[0.  0.  0. ]
 [3.9 4.5 5.2]]

# 積
[[1.  4.  9. ]
 [0.4 2.5 4.8]]

# 商
[[ 1.   1.   1. ]
 [40.  10.   7.5]]

行列のブロードキャスト

先ほどは同じ形状同士で四則演算を行いましたが、配列のサイズが完全に一致しなくても片方の次元の長さが１または０の場合、同じ値によって自動的にサイズ拡張されてから計算されます。

[コード]

1
2
3
4
5
z = np.array([[1, 2, 3]])
print(z)
print()

print(x + z)

[実行結果]

[[1 2 3]]

[[2 4 6]
 [5 7 9]]

１行３列のデータが２行３列に拡張されて計算されていることが分かります。


最後に行列ではない単純な数字を足してみます。


[コード]

1
print(x + 100)

[実行結果]

[[101 102 103]
 [104 105 106]]

全ての要素に対して100が足されていることが分かります。

ブロードキャスト機能を使うといちいち要素ごとに四則演算を行う必要がなくシンプルにコードを書くことができ大変便利です。

Python Numpy⑤ - 行列を連結する

今回は、Numpy行列を連結してみます。

行列を連結する

まずNumpyをインポートし、２行３列の行列を２つ作成します。

[コード]

1
2
3
4
5
6
7
8
9
10
11
12
import numpy as np

# １つめの２次元配列を定義
x = np.array([[1, 2, 3], [4, 5, 6]])
print('行列 x')
print(x)
print()

# ２つめの２次元配列を定義
y = np.ones((2, 3))
print('行列 y')
print(y)

[実行結果]

行列 x
[[1 2 3]
 [4 5 6]]

行列 y
[[1. 1. 1.]
 [1. 1. 1.]]

numpy.r_[]を使うと、行について連結することができます。

[コード]

1
2
z = np.r_[x, y]
print(z)

[実行結果]

[[1. 2. 3.]
 [4. 5. 6.]
 [1. 1. 1.]
 [1. 1. 1.]]

numpy.c_[]を使うと、列について連結することができます。

[コード]

1
2
z = np.c_[x, y]
print(z)

[実行結果]

[[1. 2. 3. 1. 1. 1.]
 [4. 5. 6. 1. 1. 1.]]

Python Numpy④ - 転置をとる／行列の形状を変える

Numpy行列の転置をとる方法と形状を変える方法を試してみます。

転置をとる

まずNumpyをインポートし、２行３列の行列を作成します。

1
2
3
4
import numpy as np

# ２次元配列を定義
x = np.array([[1, 2, 3], [4, 5, 6]])

転置をとるにはシンプルに .T とするだけです。

[コード]

1
2
3
4
5
6
print('転置前')
print(x)
print()

print('転置後')
print(x.T)

[実行結果]

転置前
[[1 2 3]
 [4 5 6]]

転置後
[[1 4]
 [2 5]
 [3 6]]

３次元配列を転置することも可能です。

[コード]

1
2
3
4
5
6
7
8
9
# ３次元配列を定義
x = np.array([[[1, 2], [3, 4], [5, 6]]])

print('転置前')
print(x)
print()

print('転置後')
print(x.T)

[実行結果]

転置前
[[[1 2]
  [3 4]
  [5 6]]]

転置後
[[[1]
  [3]
  [5]]

 [[2]
  [4]
  [6]]]

データだけをみるとよく分かりませんが、形状を確認すると逆順になっていることが分かります。

[コード]

1
2
3
4
5
6
print('転置前')
print(x.shape)
print()

print('転置後')
print(x.T.shape)

[実行結果]

転置前
(1, 3, 2)

転置後
(2, 3, 1)

形状を変える

配列の形状を変えるには reshapeメソッド を使います。

[コード]

1
2
3
4
5
6
# ２行３列の配列を定義
x = np.array([[1, 2, 3], [4, 5, 6]])

# １行６列の配列に変更します。
y = x.reshape(1, 6)
print(y)

[実行結果]

[[1 2 3 4 5 6]]

配列を変換する場合、要素数が一致しないとエラーになりますので気を付けてください。

Python Numpy③ - 行列の要素へのアクセス

Numpy行列の要素へのアクセスを試してみます。

行列の要素へのアクセス

まずNumpyをインポートし、２行３列の行列を作成します。

1
2
3
import numpy as np

x = np.array([[1, 2, 3], [4, 5, 6]])

２行３列目の要素を取得するには次のように指定します。

1
print(x[1, 2])

添え字は0から始まるため２行目は 1、３列目は 2 と指定します。

[実行結果]

6

１行目の行をそのまま取得します。 
1
print(x[0])

[実行結果]

[1 2 3]

２次元配列のまま１列目だけを取得します。

1
print(x[:, 0:1])

[実行結果]

[[1]
 [4]]

１次元配列で１列目を取得します。

1
print(x[:, 0])

[実行結果]

[1 4]

Python Numpy② - リストから行列を作成

リスト型データからNumpyの行列を作成します。

リストデータから配列を作成する

まず、以下のようにNumpyをインポートしておきます。

1
import numpy as np

１次元配列を作成します。

Numpyでは (3, ) という配列の形で表現されます。

1
2
x = np.array([1, 2, 3])
print(x)

[実行結果]

[1 2 3]

次に２行３列の２次元データを作成します。

元となるデータは、リスト型データの中にリスト型データがあるイメージです。

Numpyでは (2, 3) という配列の形で表現されます。

1
2
3
x = np.array([[1, 2, 3], [4, 5, 6]])
print(x)

[実行結果]

[[1 2 3]
 [4 5 6]]

配列の形とデータ型を取得する

配列の形は shape という属性で取得することができます。

1
print(x.shape)

[実行結果]

(2, 3)

データ型は dtype という属性で取得することができます。 
1
print(x.dtype)

[実行結果]

int32

Python Numpy① - 行列の作成

Numpyを使うとPythonで行列が簡単に扱えるようになります。

指定した大きさの配列を作成する

まず、以下のようにNumpyをインポートしておきます。

1
import numpy as np

ゼロ埋めの配列を作成する場合には下記のように書きます。

1
2
3
# 2行3列のゼロ埋めの配列を作成
x = np.zeros((2, 3))
print(x)

[実行結果]

[[ 0.  0.  0.]
 [ 0.  0.  0.]]

デフォルトではデータ型が numpy.float64 となりますがint型にしたい場合は、次のようにdtypeを指定します。 
1
2
3
# 2行3列のゼロ埋めの配列を作成(int型)
x = np.zeros((2, 3), dtype=int)
print(x)

[実行結果]

[[0 0 0]
 [0 0 0]]

ゼロ埋めではなく 1埋めにしたい場合はnp.ones()メソッドを使用します。 
1
2
3
# 2行3列の1埋めの配列を作成
x = np.ones((2, 3))
print(x)

[実行結果]

array([[ 1.,  1.,  1.],
       [ 1.,  1.,  1.]])

Python - 順序付き辞書

Pythonの辞書型データは、キーと値をセットで管理でき記述方法も簡潔なのでとても便利なのですが、順序が保障されないため順番に管理したい場合に困ることがあります。

OrderedDictを使うと順序付きの辞書型としてデータを扱うことができます。

コード

OrderedDictを使うためには、まずimport文を記述する必要があります。
（ここが一般的な辞書型を使うよりも手間に感じます。）

1
2
3
4
5
6
7
8
9
10
from collections import OrderedDict

dict = OrderedDict()

dict['key1'] = 'value1'
dict['key2'] = 'value2'
dict['key3'] = 'value3'
dict['key4'] = 'value4'

print(dict)

実行結果

実行結果は次のようになります。

OrderedDict([('key1', 'value1'), ('key2', 'value2'), ('key3', 'value3'), ('key4', 'value4')])

辞書に追加した順でデータが並んでいることが分かります。

私が辞書型データを使う場合には、順番を考慮することが多いのでこのOrderedDictを標準の辞書型データとして欲しいくらいです。

Python fabric - 管理タスクの実行

アプリケーションのデプロイやシステム管理タスクを行うツールとしてfabicモジュールをご紹介します。

fabicモジュールを使うと、ローカルやリモートでのコマンド実行や、ファイルのアップロード・ダウンロードが簡単にできるようになります。

インストール

次のコマンドを実行しfabicをインストールします。

1
2
3
4
# インストール
pip install fabric3


コード

fabfile.pyを作成し、次のようなコードを書きます。ファイル名は必ずfabfile.pyにする必要があります。

4行目から7行目は環境に応じて設定して下さい。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
from fabric.api import *

# 接続情報を設定
env.hosts = ['IPアドレス']
env.user = 'ユーザ名'
env.password = 'パスワード'
env.port = ポート番号

# タスクとなる関数を定義
# この関数名がfabコマンドを実行する際の引数になります。
def task1():
    # ローカルでのコマンド実行
    res = local('ipconfig')
    print('res[{}]'.format(res))    # なぜか結果が格納されない

    # コマンド実行
    res = run('crontab -l')
    print('res[{}]'.format(res))

    # sudoでコマンド実行
    res = sudo('crontab -l')
    print('res[{}]'.format(res))

    # ディレクトリを移動してコマンド実行
    with cd('/tmp/'):
        res = run('pwd')
        print('res[{}]'.format(res))

    # ファイルを転送する(ローカル → サーバ)
    #   *等を使ったパターン指定も可能
    put('test.txt', '/var/samba/.')

    # ファイルを受信する(サーバ → ローカル)
    #   *等を使ったパターン指定も可能
    get('/var/samba/test.json', '.')

一通りの基本操作は上記のコードでカバーできていると思います。

コマンドの実行もファイル転送もとてもシンプルに書くことができます。

実行

動作を確認する場合は、fabコマンドにfabfile.py内の関数名を指定して実行します。

1
fab task1

Python - scp転送を行う

Pythonからscp転送を行ってみます。

scp転送とはssh通信を使ったファイル転送です。

インストール

Pythonからscp転送を行うためには paramiko と scp というライブラリをインストールする必要があります。

1
2
pip install paramiko
pip install scp

コード

scp転送を行う最小コードは次のようになります。

11行目では環境に応じて、IPアドレス・ポート番号・ユーザ名・パスワードを設定してください。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import scp
import paramiko

with paramiko.SSHClient() as ssh:
    # 初回ログイン時に「Are you sure you want to continue connecting (yes/no)?」と
    # きかれても問題なく接続できるように。
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

    # ssh接続する
    print('[ssh接続]')
    ssh.connect('[IPアドレス]', port=[ポート番号], username='[ユーザ名]', password='[パスワード]')

    print('[SCP転送開始]')
    # scp clientオブジェクト生成
    with scp.SCPClient(ssh.get_transport()) as scp:
        #
        # SCP送信（ローカル → サーバ）
        #
        # ・同じファイルがあったら上書きされる。
        # ・ディレクトリは指定できない。
        scp.put('test.csv', '/var/samba/.')

        #
        # SCP受信（サーバ → ローカル）
        #
        # ・同じファイルがあったら上書きされる。
        # ・ディレクトリは指定できない。
        scp.get('/var/samba/mpv-shot0004.jpg', '.')

SCP送信する場合でも、SCP受信する場合でも、送信先に同じ名称のファイルがあると上書きされるので注意して下さい。

また、ディレクトリを指定することはできないので複数ファイルを送信する場合は、tarコマンドやzipコマンドを使って１ファイルにまとめてからscp転送する必要があります。