今回は、Transformersを使って質疑応答を行います。
（Transformersのインストールは完了している想定となります。）
質疑応答では、コンテキストと質問からコンテキスト内に含まれる応答を抽出します。
ソースとしては、タスク名に‘question-answering’を指定したパイプラインを作成し、コンテキストと質問を渡して応答を推論します。
[Google Colaboratory]
1 | from transformers import pipeline |
実行結果は下記の通りです。
[実行結果]
1 | {'score': 0.6564476490020752, 'start': 245, 'end': 297, 'answer': 'text classification, question answering, and summary'} |
スコア65で、テキスト分類、質疑応答、要約という結果になりました。
正しい応答になっていると思います。
次回は、要約を行います。
今回は、Transformersのインストールとテキスト分類を行います。
Transformersのインストールを行うためには次のコマンドを実行します。
実行環境としてはGoogle Colaboratoryを想定しています。
[Google Colaboratory]
1 | !pip install transformers[ja]==4.4.2 |
次のような実行結果が表示されればインストールは成功しています。
[実行結果]
1 | Collecting transformers[ja]==4.4.2 |
テキスト分類は、テキストを事前に定義されたカテゴリに分類する処理となります。
今回は文章を「ポジティブ」か「ネガティブ」かに分類してみます。
タスク名に‘sentiment-analysis’を指定したパイプラインを作成し、そのパイプラインに任意の文章を渡します。
[Google Colaboratory]
1 | from transformers import pipeline |
[実行結果]
1 | Downloading: 100% |
スコア99以上で‘POSITIVE’な文章であると判断できました。
少し文章を変更して再度テキスト分類を行います。
[Google Colaboratory]
1 | from transformers import pipeline |
[実行結果]
1 | [{'label': 'NEGATIVE', 'score': 0.9983341693878174}] |
スコア99以上で‘NEGATIVE’な文章であると判断できました。
次回は、質問応答を行います。
Transformersは、世界中で使われているデファクトスタンダードな自然言語処理の深層学習フレームワークです。
このフレームワークを使うことで、最先端の自然言語処理を体験することができます。
Transformersは、PyTorchとTensorflowの両方に対応していて、深層学習を使って下記のような自然言語処理を行うことができます。
次のような最先端のモデルアーキテクチャを提供しています。
様々な事前学習モデルが提供されており、最先端の自然言語処理アルゴリズムを容易に試すことができます。
提供されている事前学習モデルは以下のサイトで確認できます。
提供されている事前学習モデル - https://huggingface.co/transformers/pretrained_models.html
またコミュニティで提供されている学習済みモデルもあります。
The All community building the future - https://huggingface.co/models
次回は、Transformersのインストールとテキスト分類を行います。
テキストインデックスの作成とTTLインデックスの作成を行います。
testコレクションのnameフィールドにテキストインデックスを作成します。
テキストインデックスを作成する場合は、“text”を指定します。
[Mongoシェル]
1 | // テキストインデックスを作成 |
“name_text”というテキストインデックスを作成することができました。
TTLインデックスを作成するためにはexpireAfterSecondsに秒数を指定します。
TTLインデックスに指定できるのは、Date型またはDate型を含む配列のフィールドです。
expireAfterSecondsで指定した秒数が経過したドキュメントを自動で削除することができます。
[Mongoシェル]
1 | // Dateフィールドを持つドキュメント作成 |
ttltestコレクションのtimeフィールドに、60秒でドキュメントが削除されるようにTTLインデックスを作成しました。
これでドキュメントが60秒経過後に自動的に削除されるようになります。
インデックスの再構築を行うと、コレクションにあるすべてのインデックスを一旦削除してインデックスを作り直します。
インデックスを再構築する理由は次の通りです。
インデックスの再構築にはreIndex()を使用します。
[Mongoシェル]
1 | > db.group.reIndex() |
groupコレクションに対してインデックスの再構築を行うことができました。
次回は、テキストインデックスの作成とTTLインデックスの作成を行います。
今回は、インデックスの削除を行います。
インデックスの削除にはdropIndexを使用します。
第１引数にはインデックス名を指名します。
（インデックス名はgetIndexesで取得できるnameフィールドの値です。）
[Mongoシェル]
1 | > db.position.getIndexes() |
positionコレクションのname_1インデックスを削除することができました。
次回は、インデックスの再構築を行います。
今回は、インデックス作成のオプションを確認します。
インデックスを作成する時には、オプション指定することができます。
オプションの一覧は下記の通りです。
| 項目名 | 説明 |
|---|---|
| background | バックグラウンドでインデックスを作成します。 デフォルトはfalseです。 |
| name | インデックス名を指定します。 |
| unique | tureを指定するとユニークインデックスを作成します。 ユニークインデックスにすると、nullは入れられません。 デフォルトはfalseです。 |
| partialFilterExpression | フィルターを作成し、フィルターに一致したドキュメントの部分インデックスを作成します。 フィルターには以下の条件を設定できます。 ・等式(key:valueまたは$eq) ・$exists (trueのみ) ・$gt, $gte, $lt, $lte ・$type ・$and |
memberコレクションに対して、インデックス名を”index_e_id”とし、バックグラウンドでインデックスを作成すると下記のようになります。
インデックスのオプションはcreateIndexの第２引数に指定します。
[Mongoシェル]
1 | > db.member.createIndex({e_id:1}, {name:'index_e_id', background:true}) |
memberコレクションに対して、所属(group)が”開発1部”のドキュメントだけに対してインデックスを作成すると下記のようになります。
[Mongoシェル]
1 | > db.member.createIndex({e_id:1}, {partialFilterExpression:{group:"開発1部"}}) |
次回は、インデックスの削除を行います。
インデックスの確認と作成を行います。
memberコレクションのインデックスを確認します。
インデックスの確認にはgetIndexes()を使用します。
[Mongoシェル]
1 | > db.member.getIndexes() |
_idフィールドに昇順(=1)のインデックスが作成されていることが分かります。
インデックス名(name)は_id_です。
これは自動的に作成されるデフォルトインデックスです。
memberコレクションにインデックスを作成します。
インデックスの作成にはcreateIndex()を使います。
引数にはフィールド名と昇順(=1)か降順(=-1)を指定します。
フィールド名はカンマ区切りで複数指定可能です。
[Mongoシェル]
1 | > db.member.createIndex({LastName:1}) |
インデックスが1つから2つに増えたことが確認できます。
“ok”が1となっているのでインデックスが1つ作成されたということになります。
作成したインデックスを確認します。
[Mongoシェル]
1 | > db.member.getIndexes() |
デフォルトインデックス(_id)のほかに、LastNameフィールドにもインデックスが作成されていることが確認できます。
インデックス作成時にインデックス名を指定していなかったので、自動的に”LastName_1”というインデックス名になっています。
次回は、インデックス作成のオプションを確認します。
MongoDBでは大量のデータを処理することが多いため、インデックスの作成は必須の設定と言えます。
今回はインデックスの種類についてまとめます。
MongoDBでは、次のようなインデックスの種類があります。
性能面の観点からインデックスをつけるべきフィールドは次の２つです。
インデックスを作成すると検索を速くすることができますが、無駄なインデックスがあると次のようなデメリットが発生するので注意が必要です。
ただ、このデメリット以上に検索がとても速くなるため、ほとんどのコレクションでインデックスを使うことになります。
次回は、インデックスの確認と作成を行います。
今回は、一括削除を行います。
順次処理で一括削除を行います。
（並列処理で実行したい場合は、initializeOrderedBulkOp()の代わりにinitializeUnorderedBulkOp()を使います。）
処理の詳細は以下の通りです。
[Mongoシェル]
1 | > var bulk = db.member.initializeOrderedBulkOp() |
３件のドキュメントを一括で削除することができました。
上記の処理をPythonで行うと、次のようになります。
[ソースコード]
1 | import pymongo |
次回からは、検索を高速化するためのインデックに関する操作を行います。