アナリティクス
内容
概要
バージョン3.4から、Moodleコアは、単純な記述分析を超えて学習者の成功の予測を提供し、最終的には診断と処方（アドバイス）を学習者と教師に提供する機械学習バックエンドを使用するオープンソースの透明な次世代学習分析を実装します。
Moodle 3.4では、このシステムには2つの組み込みモデルが付属しています。
- 脱落するリスクのある学生
- 授業なし
このシステムは、再利用可能なターゲット、指標、およびその他のコンポーネントに基づいて、新しいカスタムモデルで簡単に拡張できます。詳しくは、 Analytics API開発者向け資料を参照してください。
特徴
- 2つの組み込み予測モデル： " 脱落するリスクのある学生 "と "授業なし"。
- 問い合わせコミュニティに基づく一連の学生エンゲージメント指標。
- サイトのデータに対してモデルを評価するための組み込みツール
- イベントを使用した講師への予防的通知
- 講師はモデルによって識別された学生にメッセージを簡単に送信したり、学生の活動についての詳細を知りたい学生の概要レポートにジャンプしたりできます。
- サードパーティのMoodleプラグイン用の指標と予測モデルを構築するためのAPI
- 機械学習バックエンドプラグインタイプ - PHPとPythonをサポートし、他のMLバックエンドを実装するように拡張することができます。
注：PHP 7.xが必要です。
制限事項
このリリースのMoodle Learning Analyticsには以下の制限があります。
- このリリースに含まれるモデルは、理想的にはMoodleコース修了機能を使用して、以前に修了したコースのあるサイトで「トレーニング」されなければなりません。現在のモデルはこれがされるまでサイトの予測をすることができません。
- このバージョンに含まれる予測モデルでは、コースの開始日と終了日が固定されている必要があり、ローリング登録コースで使用するようには設計されていません。より幅広いコースタイプをサポートするモデルは、将来のバージョンのMoodleに含まれる予定です。
- モデルと予測は現在のところ教師と管理者にしか見えません。
私たちはMoodle Learning Analyticsを強化し続けており、今後も機能の拡張が行われる予定です。私たちの進歩に貢献するために、 Moodle Learning Analytics Communityの会話に参加してください。特に、使用する前にローカルサイトのデータに依存しない実用的な予測モデルを出荷できるようにするには、さまざまなMoodle使用機関のデータセットが依然として必要です。
設定
[サイト管理]> [アナリティクス]> [アナリティクス設定]から分析設定にアクセスできます 。
予測プロセッサ
予測プロセッサは、計算された指標とターゲットから生成されたデータセットを処理し、予測を返す機械学習バックエンドです。 Moodleコアには2つの予測プロセッサが含まれています。
- PHPプロセッサがデフォルトです。このプロセッサを使用するための他のシステム要件はありません。
- Pythonの方がより強力で、モデルのパフォーマンスを説明するグラフを生成します 。追加のツールをセットアップする必要があります。Python自体（ https://wiki.python.org/moin/BeginnersGuide/Download ）およびmoodlemlbackend pythonパッケージ。
pipインストールmoodlemlbackend
時間分割方法
時間分割方法では、2つのコースの長さがまったく同じでなくても、1つのコースから生成された洞察を別のコースで使用することができます。
各時間分割方法は、コース期間をセグメントに分割します。定義された各セグメントの終わりに、予測エンジンが実行され、洞察が生成されます。使用したい時間分割方法のみを有効にすることをお勧めします。評価プロセスは、有効になっているすべての時間分割方法を繰り返すので、時間分割方法が有効になっているほど、評価プロセスは遅くなります。
「単一幅」は、予測が1回行われることを示しますが、時間範囲、たとえばコース終了時の1回の予測を考慮に入れます。予測は範囲の最後で行われます。
「時間分割なし」は、モデルが特定の瞬間のデータのスナップショットに基づいて洞察を生成することを示します。たとえば、「授業なし」モデルは、教師または学生がコースの前の定義された時点でコースに割り当てられているかどうかを調べます。そして、その空のコースでは何の教育も行われない可能性があることをサイト管理者に警告する1つの洞察を出します。
「累積」方法は、予測に含まれるデータ量が異なります。 "4等分"と "4等分の累積"の予測は、期間の各4等分の終わり（コースなど）に行われますが、 "4等分"では最新の4等分の情報のみが予測に含まれます。 「4等分累計」現在までのすべての情報が予測に含まれます。
単一幅および時間分割なしの方法には時間的な制約はありません。モデルは異なる制限を適用しますが（たとえば、コースをトレーニングまたはコース内の一部のデータに使用し、学生が予測を得るためにそれを使用するために必要です）、これらは次のスケジュールタスク実行中に実行されます。 「単一幅」と「時間分割なし」は、コースから脱落するリスクがある学生には適していません。彼らはあなたがただ1つの予測がほしいと思い終わって欲しいところで「授業なし」または「スパマーユーザー」のようなモデルで使われることを意図しています。例を挙げて説明しますと、 '授業なし'モデルは '単一幅'時間分割法を使用します。ターゲットクラス（モデルのメインPHPクラス）は、来週中に開始されるコースのみを受け入れます。コースについて「教えることができない」洞察を提供した後は、それらを提供しません。
「単一幅」と「時間分割なし」の違いは、「単一幅」を使用して分析されたモデルは分析可能な要素（リスクモデルのある学生のコース）の開始日と終了日に限定されることです。システムで利用可能なすべての時間の制約およびすべてのデータが指標の計算に使用されます。
注 ：上記の例はコースを参照していますが、分析可能な要素であれば時分割方法を使用できます。たとえば、登録は開始日と終了日を持つことができるため、登録の側面に関する予測を生成するために時間分割方法を適用できます。開始日と終了日がない分析可能な要素の場合は、異なる時間分割方法が必要になります。例えば、「毎週」の時間分割方法は、前の週の活動に基づいて、ユーザが将来システムにログインする可能性があるかどうかを予測することを目的としたモデルに適用することができる。
モデル出力ディレクトリ
この設定により、機械学習バックエンドデータが保存されるディレクトリを定義できます。このディレクトリが存在し、Webサーバーから書き込み可能であることを確認してください。
モデル管理
同じコース内であっても、Moodleは一度に複数の予測モデルをサポートできます。これは、複数のモデルの性能と精度を比較するためのA / Bテストに使用できます。
Moodleコアには2つの予測モデルが含まれています 。 脱落するリスクのある学生と授業がありません。 Analytics APIを使用して、追加の予測モデルを作成できます 。各モデルは、いくつかの選択された指標に基づいて、単一の特定の「ターゲット」、または結果（望ましいか望ましくないかにかかわらず）の予測に基づいています。
システムモデルは、[ サイト管理]> [アナリティクス]> [分析モデル]から管理できます。
これらはモデルに対して実行できる操作の一部です。
インサイトを見る
システムで利用可能なデータを使用して機械学習アルゴリズムをトレーニングしたら、それぞれの「分析可能なもの」についての洞察（予測）がここに表示されます。含まれているモデル「 脱落するリスクのある学生 、洞察はコースごとに選択されるかもしれません 。 予測は進行中のコースに限定されません - これはモデルによって異なります。
評価する
（デフォルトで無効）サイトで利用可能なすべてのトレーニングデータを取得し、すべての指標とターゲットを計算し、結果として得られたデータセットを機械学習バックエンドに渡すことで、予測モデルを評価します。このプロセスでは、データセットをトレーニングデータとテストデータに分割し、その正確性を計算します。評価プロセスでは、たとえそれが非常に古くても、そのサイトで利用可能なすべての情報を使用することに注意してください。このため、サイトの状態は時間とともに変化するため、トレーニングデータが利用可能になった直後に指標がより確実に計算されるため、評価プロセスによって返される精度は実際のモデルの精度より低くなる可能性があります。精度を記述するために使用される測定基準は、 マシューズ相関係数 （バイナリ分類を評価するために機械学習で使用される測定基準）です。
モデル評価プロセスをコマンドラインから強制的に実行することができます。
$ admin / tool / analytics / cli / evaluate_model.php
ログ
モデルの精度、およびROC曲線、学習曲線のグラフ、テンソルボードの対数、モデルのMatthews相関係数など、機械学習のバックエンドによって生成されたその他の技術情報を含む、以前の評価ログを表示します。利用可能な情報は、使用中の機械学習バックエンドによって異なります。
編集する
指標のリストや時間分割方法を変更することでモデルを編集できます。モデルが変更されると、以前の予測はすべて削除されます。仮定に基づくモデル（静的モデル）は編集できません。
有効/無効
システムで利用可能な新しいデータで機械学習アルゴリズムを訓練し、進行中のコースの予測を取得するスケジュールされたタスクは、障害モデルをスキップします。無効化されたモデルによって生成された以前の予測は、モデルが再度有効化されるまで利用できません。
輸出する
サイトトレーニングデータをエクスポートして、パートナー機関と共有したり、新しいサイトで使用したりします。モデルのエクスポート操作を使用すると、サイト固有のデータを公開せずに、指標と重みに関するモデルデータを含むcsvファイルを生成できます。私達は異なった種類の場所のモデルの価値を評価するのを助けるためにこれらのモデルファイルの提出を求めているでしょう。詳細については、 Learning Analyticsコミュニティを参照してください。
無効なサイト要素
このモデルでは分析できないサイト内の要素についてのレポート
明確な予測
すべてのモデル予測とトレーニングデータを消去します
コアモデル
脱落するリスクのある学生
このモデルは、学生のエンゲージメントが低いことに基づいて、Moodleコースの未修了（ドロップアウト）のリスクがある学生を予測します。このモデルでは、「ドロップアウト」の定義は「コースの最後の4等分には学生の活動がない」ということです。予測モデルは、次の3つの部分からなる、学生のエンゲージメントのコミュニティ検索モデルを使用します。
この予測モデルは、さまざまなコースから分析して結論を導き、それらの結論を適用して新しいコースについて予測することができます。モデルは、過去に提供されたコースの正確な複製における学生の成功についての予測を行うことに限定されません。ただし、いくつかの制限があります。
- このモデルは、予測を行うために一定量のMoodleデータを必要とします。現在のところ、主要なMoodle活動のみが指標セットに含まれています （下記参照）。 「タイムスライス」ごとにいくつかのコアMoodle活動を含まないコース（時間分割方法によって異なります）は、このモデルでは予測サポートが不十分になります。この予測モデルは、実質的なオンライン構成要素と完全にオンラインまたは「ハイブリッド」または「混合」コースで最も効果的になります。
- この予測モデルは、コースの開始日と終了日が決まっていることを前提としており、ローリング登録コースで使用するようには設計されていません。より幅広いコースタイプをサポートするモデルは、将来のバージョンのMoodleに含まれる予定です。このモデル設計の前提のため、このモデルを使用するには、各コースのコース開始日と終了日を正しく設定することが非常に重要です。過去のコースと現在進行中のコースの開始日と終了日の両方が正しく設定されていない場合、予測は正確にはなり得ません。コース終了日フィールドはMoodle 3.2でのみ導入され、過去にコース開始日を設定していないコースもあるため、コマンドラインインターフェーススクリプトを含めます。
$ admin / tool / analytics / cli / guess_course_start_and_end.php
このスクリプトは、受講者の登録数と受講者の活動ログを調べて、過去のコース開始日と終了日を推定しようとします。このスクリプトを実行した後、開始日と終了日の推定スクリプトの結果がかなり正しいことを確認してください。
授業なし
このモデルの洞察は、開始日が近づいているコースのうちどれが指導活動を行わないのかをサイト管理者に知らせます。これは単純なモデルであり、予測を返すために機械学習バックエンドを使用しません。それは、予測に基づいて予測します。例えば、学生がいなければ教えはありません。
予測と洞察
サイト予測モデルとサイトコースの開始日と終了日に応じて、モデルはさまざまな時点で予測の生成を開始します。
各モデルは、どの予測が洞察を生成し、どの予測が無視されるかを定義します。たとえば、予測モデルをドロップアウトするリスクがある学生は、学生が「リスクがない」と予測された場合に洞察を生むことはありません。危険にさらされています。
ユーザーは、[ユーザー]メニュー> [設定]> [通知設定]の順に選択して、インサイト通知を受け取る方法を指定したり、無効にしたりできます。
行動
各洞察には、1つ以上の操作を定義できます。行動は洞察が読まれたときに行動する方法を提供します。これらの操作には、他のユーザーにメッセージを送信する方法、予測が生成されたサンプルに関する情報を提供するレポートへのリンク（既存の学生のレポートなど）、またはモデル予測の詳細を表示する方法が含まれます。
洞察はまた、すべての洞察に適用可能な2つの重要な一般的な行動を提供することができます。まず、ユーザーはその洞察を確認できます。これにより、その特定の予測がユーザの視界から取り除かれ、例えば、危険にさらされている特定の学生についての通知がディスプレイから取り除かれる。
2番目の一般的な操作は、その洞察を「役に立たない」とマークすることです。これにより、この計算に関連する洞察もディスプレイから削除されますが、モデルはこの予測が将来起こりにくくなるように調整されます。
ケイパビリティ
2つの分析機能があります。
