小テスト統計レポート
小テスト統計レポートは、小テストをクリックして歯車メニューから統計にアクセスするか、Boostベースでないものを使用している場合は、 [管理]> [小テスト管理]> [受験結果]> [統計]にアクセスして表示できます。
このレポートでは、小テストの統計的(心理測定)分析、およびその中の問題について説明します。このレポートの上部には、小テスト全体の概要が記載されています。次のセクションでは、すべての問題を表形式で示す分析を行います。このセクションには、個々の問題を編集したり、特定の問題の詳細な分析にドリルダウンしたりするためのリンクがあります。このレポートの最後のセクションは、正解の割合(施設指数)と識別率指数の棒グラフです。
完全なレポート(概要、およびすべての問題の詳細な分析)は、小テスト構造分析表と同様にさまざまな形式でダウンロードできます。
内容
統計レポートを見る理由
小テストの統計には非常に技術的なことがたくさんあります。データ科学者や数学者であれば素晴らしいですが、たとえそうでなくても、小テストがあなたの学生にどれほど役立つかについて学ぶのに役に立つ情報があります。あなたがすべての技術を理解していないならば。
「壊れた」問題を見つける
すべてがうまくいっていれば、小テスト全体で高い評価を得た学生はそれぞれの問題を正しく受ける可能性が高いということになります。問題を作成したときに間違えた場合、たとえば誤った解答を誤って正しいとマークした場合、全体的なスコアが高いほど、正しい答えを選択し、正しい解答を選択する可能性が高くなります。間違っています。これは、「識別指数」列に表示されます。数が少ない場合は、問題がある可能性があります。壊れた問題だけが問題を引き起こす可能性があるわけではないので、調査に行く必要がありますが、それは心配の兆候です。そのため、Moodleはこのコラムの低い値を強調表示し、目立つようにします。
ヒント:[識別指数]列を見てください。数が少ない場合は、その問題を調べてください。
「壊れた」問題を見つけた場合は、さまざまな選択肢があります。問題を編集してから問題を解決するために小テストを再評定することもできます(ただし、問題を受験た後は非常に慎重に編集してください)。または、小テストの編集ページに移動してその問題のマークを設定できます。 0(ゼロウェイト)にします。
ランダムな変種が公平であることを保証する
小テストを作成するときにランダム化を使用できる方法はたくさんあります。時にはあなたは100のセットから10の問題の選択を引き出すトピックreivew小テストのようなものがあるでしょうが、ここで考慮したいケースはあなたがいくつかの異なるが似ているバージョンを持っているときです。 '同じ'問題の。以下のための造形小テストそれは学生に練習するより多くのチャンスを与えるために、良いです。 要約小テストの場合は、コピーによる変更が少なくなるので便利です。あなたは 'Variant of question 1'のような異なるカテゴリーからのランダムな選択を使ってこれを構築することができます、あるいは内部のランダムな変種を持つCalculatedやSTACKのような問題タイプ、あるいはその両方でそれをすることができます。 ( 詳しくはこちらをご覧ください 。)
あなたがこれをしているならば、特にこれを信用のためにしているならば、あなたはおそらくそれが「公正」であることを確実にしたいと思うでしょう。ある変種を他の変種よりもずっと硬くしたくないのです。これを確認するには、小テストの特定の場所に表示されたさまざまな問題をすべて表示する補助行を調べます。特に 'Facility index'を見てください。これは基本的にどれだけの人がそのqustionの権利を得たかです。それらの数が変種によって大きく異なる場合、それは小テストが不公平かもしれないというサインです。
ヒント:バリアントを使用している場合は、[施設インデックス]列を見て、特定の問題のすべての異なるバリアントが同じ施設インデックスを持っていることを確認してください。
1つの問題に大きな違いがある場合は、重みをゼロにすることができます。また、将来小テストを再利用する場合は、そのバリアントを削除して新しい小テストを追加することを検討してください。
もちろん、このようなバリアントがある場合は、そのバリアントのどれもがそのように壊れていないことを確認するために、すべてのさまざまなバリアントの識別インデックスをチェックする必要があります。
学生が特定の問題にどのように対応しているかを理解する
あなたが小テストで特定の問題を設定するとき、あなたは通常特定のスキルまたは少しの知識をテストすることを意図してそうします。しかし、それがあなたが本当に測定しているものであることを確信することができますか?
この例として、Open Universityの「数学者のための数学者」コースがありました。そこでは、学生が方程式の中のいくつかの数を代入できるかどうかをテストし、答えを計算機で計算するというテストが行われます。 OUサイエンステストの標準的な方法として、学生は正しい小数点以下の桁数(すでに教えられ評価されている)に答えを与えなければなりませんでした。しかし、彼らが答えを見たとき、彼らは計算機で正しいことを明らかに計算した多くの学生を見つけました、しかし彼らはあまりにも多くの小数位を入力したので間違っているとマークされました。 ( https://oro.open.ac.uk/39669/ 2014、ヨルダン)
統計レポートはこの種の分析を非常に簡単にします。後述するように、特定の問題についての詳細をクリックすると、そのページの下部に、与えられたさまざまな解答、正解か不正解か、および各受験結果を与えた学生数が表示されます。
上記のいくつかのチェックで問題が発生する可能性があるかどうかを調べるには、ここから始めるのが良いでしょう。
あなたがこの情報を使うことができるもう一つの方法は、もしあなたがより短い答えやNumericalのようなもっと自由な問題タイプを使っているなら、あなたは何人かの学生が同じ間違いをしたことに気づくかもしれません。その後、問題をバックエンドで編集して、その答えを出した学生に特定のフィードバックを追加することができます。
ヒント:特に自由解答形式の問題を使用している場合は、解答の分析を見て、解答者が実際に与えている解答を確認してください。
総合小テスト統計
このレポートの情報に関する詳細は、次のとおりです。
小テスト情報
このセクションでは、テスト全体に関する基本的な情報をいくつか示します。あなたは見るでしょう:
- 小テスト名
- コース名
- 開始日と終了日(該当する場合)
- 最初の受験または段階的な受験の総数
- 初回または全受験の平均評点
- 中間評定
- 評定の標準偏差
- 評定分布の歪度と尖度
- 内部一貫性係数( Cronbach Alphaとも呼ばれる) - これは、小テストのすべての項目が基本的に同じものをテストしているかどうかを示す尺度です。したがって、それはテキストの一貫性を測定します。これは妥当性の下限です。ここの数値が大きいほど優れています。
- エラー率 - 評定の変化は2つの原因から来ます。最初に何人かの学生はテストされているものにおいて他のものより優れています、そして次に第二にいくつかのランダムな変化があります。小テストの評定は主に学生の能力によって決定され、ランダムな変動は最小限に抑えられます。エラー率は、どの程度の変動がランダムであるかを推定します。したがって、低い方が優れています。
- 標準誤差 - これは誤差比から導き出され、各テスト評定にランダムな変動がどの程度あるかの尺度です。したがって、標準誤差が10%で、ある学生の得点が60%の場合、実際の能力はおそらく50%から70%の間にあります。
小テスト構造分析
このセクションでは、小テスト内のすべての問題とさまざまな統計を表形式で一覧表示します。
- 問題# - 問題番号(位置)、問題タイプのアイコン、プレビューと編集のアイコンを表示します
- 問題名 - この名前は、この問題の詳細な分析へのリンクでもあります(下記の小テスト問題統計を参照)。
- 受験 - 何人の学生がこの問題を受験たか。
- 施設指数 - 問題に正しく答えた学生の割合。
- 標準偏差 - この問題のスコアにどれほどの変動があったか。
- 当てずっぽうの評点 - 学生がランダムに推測することによって得られるスコア
- 意図された加重/有効加重 - 意図体重は、小テストを編集するときに設定するものです。問題1が小テストの合計10点のうち3点の価値がある場合、意図した重みは30%です。実効ウェイトは、受験結果から、実際の変動のどれだけがこの問題によるものかを推定する受験です。したがって、理想的には、実効ウェイトは意図したウェイトに近くなるべきです。
- 識別指数 - これは、この問題の得点と小テスト全体の得点の相関関係です。つまり、良い問題では、この問題で高い得点を得た学生は、小テスト全体で高い得点を示した学生と同じであることを願います。数値が大きいほど優れています。
- 識別率 - 識別指数に似たもう1つの尺度。
- ランダムな問題が使用される場合、ランダムな問題に対してテーブル内に1つの行があり、その後にこのランダムな問題の代わりに選択された実際の問題ごとに1つの行が続きます。
- 各小テストに対して小テストの問題がランダム化されると、小テストモジュールはデフォルトの位置を決定します。
- 小テスト統計計算は、これらすべての量に関するさらなる詳細を与えます。
小テスト統計表
小テストの問題統計
ナビゲーション>小テストの名前>受験結果>統計(任意の問題のタイトルをクリック)1つの問題の統計を単一のページに表示することができます。このビューでは、各解答を選択した小テスト受講者の割合(解答の分析)も表示され、問題に関する基本情報が表示されます。
- 問題情報 - 問題に関する基本情報、小テストの名前、問題、問題の種類、小テスト内の位置、および問題自体。このページにはプレビューと編集のアイコンがあります。
- 問題の統計 - これは、この問題に関連する小テスト構造分析の表の行からの情報を繰り返します。
- レポートオプション - すべての受験でレポートを実行するか、各学生による最初の受験だけでレポートを実行するかを選択できます。レポートで使用されている計算の一部は、複数の受験を許可する小テストには適用されない可能性があるという仮定に基づいています。
:ヒント:統計の計算にはしばらく時間がかかります。レポートは計算された値を保存し、それらを最大15分間再利用します。そのため、統計が最近計算された日時がすぐに再計算されるボタンとともに表示されます。
個々の問題に対する解答の分析
これにより、問題の各部分に与えられたさまざまな解答の頻度分析が得られます。分析の詳細は問題の種類によって異なり、すべての問題の種類がこれをサポートしているわけではありません。例えば、作文問題の解答は分析できません。