Certainty-Based Markingの使用
注： MoodleのCBMは、UCL（ロンドン、イギリス）のGardner-Medwin教授によって開発された戦略に基づいています。より多くのドキュメンテーションはここから入手できます 。
Certainty-Based Marking（CBM）とは何ですか？
- それぞれの答えの後に、あなたはあなたの答えが正しいということをあなたがどれだけ確信しているかを言います。
- これは3段階の評価尺度です。C= 1（低）、C = 2（中）、またはC = 3（高）
- 「確か」や「非常に確実」のような言葉に頼ってはいません
- 点数体系とペナルティのリスクによって、各Cレベルをいつ使用するかが決まります。
| 確実性レベル | C = 1 | C = 2 | C = 3 | 応答なし または「アイデアなし」 |
|---|---|---|---|---|
| 正しい場合の得点 | 1 | 2 | 3 | （0） |
| 間違っていた場合の得点 | 0 | -2 | -6 | （0） |
| 確率が正しい | <67％ | 67〜80％ | > 80％ | - |
| 説明 | 自信がない | 半々 | 確信がある | - |
- あなたが正しいとき確実性レベル1、2、3は常にあなたに点数1、2、または3を与える
- あなたが間違っているなら、あなたがC = 1を選ばなかったなら、あなたは点数を失うでしょう：C = 2で-2とC = 3で-6
なぜCBMを使うのですか？
- 学生に答えがどれほど信頼できるかについて考えさせること。
- 学生が問題について理解しようとするのを奨励するために、ただ質問にただちに反応するのではありません。
- 挑戦する：学生が間違っていても得点を失う危険がないのであれば、彼らは本当に答えを知りません。
- 学生が慎重な思想家であるが、あまり自信がない場合。彼らは自信を持って得るでしょう。
- それはより公正です - 思慮深くそして自信を持って正しい答えは幸運な昼寝より多くの印に値します。
- 学生は自信を持って間違った答えをする場合は注意を払う必要があります。
- 効率的な研究には、私たちのアイデアがどのように生まれ、どれほど信頼性があるのかを常に疑問視する必要があります。
最善の確実性レベルを決定する方法
- 確実なら、明らかにC = 3で最善を尽くします。しかし、あなたが実際に間違っているならば、あなたは2度目の負け（-6）になるでしょう！
- よく自信がない場合は、C = 1を選択してペナルティのリスクを回避する必要があります。
- その間に、あなたはC = 2を使うのが最善です：あなたが正しいかどうかに応じて2を得るか2を失います。
- グラフは、各Cレベルの平均点数が、回答が正しい確率にどのように依存するかを示しています。
- あなたが正しいとする確率は50％しかないと思うとします。下の評価尺度の50％の最高グラフは黒です（C = 1の場合）。それで、あなたはあなたの低い確実性（C = 1）を認めることによって平均であなたの点数を最も高めることを期待するでしょう。
- 80％以上の確率で正解することができ、C = 3の場合、赤いグラフが最も高くなります。これを選ぶ。
- あなたはあなたの確実性を誤って表現することによって得ることを期待することはできないことに注意してください。よく自信がないときにC = 3（赤い線）をクリックすると、うまくいかないことが予想されます - 負の点数が付いている可能性が非常に高いです。あなたはラッキーかもしれません。しかし平均してあなたは負けるでしょう！あなたがトピックをよく理解していて、あなたの答えが信頼できると思うならば、あなたがC = 3ではなくC = 1またはC = 2を選ぶならあなたは失うでしょう。どの答えが信頼できるのか、どれが不確実なのかを区別できれば、最善を尽くします。
CBMのパフォーマンスに関するフィードバック
- あなたがそれぞれの答えの後に与えられるフィードバックでCBMを使っているならば、それから点数はあなたに多くを伝えます：-6はあなたが間違った答えに対する自信を正当化する方法を尋ねるでしょう。あなたの知識のさまざまな部分を結び付ける方法を（利用可能な説明やあなたの本やメモとともに）考えてください。
- もしあなたがC = 1で正解を繰り返したならば、おそらくあなたが自分が思っているよりも良い主題を知っているかどうか自分自身に尋ねなさい。あなたがあなたの答えをあなたが確実に知っていて、より自信があるものにどのように関連付けることができるかを尋ねなさい。
- あなたが最終的に提出するとき、あなたはあなたが使ったそれぞれのCレベルに対してあなたの割合が正しいのを見るでしょう。理想的には、主題をよく知っているか（C = 3の回答が多い）、C（1,2の回答が多い）かにかかわらず、C = 1,2,3の場合、約50％、70％、90％になります。あなたの答えがどれほど信頼できるかを過大評価または過小評価する傾向がある場合は、フィードバックが警告します。自信が持てない場合は、その理由を考えてください。おそらくあなたは不注意でした。おそらくあなたは誤解をしているか、あなたが本当に理解していないかあいまいに言い回されている質問に自信を持って答えを与えています。これを使って勉強を導き、教師との交流を深めてください。
- 小テストの中のいくつかの質問は他のものより重い重みを持っているかもしれないことに注意してください、例えば質問が二重の重みを持っていてあなたが自信を持って誤りをするならあなたは-12を得るかもしれません。これはフィードバックを解釈するのを難しくするので、CBMを使用するときに小テスト設定者がこのように重みを変えることはおそらく良い考えではありません。
- あなたがいくつかの質問に答えただけであれば、CBMのフィードバックはあまり意味がないかもしれません。重要なことは、なぜ自信があるのか自信がないのかを考え、それから学ぶことです。
CBMの評定とスコア
CBMの平均点数と精度
- CBM平均は3から-6の範囲です。小テスト内のすべての質問が同じ重みを持っている場合、上記のCBMの表に示すように、それは単純に平均CBM点数です。重み（ｗ）が変動する場合、各質問に対して与えられたＣＢＭ点数（ｍ）に対して、ＣＢＭ平均＝Σ（ｗｍ）／Σ（ｗ）である。
- 精度は、CBMの評価を無視して、小テストでどれだけ正しいかを判断するための従来の尺度です。すべての質問が同じ重みを持っている場合、それは正解だった回答のパーセンテージです（おそらく一部の回答は部分的に正解としてカウントされます）。質問が異なる重みwを持ち、答えが小数の正しさf（0から1の間）を持つ場合、精度=Σ（wf）/Σ（w）となります。
- 部分的に正解 Moodleの回答が部分的に正しい場合（0より大きい端数fが割り当てられている場合）、C = 1、2、または3の場合、付与される点数はf、2f、または3fになります。 fが負の場合（回答の正しい部分がエラーより重いことを意味します）、付与される点数は、誤った回答の場合と同じになります（0、-2、または-6）。
平均CBM点数と正確さはあなたに何を伝えますか？
グラフ*は、主に大学生を対象とした、学習と改訂のためのさまざまな自発的CBMセルフテストに関する数千のオンライン提出物のスコア（正確度とCBM平均）を示しています。それはグラフの異なる領域における学生の知識の解釈で注釈が付けられています。
- *このグラフィックフォームは、提出後に学生の評定を表示するためにCBMセルフテスト （現在はMoodleにはありません）で使用されます。
- CBMの平均は、精度よりも常に最大値に対するパーセンテージで小さいことに注意してください。黄色で表示されたスコアでは、CBM平均（1.5）は最大値の50％でしたが、精度（Cの評価は無視されます）は80％でした。 あなたは明らかにあなたのCBM平均がこのように表現されて、あなたの従来のスコアより少ないことを心配するべきではありません。いつもです！
- 信頼できる答えと不確かな答えをまったく区別しなかった場合（平均してトピックの知識を把握するのに適した、同じC評価をすべて与えた場合）、スコアはグラフの緑色の線上に表示されます。
- あなたのスコアが緑色の線より上にある場合は、信頼できる答えと不確実な答えをうまく区別しています。あなたのスコアが以下の場合、あなたはトピックをどれだけよく理解しているかを誤解しているか、重大な誤解をしている可能性があります（あなたは自信を持って信じていますが、そうではありません）。
CBMボーナス、CB精度、およびCB評定
彼らの答えの正解率を表現して、彼らの従来の正確さに加えられることができる（あるいはそれから差し引かれる） CBMボーナスに関して信頼できない知識から信頼できるものを区別することで学生の成功を表すのは便利です。 CBMボーナスは、CBM平均が上のグラフの緑の線の上または下にどれだけあるかによって決まります。否定的なボーナス**は、学生が自分の答えの信頼性を誤って差別したか、または誤って判断したことを意味します。黄色で表示されているスコアの例では、CBMの平均は線の上の0.3点数であり、これに標準係数β（= 10％） *を掛けてCBボーナス= + 3％にします。 精度（= 80％）に加算すると、これはCB精度= 83％になります。 CBの評定は、単にCBの精度に小テストに割り当てられた評定の値を掛けたものです。 CB精度を使用すると、学生と試験官は従来の評定とCB評定を比較することが容易になりますが、その違い（CBボーナス）は、自分の知識のどの部分が信頼できるかどうかについての学生の重大な認識の指標です。
- * CBボーナスの計算に使用される係数β= 10％は、結果として得られる合計スコアの統計的信頼性を最大にするように最適に選択されます（精度+ボーナス）：関連テストのパフォーマンスを正確に予測する能力。参照： Gardner-Medwin、2013年
- **もしあなたがネガティブボーナスが奇妙だと思うならば、もし銀行家のボーナスがネガティブになることができれば、世界はどれほど良くなるだろうと思う。負のCBMボーナスは、通常、孔子が「物を知らないときは、それを知らないようにする」ことができないとし、ドナルド・ラムズフェルドが「知らないことすら知らないこと」と表現したことを示します。どちらも本質的に否定的な知識であり、知られている無知よりも悪い。
試験におけるCBMデータ
学生が試験を受けるときには、多くの誤解（自信の誤り、悪い点につながる）がなくなっているはずであり、学生は習熟度と不確実性の分野でより良い判断を下すべきです。つまり、CBボーナスはより一様にポジティブになる傾向があります。 CB精度により、審査官はCB規格基準を従来の規格と直接比較することができます。
正誤問答を使用したUCL健康診断からのCBMデータの例。
CBMは、学生が勉強の一環として自分自身に挑戦するセルフテストに特に役立ちます。回答は省略されているかもしれません。なぜなら、それらは現在の関心のあるトピックに関するものではないか、あまりにも簡単であるか、またはおそらくまだ研究されていないためです。 CBMの得点は、学生が回答することを選択した一連の質問に対して提示することができます。小テストの半分だけですべて正解すると、100％正確と表示されます。そのような得点を解釈するのは学生次第です。明らかに、問題が難しいために質問が省略された場合、相対的な得点は科目の能力を過大評価する可能性があります。 Moodleの「評定」は常に小テスト全体に対する相対的なものであり、これは他のスコアのデフォルトのプレゼンテーションでもあります。
CBM付きムードル評定
Moodle 評定は、与えられた得点の合計で、小テスト全体の名目値を基準にしています。評点はこの値から「外れて」表示されることがありますが、CBMでは評点は最大3倍になる可能性があります（すべての回答がC = 3で正しい場合）。この単純な形式の評定付けは、従来の評定と比較するのは簡単ではありません。 CB Grade （上記参照）が好ましいですが、CBMが使用されているときにMoodle 評定sがこのように計算されるまで、スタッフは小テスト - 結果 - CBM GradesまたはAttempt - 学生の評定の明確な評価のために表に示されるデータを使用するべきです。 ' 無制限の評定'が設定されていない限り（下記参照）、Moodle評定は評定表の表示ではしばしば正しく表示されないことに注意してください。
CBMに不可欠なADMINアクション
Moodle 2.6以降でスタッフがCBMデータを閲覧するための必須PLUGIN
Moodle 2.6以降のバージョンでは、CBMデータをCBM評定のレポートに表示するために、 小テストレポートプラグインをインストールする必要があります。それ以前のバージョンのMoodle（2.6未満）では、代わりにダウンロード可能なコードの修正を使用することができます。これにより、通常のレポートにCBMデータが表示されます。
必須の「 無制限評定」設定
評点が100％に制限されないように、「サイト管理」 - >「評定」 - >「一般設定」の下で「 無制限評点」を 「オン」に設定する必要があります。 Moodleは現在、未加工の点数（CBMなしで取得可能な点数の最大300％）に基づいてこれらの評定表のエントリを計算します。この設定がないと、制限が課されるため、ほとんどの学生の評定は「100％」と表示されることがあります。 CBコードとして評定を表示するようにコアコードが変更された場合（従来の評定と適切に比較できるように設計されている場合）、この管理者設定は問題になりません。
ARGM 2016年1月
詳細情報： Certainty-Based Marking
