メインコンテンツまでスキップ
pdf?stylesheet=default
Blackboard Help

テストに対する項目の分析の実行

項目の分析は、テスト成績全体の統計やテストの質問ごとの統計を生成します。これは、受講者の成績の評価基準としてふさわしくない質問を特定するのに役立ちます。この情報を使用して、将来のテスト管理で質問を改善することも、現在の結果の評価を調整することもできます。

採点権限を持つ担当(インストラクタ、採点者、ティーチングアシスタントなど)は、アセスメントのワークフロー内の3か所で項目の分析にアクセスします。次のコンテキストメニューで利用可能です。

  • コンテンツエリアに導入されたテスト
  • テスト]ページに一覧表示された導入済みテスト
  • 成績センタ列

項目の分析は、送信済みの結果を持つ導入済みテストで実行できますが、アンケートでは実行できません。[利用可能な分析]という見出しの下にある前に実行した項目の分析にアクセスするか、ドロップダウンリストから導入済みのテストを選択し、[実行]をクリックして新しいレポートを生成します。新しいレポートのリンクは、[利用可能な分析]という見出しの下、またはページ上部のステータス受信部に表示されます。

最良の結果を得るには、すべての結果を送信し、すべての手動採点質問を採点してから、単一の結果のテストについて項目の分析を実行します。テスト結果の数、テストを受けた受講者の数、エラーの可能性によって統計が影響を受けることを認識したうえで、項目の分析データを慎重に解釈します。

テストに対する項目の分析の実行方法

項目の分析は、1回または複数回の結果、質問セット、ランダムブロック、自動採点の質問タイプ、および手動採点が必要な質問を含むテストに対して実行できます。得点がまだ割り当てられていない手動採点の質問のテストの場合は、採点済みの質問についてのみ統計が生成されます。手動で質問を採点した後は、項目の分析を再度実行してください。手動採点された質問の統計が生成され、テストの統計の概要が更新されます。

  1. 項目の分析にアクセスするには、次のいずれかの場所に移動します。
    • コンテンツエリアに導入されたテスト
    • テスト]ページに一覧表示された導入済みテスト
    • テストの成績センタ列
  2. テストのコンテキストメニューにアクセスします。
  3. 項目の分析]を選択します。
  4. テストの選択]ドロップダウンリストで、テストを選択します。導入済みのテストのみが一覧表示されます。
  5. 実行]をクリックします。
  6. 項目の分析を表示するには、[利用可能な分析]という見出しの下にある新しいレポートのリンクをクリックするか、またはページ上部にあるステータス受信部の[分析の表示]をクリックします。

[項目の分析]ページの[テストの概要]について

テストの概要]は[項目の分析]ページの上部にあり、ここにテスト全体のデータが表示されます。

  1. テストの編集]からは、[テストキャンバス]にアクセスできます。
  2. テストの概要]には、以下を含むテストの統計が表示されます。
    • 満点の点数:テストの合計点数。
    • 質問数:テストの質問の合計数。
    • 進行中の結果:現在テストを受験中でまだ送信していない受講者数。
    • 完了分の結果:送信したテストの数。
    • 平均得点:*が付けられた得点は、一部の結果が採点されていないため、すべての結果を採点した後に平均点が変更される場合があることを示します。ここに表示される得点は、成績センタでこのテストについて報告された平均点です。
    • 平均時間:すべての送信済みの結果の平均完了時間。
    • 区分:この領域には、良い(0.3を超える)、中程度(0.1~0.3)、悪い(0.1未満)のカテゴリに分類される質問の数が表示されます。区分値は、質問の難易度が100%の場合、または質問についてすべての受講者が同じ得点だった場合に[計算できません]と表示されます。[良い]および[中程度]カテゴリの区分値の質問は、高い知識レベルの受講者と低い知識レベルの受講者とを区別するのに適しています。[悪い]カテゴリの質問は見直すことをお勧めします。
    • 難易度:この領域には、簡単(80%を超える)、中程度(30~80%)、難しい(30%未満)のカテゴリに分類される質問の数が表示されます。難易度は質問に正解した受講者のパーセンテージです。[簡単]または[難しい]カテゴリの質問は、見直すことが推奨され、赤い丸が付けられています。

      採点済みの結果のみが項目の分析の計算に使用されます。採点中の結果がある場合、それらの結果は、送信され、項目の分析レポートが再度実行されるまで無視されます。

項目の分析ページの質問の統計の表について

質問の統計の表には、テストの質問ごとに項目の分析の統計が示されます。改訂する必要がある質問をすばやく見渡すことができるように、見直しが推奨される質問には赤い丸が付けられています。

一般に、優れた質問の

  • 難易度は[中程度](30~80%)で、
  • 区分値は[良い]または[中程度](0.1を超える)です。

見直しが推奨される質問には赤い丸が付けられています。品質が低いか、採点が誤っている場合があります。一般に、見直しを推奨する質問は、

  • 難易度が[簡単](> 80%)または[難しい](< 30%)で、
  • 区分値は[悪い](< 0.1)です。
  1. 質問のタイプ、区分カテゴリ、および難易度カテゴリを基準にして、質問の表をフィルタリングします。
  2. 特定の質問を調べるには、そのタイトルをクリックして、[質問の詳細]ページを確認します。
  3. この表には、次のような各質問の統計が表示されます。
    • 区分:科目についての知識がある受講者とない受講者とをどれだけうまく区分するかを示します。質問に正解した受講者がテストで良い成績を出した場合に、その質問の区分は良好となります。値の範囲は-1.0~+1.0です。質問の区分値が0.1未満または負の場合は、質問に見直しのフラグが付けられます。区分値は、質問の難易度が100%の場合、または質問についてすべての受講者が同じ得点だった場合は計算できません。

      区分値はピアソンの相関係数を使用して計算されます。Xはある質問での各受講者の得点を表し、Yはアセスメントでの各受講者の得点を表します。

      以下の変数は、それぞれ標準得点、サンプル平均、およびサンプル標準偏差です。

    • 難易度:質問に正答した受講者のパーセンテージです。難易度の値は0~100%で、パーセンテージが高いほど質問が簡単であったことを示します。[簡単](80%を超える)または[難しい](30%未満)カテゴリの質問には、見直しのフラグが付けられます。

      難易度が「簡単」と「難しい」の中間値よりも少し高い場合、テストした教材を理解している受講者と理解していない受講者が適切に区別されています。難易度の値が高くても、区分のレベルが高いとは限らないことに注意してください。

    • 採点された試行回数:採点が完了した結果の数です。採点済みの結果の数が多いほど、計算済みの統計の信頼性が向上します。
    • 平均得点:*が付けられた得点は、一部の結果が採点されていないため、すべての結果を採点した後に平均点が変更される場合があることを示します。ここに表示される得点は、成績センタでこのテストについて報告された平均点です。
    • 標準偏差:得点が平均得点からどの程度離れているかを示す尺度です。得点が狭い範囲に分布しており、多くの得点が平均点に近い場合、標準偏差は小さくなります。データセットが広い範囲に分布し、得点が平均点から離れている場合、標準偏差は大きくなります。
    • 標準誤差:可能性による受講者の得点における推定変動量です。測定の標準誤差が小さいほど、テスト問題から得た測定値の精度は向上します。

1つの質問について質問の詳細を表示する方法

見直しのフラグが付けられた質問を調べるには、その[質問の詳細]ページにアクセスします。このページには、選択した個々のテスト問題での受講者のパフォーマンスが表示されます。

  1. 項目の分析]ページで、質問の統計の表までスクロールします。
  2. リンクされた質問タイトルを選択して、[質問の詳細]ページを表示します。
  1. 質問のページを順に移動したり、最初または最後の質問にスキップしたりするには、矢印を使用します。
  2. テストキャンバス]にアクセスするには、[テストの編集]をクリックします。
  3. 概要の表には、次のような質問の統計が表示されます。
    • 区分:科目についての知識がある受講者とない受講者とをどれだけうまく区分するかを示します。区分の得点は、次のカテゴリとともに表示されます。悪い(0.1未満)、中程度(0.1~0.3)、および良い(0.3より大きい)。質問に正解した受講者がテストで良い成績を出した場合に、その質問の区分は良好となります。値の範囲は-1.0~+1.0です。質問の区分値が0.1未満または負の場合は、質問に見直しのフラグが付けられます。区分値は、質問の難易度が100%の場合、または質問についてすべての受講者が同じ得点だった場合は計算できません。

      区分値はピアソンの相関係数を使用して計算されます。Xはある質問での各受講者の得点を表し、Yはアセスメントでの各受講者の得点を表します。

      以下の変数は、それぞれ標準得点、サンプル平均、およびサンプル標準偏差です。

    • 難易度:質問に正答した受講者のパーセンテージです。区分のパーセンテージは、次のカテゴリとともに表示されます。簡単(80%より大きい)、中程度(30~80%)、および難しい(30%未満)。難易度の値は0~100%で、パーセンテージが高いほど質問が簡単であったことを示します。簡単なカテゴリや難しいカテゴリの質問には見直しのフラグが付けられます。

      難易度が「簡単」と「難しい」の中間値よりも少し高い場合、テストした教材を理解している受講者と理解していない受講者が適切に区別されています。難易度の値が高くても、区分のレベルが高いとは限らないことに注意してください。

    • 採点された試行回数:採点が完了した結果の数です。採点済みの結果の数が多いほど、計算済みの統計の信頼性が向上します。
    • 平均得点:*が付けられた得点は、一部の結果が採点されていないため、すべての結果を採点した後に平均点が変更される場合があることを示します。ここに表示される得点は、成績センタでこのテストについて報告された平均点です。
    • 標準偏差:得点が平均得点からどの程度離れているかを示す尺度です。得点が狭い範囲に分布しており、多くの得点が平均点に近い場合、標準偏差は小さくなります。データセットが広い範囲に分布し、得点が平均点から離れている場合、標準偏差は大きくなります。
    • 標準誤差:可能性による受講者の得点における推定変動量です。測定の標準誤差が小さいほど、テスト問題から得た測定値の精度は向上します。
    • 未回答:この質問に回答しなかった受講者の数です。
  4. 質問文と選択肢が表示されます。質問のタイプに応じて内容が異なります。
質問のタイプに表示される項目の分析情報
表示される情報のタイプ 質問タイプ

各選択肢を選択した受講者の数

および

クラスの四分位数間の解答の分布

多肢選択

複数解答

正誤問題

選択問題

評価尺度/リッカート

各選択肢を選択した受講者の数

マッチング

並べ替え

複数穴埋め問題

正解、不正解、または省略した受講者の数

式計算

数値計算

穴埋め問題

ホットスポット

ショートテスト

質問文のみ

エッセイ

ファイル応答

短答式

文の並べ替え(受講者が選択した解答も含む)

解答の分布

多肢選択、複数回答、正誤、選択、評価尺度/リッカートの質問タイプの場合は、クラスの四分位数間の解答分布が含まれます。この分布は、正解または不正解を選択した受講者のタイプを示します。

  • 上位25%:その解答オプションを選択し、テストの合計点数がクラスの上位4分の1(第1四半グループ)に入った受講者の数です。
  • 2番目の25%:その解答オプションを選択し、テストの合計点数がクラスの第2四半グループに入った受講者の数です。
  • 3番目の25%:その解答オプションを選択し、テストの合計点数がクラスの第3四半グループに入った受講者の数です。
  • 下位25%:その解答オプションを選択し、テストの合計点数がクラスの最下位4分の1(第4四半グループ)に入った受講者の数です。

記号の凡例

問題がある可能性を示す記号が質問の横に表示されます。

  • レビューを推奨:区分値が0.1未満のとき、または難易度値が80%を超えている(質問が簡単すぎる)か30%未満(質問が難しすぎる)の場合にこの状態になります。質問を見直し、改訂が必要かどうかを判断します。
  • 配置後に質問が変更された可能性がある:テストの配置後に、質問の一部が変更されたことを示します。テストを配置した後に質問の一部を変更すると、その質問のデータは信頼できない可能性があることになります。質問が変更された後で送信された結果は、変更による恩恵を受けた可能性があります。このインジケータは、この点を考慮してデータを解釈するのに役立ちます。

    リストアされたコースでは、このインジケータは表示されません。

  • 送信の一部が採点されていない:手動採点を必要とする質問(エッセイの問題など)を含むテストの場合に表示されます。50人の受講生の結果があるエッセイ問題を含むテストでは、インストラクタが50件の結果を採点するまで、このインジケータが表示されます。項目の分析ツールでは、レポートを実行した時点で採点が済んでいる結果のみが使用されます。
  • (QS)および(RB):質問セットまたはランダムブロックからの質問であることを示します。質問をランダムに配信すると、一部の質問は他の質問よりも結果が多くなる可能性があります。

項目の分析と複数試行、質問の上書き、および質問の編集について

項目の分析ツールは、複数試行、上書き、およびその他の一般的なシナリオを次の方法で処理します。

  • 受講者がテストを複数回受験できる場合、最後に送信した結果が項目の分析の入力として使用されます。たとえば、あるテストを3回受けることができ、受講者Aはすでに2回の試行を終え、3回目の試行が進行中だとします。受講者Aの現在の結果は[進行中の結果]に表示される数値に加算され、受講者Aの以前の結果は現在の項目の分析データに追加されます。受講者Aが3回目の結果を送信した直後から、その後の項目の分析に受講者Aの3回目の結果が追加されます。
  • 項目の分析ツールは受講者の完了済みの結果に基づいて質問の統計データを生成するため、成績センタの上書きは項目の分析データに影響しません。
  • 手動採点の質問や、質問文、正解の選択肢、部分的な評価、または点数に対する変更は、項目の分析レポートでは自動更新されません。変更内容が項目の分析データに影響したかどうかを確認するには、分析を再度実行します。

項目の分析は、今後のテスト管理のために質問を改善したり、現在のテストに含まれる誤解を招く質問やあいまいな質問を修正したりするのに役立ちます。たとえば、以下のようなアプリケーションがあります。

  • 項目の分析ページで見直しのフラグが付けられた複数選択問題を調べます。Aが正解だったにもかかわらず、上位25%の受講者の多くが解答Bを選択しています。質問の作成時に正解を誤って入力していたことに気付きました。テストの質問を編集すると、自動的に再採点が行われます。
  • 複数選択問題で、A、B、Cを選択した受講者の数がほぼ同じであることがわかりました。選択肢を調べて、選択肢があいまいでないか、質問が難しすぎないか、または教材がカバーされていたかどうかを判定します。
  • 質問の難易度が「難しい」カテゴリに分類されたため、質問の見直しが推奨されています。質問を調べて、難しい質問であることを確認しましたが、コースの目標を適切にテストするために必要な質問なので、引き続きテストで使用します。