□研究紹介

情報リテラシーの理解度テスト

和歌山大学システム工学部の1年生向け情報処理教育には情報処理Ⅰ・情報処理Ⅱの2科目があり，このうち情報処理Ⅰは情報処理リテラシーを学習する科目で，学内計算機環境やインターネットリソースなどを適切に使用するための知識や，アプリケーションの使い方，情報システムの仕組みについて学ぶ授業です．授業の支援として学んだ内容の見直しと振り返りができる問題セットの開発および学習支援環境の提供を行っています．

理解度テストの問題例

問題を理解度テストのような形で提供する場合，よいテストの整備・提供が求められます．よいテストとは次の2つの要素を満たすことです．1つは信頼性であり，「テストのスコアは，常に受験者の能力の大小を言い当てている」と表され，もう1つは妥当性と呼ばれ，「テストで問われる内容と，実際に測定されるべき能力とがマッチしている」に対応付けられます．信頼性および妥当性を満足するような理解度テストを作るときにかかる手間を，問題の自動生成と項目反応理論による能力値測定により軽減することを試みました．

問題の自動抽出にあたり，授業資料(PowerPointファイル)からテキストを取り出した上で，形態素解析により用語となる語句を獲得し，用語リストを作成しました．その後，WordNetという概念辞書を用いて用語の定義や上位語を取得し，問題テンプレートと組み合わせることで問題文を作成します．誤選択肢は，WordNetにおいて関連語を検索し，取り入れることとしました．

項目反応理論による能力値推定は「問題が易しかったから正解が多かったのか，受験者の能力が高いから正解が多いのか」といった課題を解決した項目反応理論によってテスト項目の難易度やテストがどれだけ学習者の能力を判別できるものであるかを確率論的に推定し，問題の妥当性を検証することを目的として採用しました．20問からなる問題セットに解答してもらった結果から，それぞれの項目反応曲線を作成し，問題の良し悪しを判断する手がかりとなりました．

問題自動生成の流れ

項目特性曲線

キーワード

情報リテラシー，理解度テスト，CBT (Computer Based Training/Testing)

関連発表

  • 村川猛彦, 登田純太, 松本陽平: 項目反応理論に基づく大学初年度向け情報リテラシー科目の理解度テスト分析, 2018年電子情報通信学会総合大会, 情報・システム講演論文集1, p.155, D-15-23 (2018).
  • 松本陽平, 藤原敬介, 村川猛彦: 情報処理教育を対象としたeラーニングシステムの構築, 情報知識学会誌, Vol.27, No.2, pp.155-160 (2017). https://doi.org/10.2964/jsik_2017_018