和歌山大学 システム工学研究科 システム工学部 デザイン情報学科

自主演習プロジェクト2006(自然言語を用いたコンピュータとの会話):
松延拓生(和歌山大学システム工学部デザイン情報学科)

概要

自然言語を処理して何らかのコミュニケーション方法を提案してみようというところから始まりました。メンバーで相談しロボットと画面を使ったシステム構成が確定しました。人がロボットに向かってマイクで話しかけると、PCで音声認識し、人の発話内容を解釈します。その内容に応じてロボットはリアクションし画面にはロボットからの返答が表示されるシステムを構築します。

システム環境

PC1台(WindowsXP)

Perlで動作する自然言語解析プログラム、画面表示(HTMLを生成)プログラムが動作しています。USB接続のマイクで音声を認識します。

ロボット:レゴマインドストームNXT

PCから無線(bluetooth)で制御されます。またPCで作成したプログラムはUSBやBluetoothでロボットへ送れます。マインドストームは基本セット2セットと拡張セット1セットを用いて、2種類の性格の異なるロボットを作成します。

メンバー

この自主演習プロジェクトは、デザイン情報学科の自然言語処理に興味があるソフトウェアデザイン研究室の3年生1名(岩崎さん)と、聴覚メディアに興味がある2年生2名(三橋君、藤田君)で構成されています。指導代表者は松延でヒューマンインタフェースを担当していますが、聴覚メディア研究室の西村先生には音声認識・自然言語処理について、ソフトウェアデザイン研究室の満田先生には使用したロボット、レゴマインドストームについてご指導いただいています。

中間発表会

2006年10月29日に和歌山大学において中間発表会が開催されました。たくさんの参加者に加えてインターネットを使って徳島大学から遠隔参加した学生さんとも交流を行いました。中間発表の時点での進捗状況は、音声認識+自然言語処理が動作する状況で実際にPCを用いてデモンストレーションを行いました。展示会場は雑音が多く認識は苦労していました。ロボットは10月中旬にロボットが届いた状況のため、まだPCからのコントロールは出来ていません。ロボットの基本形状を組み上げてロボットの動作、PCとの連携方法について説明しました。(以下の写真は学生の了承を得た上で公開しています)

デモンストレーションの様子 音声認識されたユーザの発話とロボットからの応答が画面に表示される マインドストームNXTで作られたロボット 展示に対する質問に回答する学生 ロボットのセンサーについて説明する学生 徳島大学への遠隔説明 プレゼンテーションの様子

最終報告会

最終報告会は2007年6月に徳島大学合同で開催されました。(成果報告会のページ)

自主演習コンクール

本プロジェクトは自主研究コンクールにも応募しました。その結果佳作と情報部門の2つの賞を受賞いたしました。(第九回学生自習研究コンクール

参考リンク

自主演習プロジェクト

平成18年度学生自主演習プロジェクト