教育
究極のプレゼンテーション支援AI。
私が説明し、板書している間、学生は自身のスマートフォン・タブレット・ノートパソコンで同じスライドや板書、選択した言語への翻訳字幕をリアルタイムで確認できます。音声による画面操作や資料に基づくAIの質疑応答まで、学生の理解を助けるために、教員である私がエージェントと共同で作成した授業ツールです。
韓国語の原文 ↗ · 画像・動画・配布資料には、元の韓国語または英語の画面が含まれます。
課題
遠くのスクリーンや速い板書、見慣れない言語のために説明を見逃す学生がいました。
取り組み
スライドと板書を学生の端末に同期させ、私の説明をリアルタイムで翻訳することで、各自が読み、質問できる授業画面を作成しました。
変わったこと
同じ授業をそれぞれの画面と言語で追跡し、分からない部分はAIアシスタントにすぐに質問できます。

韓国語以外のリアルタイム翻訳言語
講義資料に基づき学生の個別の質問に回答
スライド・板書を学生の端末へ同期
課題
遠くの画面や速い板書、見知らぬ言語のために説明を見逃す学生がいました。
変わったこと
同じ授業をそれぞれの画面と言語で追跡でき、分からない部分はAIアシスタントにすぐに質問できます。
構築の流れ
授業の不具合から始まる
写真が必要だった瞬間、言語のために見逃した説明、質問できなかったことを思い出しました。
必要な機能をエージェントと実装
画面操作と通訳字幕、資料を検索して答えるAIアシスタントを作成しました。
学生の立場で磨き上げる
切断された会話を繋げ、用語を合わせ、学生それぞれが言語と質問を選択できるようにしました。
授業後も続く支援
私が検閲した録音と字幕を公開し、学生が再度学習できるようにしました。
実装方法と応用
01授業に必要なため、自分で作りました。
発表資料を上手に作るだけでは不十分でした。説明中にさらに良い事例が浮かんでも、写真がないと口頭で代用する必要があり、韓国語に慣れていない学生は内容を理解するためにさらに多くの労力を費やさなければなりませんでした。質問を見逃して次の説明に進んでしまう学生も気になっていました。
こうした瞬間を支援するツールがあればいいと考えました。私が求める授業の場面をエージェントに説明し、実際に使いながら修正しました。別の開発チームを編成するのではなく、授業を行う私が必要な機能を直接作成した事例です。
02私が書く板書が学生の手のひらの画面にも
講義室前のスクリーンだけを見るのではなく、学生が自身のスマートフォン・タブレット・ノートパソコンで授業画面を開けるようにしました。私がスライドをめくると学生画面も一緒に変わり、資料に下線を引いたりホワイトボードに図式を描いたりする過程もリアルタイムで伝達されます。
ここに私の説明をまとめた韓国語字幕と、学生が選択した言語への翻訳を併せて表示します。同じ内容を見ていても、学生ごとに必要な言語は異なります。板書と翻訳がそれぞれの画面に届くため、前方のスクリーンが遠かったり韓国語に慣れていなかったりしても、説明を追うのに役立ちます。
教員は板書を作成・修正し、学生は伝達された板書を見るという形で役割を分担しました。板書はスライドやホワイトボードのページごとに保存され、PDFとしてエクスポートできるようにしました。実際の端末やネットワークによっては伝達の遅延が生じる可能性があります。
03浮かんだ事例を口頭で呼び出して表示する
「次のスライドに進めて」「この建築物の写真を見せて」。説明中に浮かんだリクエストを音声で処理することで、画面操作のために授業が止まることを減らせます。初期の発表ツールには音声によるスライド変換を実装し、画像ポップアップの表示と閉じる機能も作成しました。
写真1枚が長い説明よりも速い場合があります。準備したスライドにない事例もその場で見せ、再びプレゼンテーションに戻ることを目指していました。その後、統合された授業画面では、教員のスライド変更が学生画面にも反映されるように接続しました。
04外国人学生も慣れた言語で授業を追う
外国人学生が韓国語を解釈することに力を注ぎすぎると、実際に学ぶべき内容を逃しやすいです。私の説明をリアルタイム字幕としてまとめ、学生が選択した言語に翻訳して表示するようにしました。対応言語の中から母国語や慣れた言語を選べばよいのです。
英語・中国語(簡体字)・日本語・ベトナム語・ミャンマー語・ロシア語をサポートしています。韓国語原文を併せて見ることもできます。全員が同じ授業を受講しますが、説明を理解するために必要な言語は各自が選択する方式です。
05分からない部分はその場でAIアシスタントに質問する
1つの概念を見逃すと、次の説明まで難しくなる可能性があります。しかし、毎回授業を止めて質問するのは負担が大きいです。学生が自分の画面から直接質問し、答えを読んでから授業を続けられるよう、AIアシスタントを組み込みました。
AIアシスタントは私がアップロードした講義資料から根拠を探して答え、参照した資料とページ番号を併せて案内します。公開されている資料のみを使用し、質問を私に直接送ることも可能です。同じ授業の中で学生それぞれが異なる疑問を解決できるようにしました。
06授業中の説明を、授業後の復習資料として
発表資料には核心部分しか含まれておらず、私が追加した説明まで残るわけではありません。そのため、講義音声と字幕を記録し、授業終了後に学生が再度聴いて読めるようにしました。
録音はすぐに公開しません。私が字幕を修正し、不要な区間を除いた後、検閲して公開すると、受講生は録音全体または必要な区間を再生しながら字幕を確認できます。ノートを取っていて見逃した説明を再確認できる復習資料となります。
07書き取った言葉を読みやすい字幕に整える
講義では言葉を修正したり、文の途中で一時的に休憩したりします。これをそのまま書き取ると字幕が不自然になります。Whisperで認識した内容をローカルAIが読みやすい文に整え、翻訳するようにしました。科目やスライドに合った用語集も活用し、専門用語の認識を支援しています。
「この柱間の間隔は…」と一旦休んで「人が通れる幅です」と続けると、同じ文として連結します。続く言葉がない場合は、聞こえた部分のみを残します。AIが文の終わりを勝手に作り出さないようにしました。
「幅は30、いや35cm」のように言葉を修正した場合は、「幅は35cmです」と整理します。数値と単位、否定表現の変更を検査し、問題が検出された場合は原文を維持します。自動整理や翻訳に誤りがある可能性があるため、公開前の検閲も併用しています。
08教室にある機器とローカルAIを接続する
大きな画面を表示する機器と音声を受信する機器を分けました。スマートフォンやコンピュータから音声を受け取り、マイクやAirPodsが該当機器の入力デバイスとして認識されれば活用できます。教員画面には授業進行機能を、学生画面には字幕言語の選択と質問機能を設けました。
ローカルWhisperと言語モデルを接続し、音声認識・文の整理・翻訳を分離して処理しました。翻訳を待っている間にも次の音声を受け取れるようにし、結果は発話順に表示されます。必要な用語と文脈のみを伝達するように調整し、処理遅延を減らしました。
09エージェントと作ったものは、私が望む授業の形態です
重要なのは機能の数ではなく、誰がなぜ作ったかという点にあります。授業を行う私が学生が困難を感じる瞬間を思い出し、その時に必要な助けをプログラムとして作成しました。画面操作、通訳、質問、復習を私の授業に合わせて接続したのです。
ローカルAIの運用とエージェントへの作業委託の経験が基盤となっています。必要な場面を説明し、結果を確認して修正する過程は私の役割でした。その過程を経て、1人の教員の授業アイデアが、学生それぞれに必要な助けを提供できるツールとなりました。
適用範囲と注意点
音声スライド変換は初期発表ツールに実装されており、現在Academyには音声画像表示・閉じ込みとスライド制御の接続点があります。紹介した機能の一部は異なる開発段階で作成されました。録音・字幕は教員が検閲して公開した後、受講生が閲覧できます。実際の画面例はテストアカウントと合成講義音声を使用しました。翻訳精度と処理速度は言語・モデル負荷・教室環境によって異なり、AirPodsや個別端末の実際の教室での使用については追加確認が必要です。