UPMILab.

AI FOR TEACHING & LEARNING

궁극의 발표 도우미 AI.

수업을 하다 보면 말로만 설명하기 아쉬운 순간이 있습니다. 외국인 학생에게는 언어가, 다른 학생에게는 놓친 개념 하나가 걸림돌이 되기도 합니다. 학생들이 더 잘 이해하고 수업을 따라올 수 있도록, 제가 필요한 기능을 AI 에이전트와 직접 만들었습니다.

01

불편했던 점

떠오른 사례를 바로 보여주기 어렵고, 학생마다 언어와 이해하는 속도도 달랐습니다. 한 사람이 설명하면서 모든 질문을 살피기에는 한계가 있었습니다.

02

이렇게 풀었습니다

음성으로 발표를 돕는 기능에 통역 자막과 AI 조교를 더했습니다. 교수자는 수업을 진행하고, 학생은 자기 화면에서 필요한 도움을 받도록 구성했습니다.

03

달라진 점

학생은 익숙한 언어로 설명을 읽고, 모르는 내용은 바로 질문할 수 있습니다. 수업이 끝나면 제가 검수해 공개한 자막과 녹음으로 복습할 수 있습니다.

교수자의 음성 요청으로 건축 사진이 발표 화면에 나타나고 학생들이 함께 보는 수업 장면
AI FOR TEACHING & LEARNING궁극의 발표 도우미 AI.

통역과 화면 제어 음성지원 및 질의 답변까지

생성형 사용 장면설명 중 필요한 사진을 불러와 학생에게 보여주는 장면을 그렸습니다. 기능을 설명하기 위한 생성형 이미지입니다.
BEFORE

사진을 찾으면 설명이 끊기고, 묻지 못한 질문과 놓친 말이 남았습니다.

AFTER

필요한 사례를 바로 보여주고, 학생은 익숙한 언어로 읽고 질문합니다. 검수한 수업 기록은 복습 자료로 남깁니다.

6한국어 외 실시간 번역 언어
AI강의자료를 바탕으로 학생별 질문에 답변
Replay검수한 녹음·자막으로 복습

01 / 말로 돕는 발표

설명하다 떠오른 사례, 바로 보여줄 수 있다면.

학생에게 더 잘 설명할 수 있는 건축물이 떠올랐는데, 준비한 장표에는 사진이 없었습니다. 말로만 묘사하자니 아쉬웠고, 검색하러 화면을 바꾸면 설명이 끊겼습니다. 필요한 사진을 말로 불러와 보여주고 다시 발표로 돌아오도록 만들었습니다.

수업 중 이런 요청을 떠올렸습니다
“다음 장으로 넘겨줘.” “이 건축물 사진 보여줘.”

화면을 조작하는 시간을 줄이고, 학생에게 설명하는 데 집중합니다.

초기 발표 도구에 음성 장표 전환을 구현한 뒤, 이미지 팝업과 학생 화면 동기화로 기능을 넓혔습니다. 통합 수업 화면의 제어 방식과 개발 단계는 아래 구현 설명에 정리했습니다.

02 / 익숙한 언어로 이해하기

한국어를 해석하느라, 수업 내용을 놓치지 않도록.

같은 설명을 듣는 학생들이 각자 선택한 언어의 자막으로 수업을 따라갑니다.
생성형 설명 이미지같은 설명을 듣는 학생들이 각자 선택한 언어의 자막으로 수업을 따라갑니다.

외국인 학생에게는 낯선 개념을 낯선 언어로 배우는 일이 부담이 됩니다. 제 설명을 실시간으로 번역해, 지원 언어 중 모국어나 익숙한 언어로 읽을 수 있게 했습니다. 한국어 원문을 나란히 보며 비교할 수도 있습니다.

English · 영어简体中文 · 중국어日本語 · 일본어Tiếng Việt · 베트남어မြန်မာ · 미얀마어Русский · 러시아어

여섯 개 언어 중 필요한 언어를 학생이 직접 고릅니다. 모두 같은 화면 설정을 따라가는 대신, 자신에게 읽기 편한 자막으로 수업을 이해하도록 했습니다.

03 / 내 질문에 답하는 AI 조교

하나를 놓쳤다고, 그다음 설명까지 놓치지 않도록.

학생이 이해되지 않는 부분을 질문하면 AI 조교가 강의자료를 근거로 설명합니다. 수업은 계속 진행됩니다.
생성형 설명 이미지학생이 이해되지 않는 부분을 질문하면 AI 조교가 강의자료를 근거로 설명합니다. 수업은 계속 진행됩니다.

질문이 생겨도 손을 들기 망설여질 때가 있습니다. 자기 화면에서 바로 물어보고 답을 읽을 수 있다면, 막힌 부분을 풀고 다시 수업을 따라올 수 있습니다. 이를 위해 강의자료를 찾아 답하는 AI 조교를 만들었습니다.

답변에는 참고한 자료와 쪽을 연결했습니다. 저에게 직접 질문하는 선택도 남겼습니다. 같은 수업 안에서 학생마다 다른 궁금증을 해결할 수 있도록 한 것입니다.

교수자 화면

설명하고, 수업을 이끌기

발표자료와 마이크를 제어하고, 학생 질문을 확인합니다. 수업 기록은 검수한 뒤 공개합니다.

학생 화면

내게 필요한 도움 받기

같은 장표를 보면서 자막 언어를 고르고 질문합니다. 이해되지 않은 부분은 AI 조교에게 다시 물을 수 있습니다.

04 / 수업이 끝난 뒤에도

장표에 없던 설명까지, 다시 읽고 들을 수 있게.

수업 중 설명을 기록하고 정리해, 학생이 수업 후 발표자료와 함께 복습하는 흐름입니다.
생성형 설명 이미지수업 중 설명을 기록하고 정리해, 학생이 수업 후 발표자료와 함께 복습하는 흐름입니다.

수업 중 덧붙인 예시나 자세한 설명은 발표자료만 봐서는 떠올리기 어렵습니다. 그래서 강의 음성과 자막을 남기고, 제가 자막을 고치거나 불필요한 구간을 제외한 뒤 공개할 수 있도록 했습니다.

학생은 검수한 녹음을 전체 또는 구간별로 다시 듣고, 정리된 자막을 읽을 수 있습니다. 필기하느라 놓친 말이나 한 번에 이해하지 못한 설명을 자기 속도에 맞춰 되짚는 복습 자료가 됩니다.

01수업 중 녹음·자막 기록
02교수자가 수정·검수
03수강생에게 공개·복습

어떻게 만들었을까

말을 받아쓰는 것에서 한 걸음 더.

말을 그대로 받아쓰면 잠깐의 쉼이나 정정까지 글에 남아 읽기 어렵습니다. Whisper에 과목별 용어를 알려주고, 로컬 AI가 구어체를 읽기 좋은 문장으로 정리하도록 했습니다. 중간에 멈춘 말도 이어지는 내용을 기다려 연결합니다.

잠시 멈춘 말

“이 기둥 사이의 간격은…”

바로 끝내지 않고 기다립니다.
뒤이어 한 말

“…사람이 지나갈 수 있는 폭입니다.”

앞의 말과 같은 자막으로 연결합니다.
읽기 좋게 정리한 자막

이 기둥 사이의 간격은 사람이 지나갈 수 있는 폭입니다.

시험에 사용한 예시입니다. 이어지는 말이 없으면 들린 부분만 남깁니다.
말을 고쳤을 때도

“폭이 30, 아니 35cm” “폭이 35cm입니다.”

  1. 01

    목소리 받기

    휴대전화나 컴퓨터에 연결한 마이크로 설명을 받습니다.

  2. 02

    말 알아듣기

    Whisper에 과목과 장표의 전문용어를 알려줍니다.

  3. 03

    문장 이어 붙이기

    잠시 쉬었다 이어 말해도 한 문장으로 연결합니다.

  4. 04

    정리하고 번역하기

    로컬 AI가 읽기 좋은 자막과 선택한 언어의 번역을 만듭니다.

  5. 05

    학생에게 전달하기

    각자의 화면에 자막을 보여주고, 기록은 검수 후 공개합니다.

화면을 띄우는 기기와 음성을 받는 기기는 따로 쓸 수 있습니다. 마이크나 AirPods가 해당 기기에서 입력 장치로 인식되면 활용하는 방식입니다. 음성 인식과 번역도 나눠 처리해, 번역을 기다리느라 다음 말을 놓치지 않도록 했습니다.

한 사람의 아이디어에서, 수업 도구로

제가 원하던 수업 방식을 직접 만들었습니다.

출발점은 “학생들이 조금 더 잘 이해했으면 좋겠다”는 생각이었습니다. 로컬 AI를 운영하고 에이전트와 작업해 온 경험을 바탕으로, 필요한 기능을 하나씩 만들고 수업에 맞게 다듬었습니다. 한 명의 교수자도 자신의 아이디어를 실제로 작동하는 도구로 만들 수 있다는 것을 보여주고 싶었습니다.

UPMI Academy 보기 · 강의실은 수강생에게 공개

COULD THIS WORK FOR YOU?

내 환경에서도 가능할까요?

교수자 한 사람이 에이전트로 어떤 수업 도구를 만들었고, 학생에게는 어떤 도움이 되나요?

BUILD DETAILS

구현 방법과 응용

01수업에 필요해서, 직접 만들었습니다

발표자료를 잘 만드는 것만으로는 충분하지 않았습니다. 설명하다가 더 좋은 사례가 떠올라도 사진이 없으면 말로 대신해야 했고, 한국어가 익숙하지 않은 학생은 내용을 알아듣는 데 더 많은 힘을 써야 했습니다. 질문을 놓친 채 다음 설명으로 넘어가는 학생도 신경 쓰였습니다.

이런 순간을 도와주는 도구가 있으면 좋겠다고 생각했습니다. 제가 원하는 수업 장면을 에이전트에게 설명하고, 실제로 써 보며 고쳤습니다. 별도의 개발팀을 꾸리기보다 수업을 하는 제가 필요한 기능을 직접 만든 사례입니다.

02떠오른 사례를 말로 불러와 보여주기

“다음 장으로 넘겨줘.” “이 건축물 사진 보여줘.” 설명하다 떠오른 요청을 말로 처리하면 화면을 조작하느라 수업을 멈추는 일을 줄일 수 있습니다. 초기 발표 도구에 음성 장표 전환을 구현했고, 이미지 팝업을 띄우고 닫는 기능도 만들었습니다.

사진 한 장이 긴 설명보다 빠를 때가 있습니다. 준비한 장표에 없는 사례도 그 자리에서 보여주고 다시 발표로 돌아오는 것이 목표였습니다. 이후 통합한 수업 화면에는 교수자의 장표 변경이 학생 화면에도 반영되도록 연결했습니다.

03외국인 학생도 익숙한 언어로 수업 따라오기

외국인 학생이 한국어를 해석하는 데 힘을 다 쓰면 정작 배워야 할 내용을 놓치기 쉽습니다. 제 설명을 실시간 자막으로 정리하고, 학생이 선택한 언어로 번역해 보여주도록 했습니다. 지원 언어 중 자신의 모국어나 익숙한 언어를 고르면 됩니다.

영어·중국어(간체)·일본어·베트남어·미얀마어·러시아어를 지원합니다. 한국어 원문을 함께 볼 수도 있습니다. 모두 같은 수업을 듣되, 설명을 이해하는 데 필요한 언어는 각자 선택하는 방식입니다.

04모르는 부분은 그 자리에서 AI 조교에게 묻기

한 개념을 놓치면 그다음 설명까지 어려워질 수 있습니다. 그렇다고 매번 수업을 멈추고 질문하기는 부담스럽습니다. 학생이 자기 화면에서 바로 질문하고 답을 읽은 뒤 수업을 이어갈 수 있도록 AI 조교를 붙였습니다.

AI 조교는 제가 올린 강의자료에서 근거를 찾아 답하고, 참고한 자료와 쪽을 함께 안내합니다. 학생에게 공개된 자료만 사용하며, 질문을 저에게 직접 보내는 것도 가능합니다. 같은 수업 안에서 학생마다 다른 궁금증을 해결할 수 있게 한 것입니다.

05수업 중 설명을, 수업 후 복습 자료로

발표자료에는 핵심만 담겨 있어 수업 중 제가 덧붙인 설명까지 남지는 않습니다. 그래서 강의 음성과 자막을 기록하고, 수업이 끝난 뒤 학생이 다시 듣고 읽을 수 있도록 했습니다.

기록은 바로 공개하지 않습니다. 제가 자막을 고치고 불필요한 구간을 제외한 뒤 검수해 공개하면, 수강생은 녹음 전체나 필요한 구간을 재생하며 자막을 확인할 수 있습니다. 필기하느라 놓친 설명을 다시 살펴볼 수 있는 복습 자료가 됩니다.

06받아쓴 말을 읽기 좋은 자막으로 다듬기

강의에서는 말을 고치기도 하고, 문장 중간에 잠시 쉬기도 합니다. 이를 그대로 받아쓰면 자막이 어색해집니다. Whisper로 인식한 내용을 로컬 AI가 읽기 좋은 문장으로 다듬고 번역하도록 했습니다. 과목과 장표에 맞는 용어집도 활용해 전문용어 인식을 돕습니다.

“이 기둥 사이의 간격은…” 하고 쉬었다가 “사람이 지나갈 수 있는 폭입니다”라고 이어 말하면 같은 문장으로 연결합니다. 이어지는 말이 없으면 들린 부분만 남깁니다. AI가 문장 끝을 임의로 지어내지는 않도록 했습니다.

“폭이 30, 아니 35cm”처럼 말을 고친 경우에는 “폭이 35cm입니다”로 정리합니다. 수치와 단위, 부정 표현의 변경을 검사하고 문제가 감지되면 원문을 유지합니다. 자동 정리와 번역에 오류가 남을 수 있으므로 공개 전 검수도 함께 사용합니다.

07교실에 있는 기기와 로컬 AI를 연결하기

큰 화면을 띄우는 기기와 목소리를 받는 기기를 나눴습니다. 휴대전화나 컴퓨터에서 음성을 받고, 마이크나 AirPods가 해당 기기의 입력 장치로 인식되면 활용할 수 있습니다. 교수자 화면에는 수업 진행 기능을, 학생 화면에는 자막 언어 선택과 질문 기능을 뒀습니다.

로컬 Whisper와 언어모델을 연결하고 음성 인식·문장 정리·번역을 나눠 처리했습니다. 번역을 기다리는 동안에도 다음 말을 받을 수 있게 하고, 결과는 발화 순서대로 보여줍니다. 필요한 용어와 문맥만 전달해 처리 지연을 줄이도록 다듬었습니다.

08에이전트와 만든 것은, 제가 원하던 수업 방식입니다

핵심은 기능의 개수보다 누가 왜 만들었느냐에 있습니다. 수업을 하는 제가 학생들이 어려워하는 순간을 떠올리고, 그때 필요한 도움을 프로그램으로 만들었습니다. 화면 제어, 통역, 질문, 복습을 제 수업에 맞게 연결한 것입니다.

로컬 AI를 운영하고 에이전트에게 작업을 맡기는 경험이 바탕이 됐습니다. 필요한 장면을 설명하고 결과를 확인하며 고치는 과정은 제 몫이었습니다. 그 과정을 거쳐 한 사람의 수업 아이디어가 학생마다 필요한 도움을 줄 수 있는 도구가 됐습니다.

적용 범위와 참고할 점

음성 장표 전환은 초기 발표 도구에 구현했고, 현재 Academy에는 음성 이미지 표시·닫기와 장표 제어 연결점이 있습니다. 소개한 기능의 일부는 서로 다른 개발 단계에서 만들어졌습니다. 녹음·자막은 교수자가 검수해 공개한 뒤 수강생이 볼 수 있습니다. 실제 화면 예시는 시험 계정과 합성 강의 음성을 사용했습니다. 번역 정확도와 처리 속도는 언어·모델 부하·교실 환경에 따라 달라지며, AirPods와 개별 단말의 실제 교실 사용은 추가 확인이 필요합니다.

함께 읽을 자료

같은 분야의 사례