한국의 HCI 연구자들은 Large Language Model에 대해 어떤 연구를 했을까?

걱정도 되고, 사용할 만한 응용들도 많고…

HCI 연구가 점점 중요해지고 있습니다.

최근에는 인공지능 기술이 발전하고 성숙해져 가면서, HCI 분야 연구의 중요성이 더욱 높아지고 있습니다.

인공지능 기술이 서비스의 형태를 띄면서 사용자들에게 직접 다가가는 단계에 이미 도달했기 때문입니다.

따라서, 인포리언스는 국내에서 HCI 분야의 연구를 수행하고 있는 연구자들의 데이터를 계속 수집하고 있습니다. 현재까지 약 200여 명의 데이터를 수집했고, 이를 바탕으로 국내에서는 어떤 내용의 HCI 연구가 진행되고 있는지 분석하고 있습니다. 그리고 앞으로는 이러한 분석결과에 대해 조금씩 공유해 보고자 합니다.

한국의 HCI 연구자들은 Large Language Model에 대해 어떤 연구를 했을까?

국내에서 연구활동을 하고 있는 약 200여 명의 HCI(Human-Computer Interaction) 연구자들이 Large Language Model에 대해 어떤 연구를 수행하였는지 알아보겠습니다.

참고로, HCI Korea 학회에 등록된 연구자들의 수만 하여도 400명이 넘습니다만, 현재까지 모은 연구자 데이터가 200여 명입니다. 앞으로도 계속해서 추가할 예정입니다.

전체적인 언급 추세를 보겠습니다.

그림 1. 2020년대에 들어서 급증하는 추세. 2025년 데이터는 계속 늘어나겠죠?

그림 1에서 볼 수 있는 바와 같이, HCI 분야에서도 대용량 언어모델에 대한 관심이 크게 늘고 있습니다.

2020년 이후부터의 데이터만 보면, 최근까지 약 48명의 연구자들이 대용량 언어모델에 대하여 약 130여 편의 연구결과를 발표한 것으로 나타났습니다.

200여 명의 연구자들 중에서 약 25%에 해당하겠네요. 전체 연구자들 중 25%라면, 꽤 높은 비율이 아닐까 합니다.

국내의 HCI 연구자들은 Large Language Model에 대해 어떤 언급을 했을까요?

국내의 HCI 연구자들이 Large Language Model에 대해 언급한 내용들을 주제 별로 분류해 보면 9가지로 나눌 수 있었습니다. 각 주제들을 살펴보면, 교육, 맞춤형 에이전트, 콘텐츠 생성, UI/UX 설계 보조, 의료 응용, 정보탐색 및 추천 시스템, 접근성 강화 등과 같은 주제들이 보입니다. 그리고 무엇보다 Large Language Model의 윤리적 측면과 사회적 영향을 고려하는 주제도 있습니다.

각 주제의 핵심 내용과 대표적인 연구자들은 다음과 같습니다.

1. 교육 및 학습 지원 : LLM을 활용하여 문제 출제, 첨삭, 평가 등 교육 현장을 지원

  • Juho Kim (KAIST) – KUIZ, 수학 문제 풀이 분석, 영어 작문 대시보드 등
  • Tak Yeon Lee (KAIST) – RECIPE4U, ChEDDAR, PromptCrafter 등
  • Kyoungwon Seo (SNUST) – 교사 평가 지원 시스템
  • Mun Y Yi (KAIST) – RMTS, InteractEval 등 평가 자동화
  • Gahgene Gweon (SNU) – 수학 문제 해결에 LLM 활용
  • Bongwon Suh (SNU) – AI를 활용한 사회과학 실험

2. 개인화 및 페르소나 기반 AI 시스템 : LLM을 활용한 사용자 맞춤형 에이전트, 정체성 반영 시스템

  • Jinwook Seo (SNU) – CloChat, 개인 맞춤형 에이전트
  • Hajin Lim (SNU) – 미래 자아 에이전트, SPeCtrum
  • Jong C. Park (KAIST) – 성격 기반 페르소나, 수어 번역
  • Sangsu Lee (KAIST) – 사용자 주도적 ChatGPT 커스터마이징

3. 상호작용 및 창의적 콘텐츠 생성 : 스토리텔링, 음악/이미지/디자인 등 창작 활동에서 LLM 활용

  • Byung-Chull Bae (Hongik Univ.) – 상호작용 스토리 생성
  • Jin Wan Park (Chung-Ang Univ.) – 음악 생성용 프롬프트 자동 생성
  • Se Young Chun (SNU) – 텍스트-이미지 합성 (DetText2Scene)
  • Tak Yeon Lee (KAIST) – PromptCrafter 등 창의 도구
  • Juhan Nam (KAIST) – 음악 검색 및 대화형 추천
  • Youn-kyung Lim (KAIST) – 감성 기반 음악 추천
  • Hwajung Hong (KAIST) – DiaryMate, MindfulDiary 등 정서적 지원 도구

4. 시각화 및 정보 디자인 : LLM을 활용한 데이터 시각화, UI/UX 설계 보조

  • Jaemin Jo (SKKU) – Bavisitter (자연어 시각화 도구)
  • Jinyoung Han (SKKU) – UI/UX 디자인 분석 (ChatGPT-4 Vision 기반)
  • Jinwook Seo (SNU) – 참신한 UI 검색, 시각 자료 해석 지원
  • Tak Yeon Lee (KAIST) – 사용자 시각화 선호도 연구

5. 헬스케어 및 의료 응용 : 의료 정보 전달, 중증도 판단, 정신건강 관리 등

  • Hwajung Hong (KAIST) – 쉬운 의학 정보 전달, MindfulDiary
  • Youngho Lee (Mokpo Univ.) – 응급실 중증도 판단 (KTAS 기반)
  • Keeheon Lee (Yonsei Univ.) – 응급실 중증도 분류 시스템
  • Mun Y Yi (KAIST) – 의료 QA에서 답변 불가 처리 방법

6. 정보 탐색 및 추천 시스템 :질의응답, 장소 추천, 리뷰 분석 등 정보 기반 서비스

  • Dongman Lee (KAIST) – 지리 정보 기반 장소 추천
  • Younghoon Lee (SNUST) – 리뷰에서 핵심 속성 추출
  • Kyungsik Han (Hanyang Univ.) – PADO (다중 에이전트 성격 분석)
  • Hyunchul Ahn (Kookmin Univ.) – 일상 및 학술 정보 제공

7. 사회적 영향 분석 및 윤리 : LLM의 편향성, 허위 정보, 감정과 참여 등 사회적 측면

  • Meeyoung Cha (MPI-SP / KAIST) – GeoSEE, ChatGPT 편향, 건강 정보 문제
  • Jang Hyun Kim (SKKU) – LLM 사용자 지속 이용 요인, 의존도 연구
  • Myung Hwan Yun (SNU) – 분야별 ChatGPT 활용 및 영향 분석
  • Bongwon Suh (SNU) – 사회적 맥락에서 LLM 의사결정 실험

8. 접근성 및 특수 상황 지원 :장애인, 노인 등 다양한 사용자를 위한 접근성 강화 연구

  • Hyunggu Jung (SNU) – 시각장애인 이미지 설명, 노인 스마트폰 UX
  • Jong C. Park (KAIST) – 수어 번역 (SpaMo 등)

9. 교육 외 평가/보고서 자동화 : 수업 외 현장에서의 평가 자동화

  • Kyoungwon Seo (SNUST) – 교사 대상 실시간 평가 리포트
  • Mun Y Yi (KAIST) – 설명 가능한 평가 시스템

각 연구자들의 실제 연구 내용 요약

국내 HCI 연구자들이 Large Language Model과 관련하여 실제로 언급한 내용들은 다음과 같습니다.

  • Bongwon Suh(SNU)[AI-generated]:
    • 제가 속한 연구팀에서는 ChatGPT를 활용하여 언론 자유 관련 설문 질문에 대한 모의 답변을 생성함으로써, 사회과학 실험에서도 AI를 활용할 수 있음을 탐구하였습니다. 또한, 심리적 압력이 LLM의 의사결정 과정에 미치는 영향을 분석하여, AI가 인간과 유사한 상황에서 어떻게 반응하는지를 조사하였습니다. 이러한 연구 결과는 사회적 현상과 의사결정 과정을 AI로 모사할 때 일반 사용자들도 그 한계와 가능성을 이해하는 데 도움이 될 수 있습니다.
    • 출처
  • Byung-Chull Bae(Assistant Professor, School of Games, Hongik University (Sejong Campus))[AI-generated]:
    • 제가 속한 연구팀에서는 언어모델을 활용하여 상호작용 스토리를 창작하는 저작 도구 프로토타입을 개발하였습니다. 사용자가 간단한 입력과 내러티브 요소를 선택하면, AI가 이를 바탕으로 몰입감 있는 이야기를 생성해 주어, 게임이나 인터랙티브 콘텐츠 제작에 도움을 줄 수 있습니다.
    • 출처
  • Dongman Lee(KAIST)[AI-generated]:
    • 제가 속한 연구팀에서는 자연어로 질의를 받아 지리 정보, 즉 지도상의 장소 추천을 수행하는 시스템을 개발하였습니다. 사용자의 위치 정보와 자연어 질의를 바탕으로, 가장 적합한 장소를 추천하는 방식으로, 이는 여행, 외식, 문화 생활 등 다양한 일상의 선택에서 보다 개인화되고 편리한 서비스를 제공하는 데 응용될 수 있습니다.
    • 출처
  • Gahgene Gweon(SNU)[AI-generated]:
    • 제가 속한 연구팀에서는 최신의 오픈소스 LLM인 llama-2-13b를 수학 문제 해결 과제인 FinQA에 적용하고, 다양한 프롬프트 기법(예: Chain-of-Thought, few-shot 등)의 효과를 비교하는 연구를 수행하였습니다. 또한, ChatGPT가 숫자의 자리값 개념을 얼마나 잘 이해하는지에 대한 실험을 통해, LLM의 언어 이해 한계를 파악하고자 하였습니다. 이 연구들은 수학 문제 풀이, 교육 등에서 LLM의 실질적 활용 가능성을 높이는 데 기여할 수 있습니다.
    • 출처
  • Hajin Lim(Seoul National University)[AI-generated]:
    • 제가 속한 연구팀에서는 미래의 자신과 대화를 나누며 진로를 탐색하는 편지 교환 방식에 LLM 기반의 미래 자아 에이전트를 도입하여, 젊은 성인들이 자신의 미래에 대해 더 깊이 생각할 수 있도록 지원하는 연구를 진행하였습니다. 또한, 개인의 사회적 정체성과 생활 맥락을 반영하는 LLM 에이전트 페르소나 구축 프레임워크 SPeCtrum을 제안하여, 보다 정교한 개인 맞춤형 AI 대화 시스템을 만들고자 하였습니다. 이런 연구들은 진로 설계, 상담 및 자기성찰 등 일상 생활에서 AI와 심도 있는 대화를 통해 자기 이해를 높이는 데 활용될 수 있습니다.
    • 출처
  • Hwajung Hong(Associate Professor, KAIST)[AI-generated]:
  • Hyunchul Ahn(Kookmin University)[AI-generated]:
    • 제가 속한 연구팀에서는 ChatGPT가 사회와 비즈니스, 학계 등 다양한 분야에서 정보를 생성하고, 사용자가 복잡한 질문에 대해 쉽고 빠르게 답을 찾을 수 있도록 지원하는 역할에 주목하였습니다. 이를 통해 일반 사용자들도 일상 업무나 학술 연구, 서비스 자동화 등에서 AI의 도움을 받아 효율성을 높일 수 있는 방향을 제시하고자 하였습니다.
    • 출처
  • Hyunggu Jung(Associate Professor, Seoul National University)[AI-generated]:
  • Jaemin Jo(Sungkyunkwan University)[AI-generated]:
    • 제가 속한 연구팀에서는 기존의 생성형 언어모델이 만든 시각화 디자인이 때때로 비효율적이거나 규범에 어긋나는 경우를 개선하기 위해, 시각화 디자인 가이드라인을 통합한 자연어 인터페이스 Bavisitter를 개발하였습니다. 이를 통해 사용자는 보다 정확하고 아름다운 데이터 시각화를 손쉽게 생성할 수 있게 되어, 업무 보고나 데이터 분석 등 실생활에서의 정보 전달 효과를 높일 수 있습니다.
    • 출처
  • Jang Hyun Kim(Professor, Sungkyunkwan University 성균관대)[AI-generated]:
  • Jin Wan Park(Chung-Ang University)[AI-generated]:
    • 제가 속한 연구팀에서는 음악 데이터를 기반으로 텍스트 프롬프트를 자동으로 생성하여, MusicGen과 같은 AI 음악 생성 모델에 입력하는 시스템을 개발하였습니다. 이 방식은 사용자가 복잡한 입력 없이도 자신의 감정이나 선호를 반영한 새로운 음악을 쉽게 생성할 수 있도록 도와, 일상에서 창작 활동이나 취미로 음악을 만드는 데 큰 도움을 줄 수 있습니다.
    • 출처
  • Jin-Woo Jeong(Seoul National University of Science and Technology)[AI-generated]:
    • 제가 속한 연구팀에서는 VR 환경 내에서 공개 연설 연습을 할 수 있도록, LLM을 활용하여 다양한 성격과 질문을 가진 청중을 생성하는 Q&A 연습 시스템을 개발하였습니다. 이를 통해 사용자들은 보다 몰입감 있는 연습 환경에서 자신감을 키우고, 실제 발표 상황에 더욱 효과적으로 대비할 수 있습니다.
    • 출처
  • Jinwook Seo(Department of Computer Science and Engineering, Seoul National University)[AI-generated]:
  • Jinyoung Han(Sungkyunkwan University)[AI-generated]:
    • 제가 속한 연구팀에서는 ChatGPT-4 Vision의 언어·시각 통합 기능을 이용하여, 한국의 주요 온라인 소매 플랫폼들의 UX/UI 디자인을 분석하였습니다. 이를 통해 사용자들이 웹사이트 디자인을 보다 직관적으로 이해할 수 있도록 개선 방향을 제시하고 있으며, 이는 소비자가 쇼핑할 때 편리하게 정보를 받아들일 수 있도록 돕는 데 활용될 수 있습니다.
    • 출처
  • Jong C. Park(Professor, School of Computing, KAIST)[AI-generated]:
    • 제가 속한 연구팀에서는 대형 언어모델이 다양한 성격적 특성을 반영할 수 있도록 Big 5 이론을 적용한 페르소나 생성 연구, 수어(손언어) 번역에 LLM을 활용한 연구, 그리고 영상 기반 수어 번역 시스템 SpaMo를 개발하는 등, LLM을 통해 다양한 의사소통 방식의 확대와 접근성을 높이는 연구를 진행하고 있습니다. 이러한 기술은 청각장애를 가진 분들이 보다 원활하게 소통할 수 있도록 돕고, 다양한 언어 환경에서도 일상 생활의 정보 접근성을 개선하는 데 기여할 수 있습니다.
    • 출처
  • Juhan Nam(KAIST)[AI-generated]:
    • 제가 속한 연구팀에서는 음악 검색과 추천 분야에 LLM을 적용하여, 대화형 음악 검색 시스템인 LP-MusicDialog, 텍스트로 음악을 검색하는 TTMR++ 모델, 대화 맥락에서 음악을 추천하는 TalkPlay, 그리고 대규모의 음악 캡션 데이터셋(LP-MusicCaps)을 구축하는 등의 연구를 진행하였습니다. 이를 통해 일반 사용자들은 자신의 음악 취향에 맞는 음악을 더 쉽게 찾거나, 음악에 대한 설명을 통해 새로운 음악을 발견하는 등 음악 감상의 경험을 풍부하게 만들 수 있게 됩니다.
    • 출처
  • Juho Kim(KAIST)[AI-generated]:
  • Keeheon Lee(Yonsei University)[AI-generated]:
  • Kyoungwon Seo(Assistant Professor, Seoul National University of Science and Technology)[AI-generated]:
  • Kyungsik Han(Hanyang University)[AI-generated]:
    • 제가 속한 연구팀에서는 코딩 도우미와 같이 특정 도메인에 특화된 AI 모델의 성능을 프롬프트 엔지니어링 기법으로 개선하는 연구, VR 환경에서 발생할 수 있는 멀티센서 데이터를 분석하여 멀미를 예측하는 연구, 그리고 텍스트를 통해 사람의 성격을 다각도로 분석하는 다중 에이전트 기반의 성격 검출 시스템 PADO를 개발하였습니다. 이 연구들은 사용자들이 소프트웨어 개발, VR 체험, 개인 맞춤형 서비스 등 일상생활의 다양한 영역에서 AI의 도움을 받아 더욱 편리하게 작업할 수 있도록 기여하고 있습니다.
    • 출처
  • Meeyoung Cha(Max Planck Institute for Security and Privacy (MPI-SP); KAIST)[AI-generated]:
  • Mun Y Yi(Professor, KAIST, South Korea)[AI-generated]:
    • 제가 속한 연구팀에서는 대형 언어모델을 활용하여 에세이 채점 시 평가 근거를 제시하는 Rationale-based Multiple Trait Scoring (RMTS), 인간과 LLM이 함께 체크리스트 기반 텍스트 평가를 수행하는 InteractEval, 그리고 의료 질의 응답에서 답변 불가 여부를 효과적으로 판단하는 방법 등을 연구하였습니다. 이 연구들은 교육 및 평가 환경에서 AI가 제공하는 설명 가능성과 신뢰성을 높여, 실제 교육 현장에서 평가 부담을 줄이고, 사용자들이 더욱 명확한 피드백을 받을 수 있도록 돕습니다.
    • 출처
  • Myung Hwan Yun(Seoul National University)[AI-generated]:
    • 제가 속한 연구팀에서는 컴퓨터공학, 사회과학, 의료 등 다양한 분야에서 ChatGPT가 어떻게 활용되고 있는지를 분석하여 연구 동향과 주요 주제를 도출하였습니다. 이 연구는 일반 사용자들이 최신 AI 기술이 각 분야에 어떤 영향을 미치는지 이해하고, 앞으로의 발전 방향을 예측하는 데 도움을 줄 수 있습니다.
    • 출처
  • Sangsu LEE(KAIST)[AI-generated]:
    • 제가 속한 연구팀에서는 사용자가 직접 ChatGPT를 커스터마이징하여 자신의 내재된 요구와 기대를 드러낼 수 있도록 돕는 도구를 개발하였습니다. 이를 통해 중년층 등 다양한 연령대의 사용자들이 AI와의 대화를 통해 자신들의 숨겨진 필요와 아이디어를 발견할 수 있도록 지원하며, 이는 보다 사용자 중심의 인터페이스 설계에 기여하고 있습니다.
    • 출처
  • Se Young Chun(Seoul National University)[AI-generated]: 제가 속한 연구팀에서는 확산 모델을 기반으로 텍스트 설명에 맞춰 대형 장면 이미지를 합성하는 DetText2Scene 시스템을 개발하였습니다. 이 연구는 사용자가 원하는 장면을 상세하게 설명하면, AI가 그 내용을 자연스럽고 사실적으로 시각화할 수 있도록 돕는다는 점에서, 영화 제작, 광고, 디자인 등 다양한 창작 활동에 일상적으로 활용될 수 있는 가능성을 보여줍니다.
  • Sejin Park(Keimyung University, aieev Inc.)[AI-generated]:
    • 제가 속한 연구팀에서는 텍스트 기반의 대형 언어모델 fine-tuning이 특정 도메인(예를 들어 한국어)에 특화되어 성능은 향상되지만, 다른 일반 도메인에서는 오히려 성능이 저하될 수 있다는 점을 연구하였습니다. 이를 통해 사용자들은 AI를 도입할 때 특정 목적에 맞춘 조정과 일반 활용 간의 균형을 고려할 수 있게 됩니다.
    • 출처
  • Tak Yeon Lee(KAIST)[AI-generated]:
  • Youn-kyung Lim(Professor of Industrial Design, KAIST)[AI-generated]:
    • 제가 속한 연구팀에서는 대형 언어모델을 활용한 대화형 추천 시스템을 개발하여, 사용자들이 자신의 음악 취향과 감성을 반영해 추천 서비스를 구성할 수 있도록 하였습니다. 이를 통해 사용자는 기존의 일방적인 추천 시스템이 아닌, 자신의 취향을 적극적으로 반영한 맞춤형 추천 경험을 누릴 수 있습니다.
    • 출처
  • Youngho Lee(Mokpo National University)[AI-generated]:
    • 제가 속한 연구팀에서는 ChatGPT를 이용하여 응급실에서 환자의 중증도를 판별하는 시스템을 개발하였습니다. 특히, 한국의 triage 체계인 KTAS를 활용하여, 일반인들도 쉽게 응급 상황에서 정보를 이해하고 판단할 수 있도록 하는 방법을 연구하였습니다. 이와 같이 의료현장에서 신속하고 정확한 판단이 필요한 상황에서 LLM의 도움을 받아 실제로 현장에서 적용할 수 있는 기술 발전을 도모하고 있습니다.
    • 출처
  • Younghoon Lee(Professor of Industrial Engineering, Seoul National University of Science and Technology)[AI-generated]:
    • 제가 속한 연구팀에서는 리뷰 텍스트에서 사용자 취향과 제품 특성을 나타내는 핵심 속성을 LLM의 in-context learning 기법을 이용해 추출하는 방법을 연구하였습니다. 이를 통해 기존에 노이즈가 많아 분석이 어려웠던 고객 리뷰에서 유의미한 정보를 뽑아내어 추천 시스템의 성능을 개선하고자 하였으며, 일반 사용자들도 보다 개인화된 추천 서비스를 경험할 수 있도록 기여할 수 있습니다.
    • 출처

코멘트

“한국의 HCI 연구자들은 Large Language Model에 대해 어떤 연구를 했을까?” 에 하나의 답글

  1. […] 더보기 >> 한국의 HCI 연구자들은 Large Language Model에 대해 어떤 연구를 했을까? […]

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다