KAIST(총장 이광형)는 산업및시스템공학과 문일철 교수 연구팀이 세계 최고 수준의 기계학습 학회인 ‘국제머신러닝학회(ICML) 2024’에서 개최된 ‘멀티모달 작업계획 생성 경진대회(EgoPlan)’에서 다수의 세계 연구팀을 모두 제치고 우승했다고 2일 밝혔다.

이번 대회는 7월 21일부터 27일까지 오스트리아 비엔나에서 개최됐다. 참가자는 북경대, 북경 AGI연구소, 임페리얼칼리지 런던 등의 6개국 13개 기관이 참여해 경쟁했다. KAIST 연구팀은 국내 유일의 참가 기관으로 7월 26일 우승상 및 혁신상을 수상했다.

이번 대회는 인공지능이 주방에서 요리하는 과정을 비디오와 지문으로 학습한 이후, 경험하지 못한 요리 과정에서 상식적으로 합당한 의사결정을 내려 조리할 수 있는지를 경쟁하는 시합이었다. 이는 시각 정보와 지문 정보 등의 멀티모달 정보를 조합하며, 학습에 반영되지 않은 상식까지 반영해 의사결정을 내리는 시험이다. 이 기술은 최소한의 학습만으로도 로봇이 다양한 멀티모달 정보 및 기초 상식을 활용해 자율 제조 및 서비스를 수행할 수 있도록 개발하는 것이 핵심이다.

KAIST 산업및시스템공학과 이광현(석사과정), 강미나(석사과정) 등 총 11명의 팀으로 참가한 KAIST 응용인공지능 연구실(AAILab) 팀은 상식 기반 추론을 통한 작업계획 생성의 정확도 1위 성능으로 우승상과 기술의 우수성을 인정받아 혁신상을 수상해 2개 상을 동시에 수상했다.

이번 대회를 위해 AAILab 팀은 멀티모달 대규모 모델의 파인튜닝 학습에 대한 연구 개발 결과를 적용해 우승을 차지했다.

문일철 교수는 “중국팀들이 대회를 위해 위챗 대화방까지 마련해 서로 협력한다는 얘기를 전해 듣고는 경쟁이 치열하다고 느꼈다”면서 “하지만 KAIST팀도 각고의 노력으로 우승할 수 있었다. 학생들이 두 달 동안 거의 잠을 자지 못했다”고 우승 소회를 밝혔다. 이어 “이번 대회의 출제 문제는 요리하는 인공지능이지만, 사실 테슬라에서 시험하고 있는 휴머노이드 제조 로봇에 활용될 수 있는 상식을 가진 인공지능을 만드는 기술이 본질이다. 많은 중국 참가자가 보여주듯이 중국의 로봇과 인공지능 기술 선점 노력을 엿볼 수 있다”라고 분석했다.

이번 연구는 정보통신기획평가원(IITP)에서 지원한 사람중심인공지능 핵심원천기술개발사업 중 ‘이종데이터기반 상식 추출·이해·추론을 위한 인공지능 기술개발’을 통해 이뤄졌다.