KAIST 연구진이 AI에게 가정교사 AI를 붙여주는 새로운 학습 방법을 개발했다. /KAIST


인공지능(AI)은 왜 많은 데이터를 학습했음에도 사람의 의도를 정확하게 파악하지 못하는 걸까. AI에 ‘이런 대답이 더 좋다’ ‘저런 답이 더 낫다’고 알려줘도, 왜 그렇게 생각하는지까지는 AI가 이해하기 어렵기 때문에 오류는 계속되어 왔다.
KAIST 연구진은 이 같은 문제를 해결하기 위해 AI에 ‘가정교사 AI’를 붙여주는 새로운 학습 방법을 개발했다. 이른바 ‘AI를 가르치는 AI’를 만든 것이다.
◇AI에 가 황금성게임랜드 정교사가 생겼다
KAIST는 전기 및 전자공학부 김준모 교수 연구팀이 인간의 선호를 효과적으로 반영하면서도 데이터 효율성과 학습 안정성을 크게 향상시킨 강화 학습 프레임워크 ‘TVKD(Teacher-Value-based Knowledge Distillation)’를 개발했다고 17일 밝혔다.
지금까지 AI는 보통 두 가지 바다이야기게임기 답을 보여줄 때 사람이 ‘난 이쪽이 더 낫다’고 고르면, 그 선택을 그대로 외우는 식으로 학습해 왔다. 문제는 현실에선 상황과 선택, 판단이 계속 달라질 수 있다는 데 있다. AI는 또한 이렇게 애매한 데이터를 주면 금세 다시 혼란에 빠지고 오류를 내기 마련이다.
문제를 해결하기 위해 연구팀은 사람 대신 AI를 가르치는 ‘교사(Teach 메이저릴게임사이트 er) AI’를 만들었다. 교사 AI는 어떤 답이 좋은지, 얼마나 좋은지를 숫자로 정리하고 이해한 뒤 그 핵심을 뽑아 ‘학생(Student) AI’에게 차근차근 설명한다. 가정교사가 문제집을 통째로 외우게 하는 대신에 중요한 개념을 정리해서 가르치는 것과도 비슷하다. 연구팀은 이 방식을 ‘TVKD’라고 이름 붙였다.
◇“왜 더 좋은지” 배 바다이야기게임기 운다
‘TVKD’를 활용하면 AI는 ‘이 답변이 왜 더 나은지’를 이해하고 배울 수 있게 된다. 교사 AI가 모든 답변마다 질문 의도, 문맥, 답변의 일관성, 앞뒤 연결성을 종합해서 점수로 매긴 뒤, 이 점수를 학생 AI에게 가르치기 때문이다. 학생 AI는 선생 AI의 이런 밀착 지도 덕분에 곧 애매한 상황에서도 앞뒤 문맥을 보고 전체 흐 릴게임온라인 름을 고려해 더 안정적인 판단을 할 수 있게 된다.
연구팀은 장치 하나를 더 추가했다. 사람들은 답변을 고를 때 ‘이게 확실히 더 낫다’고 확신하기도 하지만, 반대로 ‘둘 다 별로인데, 그나마 이게 낫다’면서 고를 때도 있다.
연구팀은 가령 10명 모두가 A와 B 중 B를 고를 땐 ‘확실한 선택’, 5명은 A를 고르고 5명은 B를 고르는 것은 ‘애매한 선택’이라고 보고, 이런 ‘애매한 선택’에 대해서도 AI에 학습시켰다.
이렇게 학습한 AI 모델들은 기존보다 더 정확하고 안정적으로 답했다. 엠티-벤치(MT-Bench), 알파카-이밸(AlpacaEval) 같은 주요 AI 평가 지표에서도 기존 최고 기술을 안정적으로 앞서는 성과를 냈다.
김준모 교수는 “현실에선 사람의 선호 데이터가 항상 충분하거나 완벽하지 않다”며 “이번 기술은 그런 제약 속에서도 AI가 일관되게 학습해 다양한 분야에서 더 나은 성과를 내기 위한 것”이라고 했다.