스포츠중계 AI 하이라이트 평가법, UNIST가 바꾼 이유

스포츠중계에서 AI가 뽑아낸 하이라이트가 정말 ‘결정적 순간’인지 가리는 기준이 새로 나왔습니다. 울산과학기술원(UNIST) 김태환 교수팀은 실제 경기 영상과 공식 하이라이트를 정교하게 맞춰보는 대규모 벤치마크를 만들고, 긴 영상에서도 중요한 장면을 골라내는 AI 모델까지 함께 제시했습니다. 이 글에서는 왜 기존 방식이 부족했는지, 무엇이 달라졌는지, 스포츠중계와 AI 평가의 의미를 차근차근 정리해드립니다.

640시간 스포츠중계로 만든 더 진짜 같은 시험대

이번 연구의 핵심은 스포츠중계 영상을 대상으로 한 평가 기준을 실제에 가깝게 끌어올렸다는 점입니다. 기존에는 비교적 짧은 영상이나 단순한 구간 분할만으로 하이라이트 성능을 따지는 경우가 많았는데, 연구팀은 축구·야구·농구·배구·미식축구 등 8개 종목, 320편, 총 640시간 규모의 영상으로 벤치마크를 구성했습니다. 하이라이트 추출 AI가 잘 작동하는지 보려면, 모델이 고른 장면이 원본 경기의 어느 시점에서 나왔는지 정확히 짚어낼 수 있어야 하는데, 그동안은 공식 하이라이트에 타임스탬프 정보가 없어 평가가 까다로웠습니다. 이번에 제안된 방식은 원본 영상과 하이라이트 영상을 프레임 단위로 비교해 가장 비슷한 장면을 자동으로 짝짓고, 그다음 앞선 장면과의 시간 순서까지 함께 따져 정답 위치를 정교하게 찾아내는 방식입니다. 단순히 비슷해 보이는 컷을 고르는 것이 아니라, 경기 흐름 속에서 실제로 어느 순간에 해당하는지까지 반영했다는 점에서 스포츠중계 분석의 기준을 한 단계 끌어올렸다고 볼 수 있습니다.

프레임을 한 장씩 비교해 하이라이트 위치를 찾는 방식

연구팀이 해결한 가장 큰 난제는 ‘정답 역할을 하는 공식 하이라이트 영상의 위치’를 자동으로 찾는 일이었습니다. 스포츠중계는 장면 전환이 빠르고, 같은 득점이나 수비 장면도 카메라 각도에 따라 전혀 다르게 보일 수 있습니다. 그래서 단순 문자열 검색이나 구간 길이 비교로는 정확한 평가가 어렵습니다. 연구팀은 이 문제를 화면의 픽셀 단위 유사도로 접근했습니다. 원본 영상과 하이라이트 영상을 비교해 가장 닮은 프레임을 찾고, 그 장면이 앞뒤로 자연스럽게 이어지는지도 함께 계산해 매칭 정확도를 높였습니다. 이런 방식은 사람이 경기 영상을 보며 “아, 이 장면이 그 장면이구나”라고 판단하는 과정을 기계적으로 재현한 셈입니다. 지디넷코리아 등에서 전해진 내용에 따르면, 이렇게 찾은 정답이 사람의 판단과도 대체로 일치하는 것으로 확인됐습니다. 결국 이번 연구는 스포츠중계 속 명장면을 더 믿을 만하게 평가하기 위한 바닥 공사를 새로 한 작업에 가깝습니다.

TF-셀렉터가 긴 스포츠중계에서 하이라이트를 고르는 원리

벤치마크만 만든 것이 아닙니다. 연구팀은 긴 영상에서 하이라이트를 뽑아내는 모델 ‘TF-셀렉터’도 함께 개발했습니다. 이 모델은 기존 장면 분할 모델, 음성인식 모델, 비전언어모델, 대규모 언어모델을 조합해 스포츠중계의 중요한 순간을 찾습니다. 여기서 장면 분할은 영상의 흐름을 잘게 나누는 작업이고, 음성인식은 중계진의 반응이나 현장 소리를 단서로 활용하는 데 도움을 줍니다. 비전언어모델과 대규모 언어모델은 화면 속 맥락과 언어 정보를 함께 이해하는 데 강점이 있어, 단순히 공이 움직였는지만 보는 것이 아니라 ‘왜 중요한 장면인지’까지 해석하는 데 쓰입니다. 연구팀은 이런 조합을 통해 고른 장면이 실제 하이라이트인지 평가하는 HIT@1과, 정답 개수만큼 후보를 골랐을 때 얼마나 많이 찾아냈는지를 보는 지표에서도 성능 향상을 확인했다고 설명했습니다. 스포츠중계처럼 길고 복잡한 영상일수록, 한 가지 단서만으로는 놓치는 장면이 많기 때문에 이런 다중 모델 결합이 더 설득력 있게 다가옵니다.

스포츠중계와 AI 평가가 왜 지금 더 중요해졌을까요

스포츠중계 영상은 이제 단순한 생중계에 그치지 않습니다. 팬들은 경기 전체를 다시 보기보다 골 장면, 홈런, 역전 순간처럼 압축된 하이라이트를 먼저 찾고, 플랫폼과 서비스는 그 수요에 맞춰 자동 편집과 추천을 강화하고 있습니다. 그래서 AI가 뽑아낸 장면이 정말 핵심 장면인지 검증하는 일은 생각보다 중요합니다. 만약 평가 기준이 부정확하면, 모델은 겉으로는 잘 맞는 것처럼 보여도 실제 서비스에서는 엉뚱한 장면을 추천할 수 있습니다. 이번 UNIST 연구는 그런 문제를 줄이기 위해 실제에 가까운 스포츠중계 데이터와 더 정교한 매칭 방법을 제시했다는 점에서 의미가 큽니다. 특히 축구의 결승골, 야구의 역전 홈런, 농구의 버저비터처럼 짧은 순간에 승부가 갈리는 장면은 맥락을 놓치면 전혀 다른 의미로 보일 수 있습니다. 하이라이트 추출 AI가 이러한 문맥을 더 잘 읽게 된다면, 스포츠중계의 시청 경험도 한층 더 빠르고 정확하게 바뀔 가능성이 있습니다.

정리하면, 이번 연구는 스포츠중계 영상에서 AI가 찾은 명장면을 더 믿을 수 있게 평가하는 기준을 마련했고, 실제 장시간 경기 영상에 맞는 하이라이트 추출 모델까지 함께 제시했다는 점에서 주목됩니다. 짧은 데모가 아니라 긴 실제 중계로 성능을 따지는 흐름이 확산되면, 앞으로 스포츠중계 편집과 추천의 품질도 더 정교해질 수 있습니다. 비슷한 시각 급상승한 다른 이슈는 아래에서 이어집니다.