영상 속 사람들 얼굴 블러 처리, 10분 영상 10초만에 끝내기.

영상 속 사람들 얼굴 블러 처리, 10분 영상 10초만에 끝내기.

영상 블러 처리, 여전히 사람이 반복 작업하고 있다고요?

사람들에게 블러미 서비스를 소개하면, 많은 이들이 AI가 영상도 만들어주는 세상에서 아직도 블러처리를 사람이 하고 있냐고 의아해 합니다. 여전히 그렇습니다. 작업자는 영상을 살펴보며 사람 얼굴이나 자동차 번호판을 발견하면 마스킹 영역을 지정하고, 움직임에 따라 위치를 바꾸고, 크기도 조절해야 합니다. 모두 일일이 사람이 하고 있는 상황입니다.

실제로 fiverr.com과 같은 재능 마켓 플랫폼(talent marketplace)에서는 이런 작업을 대신 해주는 프리랜서들, 긱 워커(gig worker) 혹은 에이전시들이 많이 있습니다. 아래의 작업자는 움직임이 심하지 않는 하나의 얼굴이 나오는 10분 영상을 블러처리 해주는 비용으로 25달러와 이틀의 소요 기간을 이야기 하고 있습니다. 비용은 그렇다치고, 이틀이나 기다려야 한다니. 프리미어 프로 같은 툴을 이용해서 대신 작업해주고 있는 셈입니다.

믿을 수 없어…
블러나 모자이크 작업을 ‘자동화 했다’고 하는 도구들을 사용해 보았습니다.

1) 프리미어 프로

영상의 블러처리를 해야하는 대부분의 사람들은 프리미어 프로의 기능을 이용합니다. 유튜브에는 프리미어 프로를 이용해서 편하게 블러처리 하는 방법을 알려주는 수십개의 가이드 영상들이 있으니 참고하셔도 좋습니다.

이를 위해서는 당연히 프로그램을 구매해서 설치하고 기본적으로 어떻게 하는지 익혀야겠죠. 하지만 더 큰 문제는 그 다음부터 입니다. 프리미어 프로의 방식은 AI가 아닌 대상의 모양(figure)을 기반으로 트래킹하는 방식이라 사용자가 모든 프레임을 살펴보며 블러 처리할 얼굴을 직접 찾고 위치와 크기를 조정하는 수고를 들여야 합니다.

사실상 이 작업을 fiverr.com에 있는 업체들이 돈을 받고 대행해주고 있는 셈입니다.

이미지 출처: YouTube ‘AdobeMasters’


2) 유튜브 스튜디오

유튜브는 영상 크리에이터들을 위해 SaaS 형태의 편집 툴을 제공하고 있습니다. 여기에는 영상에 등장하는 사람들의 얼굴을 블러처리하는 기능도 있는데, 실제로 사용해보면 전혀 도움이 되지 않는 수준입니다. 사람의 얼굴이 아닌 엉뚱한 부분을 블러처리하거나, 얼굴을 제대로 따라가지도 못하는 경우가 많이 발생합니다. 화면상에서 비교적 얼굴이 크고 명확하게 나올 때만 인지하여 처리하고, 그렇지 못하면 놓쳐버립니다.

자동 블러 기능은 ’도저히 쓸 수 없는 수준’으로, 사용하다보면 스트레스를 많이 받을 것 같습니다.



3) 다른 여러 패키지 소프트웨어들

AI를 이용하여 자동으로 처리해준다고 하는 스타트업들의 소프트웨어들도 여럿 있습니다. 비디오 편집툴에서 하나의 기능으로 구현되어 있거나, 블러처리를 목적으로 만든 솔루션인 경우도 있는데, 대부분 웹 기반이 아닌 설치 프로그램의 형태로 이용할 수 있습니다.

대부분의 소프트웨어들을 사용해보면, 유튜브 스튜디오와 크게 다르지 않다는 것을 알 수 있습니다. 파일을 업로드 하면 마스킹을 진행하는 시간이 상당히 소요되고, 결과는 실망스럽습니다. 화면상 작은 크기의 얼굴은 인지하지 못하고, 움직임이 심하거나 빠르면 블러가 풀리기도 하며 얼굴이 교차되는 상황에서의 블러도 실패하곤 합니다.

그들의 광고영상이나 랜딩페이지에서 보이는 것처럼 매끄럽게 처리되는 경우는 매우 낮아 보입니다.


블러미의 AI는 ‘정말로’ 당신을 쉬게 만들 수 있습니다.
어쩌면 노동은 인간의 본질이 아닐지도 몰라요.

다시 처음 우리가 했던 질문으로 돌아가야 할 것 같습니다. 여전히 사람이 할 수밖에 없을까? 우리는 블러미 서비스를 만들면서 고객이 정말로 원하는 마법같은 경험을 다음과 같이 정의했습니다.

“웹 상에서 파일을 업로드만 하면 기계가 10초 안에 자동으로 처리”

우리는 이것을 AI SaaS로 해결하려 합니다. AI 기반의 SaaS 만이 자동화를 통한 편의성, 즉각성, 그리고 높은 사용 접근성을 제공할 수 있고, 이것이 우리가 고객에게 가장 뛰어난 고객경험을 줄 수 있는 유일한 방법이라고 생각합니다.


만약 여러분이 5분 분량 영상의 블러 처리를 완벽하게 해야 한다면, 아까 소개한 fiverr같은 곳에서 25달러에 누군가에게 의뢰를 할 수 있을 겁니다. 작업물을 받기까지 24시간에서 36시간이 소요될 것이며, 당연히 작업자와 소통을 해야 것이고요.

하지만 블러미를 이용한다면, 5분의 영상을 14달러의 요금으로 기계가 처리하여 20초만에 작업을 끝낼 수 있습니다. 누군가에게 접촉할 필요 없이 그냥 웹에서 파일을 업로드 하기만 하면 됩니다.


블러미가 차별적인 퍼포먼스를 낼 수 있는 이유는 무엇일까요?

누군가는 AI가 얼굴을 인식하고 마스킹 처리하는게 그렇게 어려운 것인가 생각할 수 있습니다. 하지만 앞서 소개한 다른 대안들을 보았을 때 대상을 놓치지 않고 매끄럽게 처리되는 것이 기본적으로 쉽지 않다는 것을 인지할 수 있을 것입니다.

품질 못지 않게 속도도 중요한 부분입니다. 1시간이 넘는 비디오에서 수십명이 넘는 사람들의 얼굴을 처리해야 한다면, 기존 솔루션 기반으로는 몇 시간이 소요될 수 있는 작업입니다. 일을 완벽하게 처리 할 수 있느냐 이전에, 사용성과 사용 접근성이 매우 떨어지는 해결 방법이 되어버리는 셈입니다.

뛰어난 사용 경험과 접근성을 위해, SaaS 기반으로 이런 작업을 처리하는 것은 또 다른 수준의 이야기가 됩니다. PC의 자원을 사용하지 않고 클라우드를 통해 웹 상에서 빠르고 정확하게 마스킹 처리하는 것은 상당한 기술 수준이 요구됩니다.

우리는 소프트웨어는 뛰어난 사용성이 가장 중요하다고 믿고 있기에, 웹에서 즉석으로 모든 것이 끝나야 한다는 것 만큼은 타협할 수 없었습니다. 이러한 압도적인 사용경험을 제공하기 위해, 블러미의 개발팀은 웹 브라우저 영역과 클라우드 영역 모두에서 매끄럽게 처리 되는 자체 엔진을 개발하는 것에 성공했습니다.


브라우저 영역에서는 가장 최신의 기술인, 웹어셈블리(Web Assembly)와 WebGL을 활용한 렌더링 엔진을 만들어냈습니다. 이를 통해서 사용자가 웹 상임에도 마치 네이티브인 것처럼 착각할 수 있을 정도의 쾌적함을 만들어낼 수 있는데, 이는 순수 자바스크립트(javascript) 대비 약 8배 높은 퍼포먼스입니다.

클라우드 영역에서는 자체 개발한 PowerBlur 파이프라인이 고성능의 하드웨어를 효율적으로 가속할 수 있게 설계되었습니다. 처리해야할 영상이 길거나 많아도 거뜬하게 처리할 수 있고 GPU에 최적화된 영상 처리 알고리즘으로 어색하지 않고 자연스러운 마스킹 처리가 가능합니다.

영상 속에서 수백명이 움직여도 괜찮아요. AI에게 맡기고 좀 더 주무세요.



블러미를 사용해보면, 영상에 나오는 마스킹 대상이 몇 명이든, 얼마나 격하게 움직이든 모두 처리해내는 것을 볼 수 있습니다. 수백명의 인원이 동시에 빨리 움직이고 있어도 모두 마스킹할 수 있습니다. 더욱 놀라운 것은 처리 속도입니다. 영상 작업을 위한 툴을 사용할 경우, 대상의 숫자와 움직임에 따라 비용과 시간이 기하급수적으로 증가됩니다.

그 밖에 블러미는 자동차 번호판 처리, 블러 대상 추가/해제를 통한 선별 기능을 포함해 사용자가 추가적으로 원하는 부분을 직접 마스킹 할 수 있는 수동 보완 기능 등을 가지고 있습니다. 이 기능들은 누구나 쉽게 사용할 수 있고 헬프센터의 블러미 사용 가이드에 설명되어 있으니 살펴보시면 좋을 것 같습니다.

블러미는 이미지 속 얼굴들을 자동으로 블러처리하는 것으로 시작해서 이제 영상으로 발전하였고, 끊임없이 고도화되고 있습니다. 사람들이 이미지, 영상과 관련된 어떤 형태의 작업이든 덜 일하고 더 편하게 작업을 할 수 있게 자동화하는 최적의 방법들을 찾아내고 적용하는 것이 우리가 생각하는 고도화의 방향입니다.

우리가 제품에 대해 가지고 있는 가장 중요한 철학은 쓸만한 제품을 만든다라는 것입니다. 딥러닝과 같은 높은 수준의 기술이 왜 필요한지 합리화 하거나 정당화 할 필요 없이, 어떠한 논쟁없이 사용할 수 밖에 없는, 뛰어난 사용성을 가진 제품을 만드는 것이 우리의 목표입니다.