Google 성공한 또 하나의 획기적인 기술이 공개되었습니다.

  Google 성공한 또 하나의 획기적인 기술

YouTube 라이브 등으로 생방송을 하고 있는 사람을 보면, 전달자의 배경에 게임 화면 등 다른 화면을 비추고 있는 것이 있습니다. 이 촬영을 위해서는 크로마 키 합성 등을 사용함으로써 실현 가능하지만, 미리 배경이 되는 부분에 그린(녹색) 일색의 벽을 둘러치다등 불편한 준비가 필요합니다. 거기서 Google은 이러한 불편한 준비를 없애기 위해서, 촬영 중의 실시간 영상에서 배경만을 제거하는 획기적인 기술을 개발했다고 합니다.

Google에 따르면 이 인물과 배경을 분리시키는 "분할"기술은 "회선 신경망 네트워크(CNN)"을 사용한 기계 학습에서 실현하고 있다는 것으로, 실제 데모 영상을 봐도 거의 위화감 없이 다른 배경 속에 인물을 설정할 수 있음을 알 수 있습니다.

이처럼 정밀한 "분할"을 가능토록 하고 Google에서 수십만의 화상 데이터를 학습시키고 있다는 것으로, 다시 학습시킨 화상에는 "머리""목""피부"등 각 부위마다 정보를 부가했다고 합니다. 알파고의 능력이 이런 부분에도 사용되고 있는듯 보이는 대목입니다.

이 기술은 스마트 폰 이용을 상정하고 있으며, 기존 기술의 LSTM이나 GRU에서 배경을 제거하는 처리를 하면 부하가 너무 비싸다는 단점이 있다는 것. 거기에서 연구자들은 "영화는 프레임이라 불리는 1장 1매의 화상의 모임이며 서로 인접이 되는 프레임에는 거의 변화가 생기지 않을 것이다"라는 발상에서 인물의 위치를 각 프레임마다 계산하고 찾는 것이 아니라 한개 앞의 프레임에 있던 인물들의 위치도 고려하고 현재의 인물의 위치를 계산함으로써 계산 부하를 줄이고 있다는 것입니다.

Google은 이 밖에도 계산 부하를 줄이기 위한 연구를 거듭하고 있으며 iPhone 7에서는 100FPS이상 Pixel 2에서는 40FPS이상의 영화 촬영에서도 이 분할 기술을 적용할 만큼, 스마트 폰으로 고속 처리의 실현이 가능하게 되었다고합니다. 또한 이 분할 기술은 YouTube의 "스토리"포맷에 편입 예정으로 하고 있는데, 구체적인 시기 등은 분명하지 않습니다.