박물관 3.0 시대(Museum 3.0)와 인공지능 및 빅데이터

2016년 다보스 포럼에서 ‘제4차 산업 혁명’이 화두로 등장한 이후, 테크놀로지에 대한 혁신적 연구와 실험적 행보는 ‘박물관 3.0 시대(Museum 3.0)’로의 도약을 가능케 했다. 4차 산업혁명의 기술 발전에 따라 최근 10년 동안 박물관 및 미술관에서는 인공지능(AI)과 빅데이터의 활용에 대한 관심이 증가해 왔다. 박물관 3.0 시대(Museum 3.0)에는 데이터 축적 방법론의 변화뿐만 아니라 축적된 데이터를 다양한 방법론과 도구로 분석하고, 그 결과를 소장품 관리부터 관람객 개발에 이르는 박물관 및 미술관 경영 전 분야에 적용하는 것이 용이해졌다. 방대하고 복잡한 데이터세트(dataset)인 빅데이터는 일반적으로 특정 패턴이나 트렌드에 대한 이해를 제공해주는데, 빅데이터 분석은 전시 환경에서의 관람 행태뿐만 아니라 전시 디자인 및 전시 동선 설계, 소장품 분류, 연구, 전시 기획, 교육 활동, 관람객 개발 등에 대한 통찰력을 제공해준다. 소장품 관리의 차원에서 머신비전은 최근 몇 년 동안 박물관 및 미술관의 소장품 관리를 위한 효율적인 도구로서의 가능성이 입증되고 있다. 예술작품의 주제 감지에서 딥 러닝, 광학 문자 인식 및 색상 구성을 지원하는 복잡한 의미론적 분할에 이르기까지 머신비전은 다양한 방법으로 사용된다. 예를 들어, 컴퓨터 비전 알고리즘은 유물이나 예술작품의 이미지에 대한 태그를 생성하여 패턴, 색상 및 주제를 식별하는 데 유용하게 활용되고 있다.

소장품 메타데이터와 머신비전

뉴욕 맨해튼 센트럴 파크의 동쪽 가장자리에 있는 메트로폴리탄미술관(Metropolitan Museum of Art)은 세계 3대 미술관에 해당한다. 이 미술관은 아프리카, 아시아, 오세아니아, 비잔틴 및 이슬람 예술에 이르는, 그리고 선사시대부터 현재까지 세계 각지에서 5,000년에 걸친 세계문화 중 약 150만 점의 예술작품과 유물을 소장하고 있다. 상술한 바와 같이 메트로폴리탄미술관은 방대한 소장품을 보유하고 있기 때문에, 이와 관련된 메타데이터의 문서화 및 관리는 소장품 관리에서 매우 중요한 업무에 해당한다. 예술작품이나 유물의 메타데이터에는 색상부터 주제, 매체, 기법에 이르기까지 다양한 시각적 요소뿐만 아니라 작가의 이력이나 영향력, 예술 사조 및 예술 양식 등 구조화되지 않는 정보가 담겨 있기 때문에, 소장품의 분류 및 태깅 과정은 상당히 노동집약적인 작업이다.

한편 메타데이터는 ‘데이터에 대한 구조화된 데이터’로 정의할 수 있는데, 미술관학적 맥락에서는 ‘소장품에 대한 구조화된 데이터’라 이해할 수 있다. 메트로폴리탄미술관은 소장품 이미지를 중심으로 메타데이터를 생성 및 분류, 해석하기 위해 머신비전을 사용했으며, 구글 클라우드 비전(Google Cloud Vision), 아마존 레코그니션(Amazon Rekognition), IBM 왓슨(IBM Watson)의 컴퓨터 비전 플랫폼을 기반으로, 각 예술작품에 대해 생성된 태그의 양, 다양성, 유형 및 정확성 등의 관점에서 유사성과 상이성에 대해 접근했다.

메트로폴리탄미술관의 ‘오픈 액세스 이니셔티브’

2017년 메트로폴리탄미술관은 375,000점의 예술작품을 ‘크리에이티브 커먼즈 제로(Creative Commons Zero, 이하 CCO)’ 라이선스로 지정, 일반인에게 이미지를 무료로 공개하는 개방형 데이터 프로그램에 해당하는 ‘오픈 액세스 이니셔티브(Open Access Initiative)’를 착수했다. 당시 메트로폴리탄미술관의 웹 사이트에 접속하는 전 세계 인구는 30억 정도였기 때문에, 미술관의 오픈 액세스 정책(Open Access Policy)에 뿌리를 두었던 이 프로그램은 디지털 시대의 소장품에 대한 접근 증진을 위해, 그리고 미술관의 설립 취지를 달성할 최적의 방법이라는 의사 결정에 따라 이루어졌다. ‘오픈 액세스 이니셔티브’에는 큐레이터, 보존처리사, 소장품 관리자, 사진작가, 사서 등 다양한 미술관의 전문인력이 참여했으며, 매년 새로운 고해상도 이미지와 메타데이터가 추가되고 있다. 또한 크리에이티브 커먼즈 제로 라이센스로 지정된 이미지의 90% 이상은 위키미디어 커먼즈(Wikimedia Commons) 플랫폼에도 탑재되었는데, 이로 인해 온라인 소장품 검색 빈도와 검색량이 17% 이상 증가했을 뿐만 아니라 이미지 다운로드는 64% 증가하는 성과를 거두었다.

<그림1> 메트로폴리탄미술관의 오픈 액세스 플랫폼

메트로폴리탄미술관의 ‘인공지능 + 해커톤(AI + Hackathon)’

2018년 12월, ‘오픈 액세스 이니셔티브’ 2주년을 맞아 메트로폴리탄미술관은 마이크로소프트(Microsoft), 매사추세츠공과대학교(Massachusetts Institute of Technology, 이하 MIT)와의 협업을 통해 이틀 동안 ‘인공지능 + 해커톤(AI + Hackathon)’을 개최했다. 이 행사의 목적은 이미지, 메타데이터 세트, 새로운 주제 키워드를 활용한 응용 프로그래밍 인터페이스(Application Programming Interface, 이하 API)를 통해 인공지능이 세계 최고의 미술관 소장품과 전 세계 관람객을 연결하는 혁신적인 방법을 탐색하는 것이었다. 각각의 영역에서 글로벌 대표성을 지닌 세 기관의 협력은 메트로폴리탄미술관이 추진하고 있는 오픈 액세스 프로그램의 지속적 확장 및 성장에 매우 중요한 의미를 지녔다.

이 행사는 결과적으로 디지털 방식으로 확장되는 미술관의 개방형 데이터세트 및 인공지능의 잠재력을 가시화하는 데 기여하게 될 것이기 때문에, 참여 기관 모두 메트로폴리탄미술관의 오픈 데이터세트와 인공지능의 결합이 소장품 이미지와 학술적 성과에 대한 디지털 접근을 대외적으로 확산시키는 효과를 발생시킬 것으로 기대했다. 이러한 기대는 예술작품이나 유물 이면에 놓여있는 데이터세트와 인간의 육안으로 확인할 수 없는 패턴을 상호 연결하는 인공지능과의 결합에 대한 확신으로부터 비롯되었다. 이는 관람객들이 단순히 예술작품을 관조하는 방식에서 벗어나 자신의 고유한 관심에 따라 예술작품과 관계를 형성하며 의미 생성을 지원해 줄 수 있는 잠재력을 인공지능이 갖고 있다는 것을 의미한다.

<그림2> 마이크로소프트, 메트로폴리탄미술관, 매사추세츠공과대학교가 공동으로 주관한 ‘인공지능 + 해커톤(AI + Hackathon)’ 포스터

‘인공지능 + 해커톤(AI + Hackathon)’ 행사에 앞서, 관심 주제를 기반으로 한 소장품 검색이 가능하도록 메트로폴리탄미술관은 ‘크리에이티브 커먼즈 제로’ 라이선스로 지정된 예술작품에 대한 새로운 주제어 데이터세트를 개발했다. 한편 마이크로소프트는 행사 지원을 위해 애저 인식 서비스(Azure Cognitive Services), 애저 인식 검색(Azure Cognitive Search), 애저 쿠버네티스 서비스(Azure Kubernetes Service), 대화형 인공지능(Conversational Al), 마이크로소프트 머신러닝(Microsoft Machine Learning), 애저 머신러닝(Azure Machine Learning) 등의 기존에 구축된 응용 프로그램 인터페이스(API)를 포함한 인공지능 플랫폼을 제공했으며, 뉴 잉글랜드 연구 개발 센터(New England Research & Development, 이하 NERD)에 작업 공간을 마련해 주었다. MIT의 경우, 오픈 러닝 및 지식 미래 그룹(MIT Open Learning & Knowledge Futures Group)을 주도하는 학생과 교수가 참가했으며, 메트로폴리탄미술관에서는 큐레이터 및 디지털 부서의 미술관 전문인력 및 연구원이 참여했고, 해커톤 참여자들은 소규모 그룹으로 구성되었다.

각각의 소그룹은 인공지능이 인간과 예술 간의 관계성에 어떠한 변화를 가져올 수 있는지에 대해 성찰하면서, API에 대한 디자인 콘셉트와 프로토타입의 개발에 주력했다. 그 결과, ‘젠 스튜디오(Gen Studio),’ ‘마이 라이프, 마이 멧(My Life, My Met),’ ‘스토리텔러(Storyteller),’ ‘오늘의 예술작품(Artwork of the Day),’ ‘태그, 바로 그거야!(Tag, That’s it!)’ 등 다섯 가지의 프로토타입이 개발되었다. 상술한 프로토타입 가운데 몇 가지만 살펴보면, 메트로폴리탄미술관의 오픈 액세스 소장품의 공유 기능 및 영역을 시각적으로 탐색했던 ‘젠 스튜디오’팀은 이안 굿펠로우(Ian Goodfellow)가 제안한 생성적 적대 신경망(Generative Adversarial Network, 이하 GAN)을 적용, 다양한 예술 양식, 재료 및 형태를 이용한 새로운 대화형 방식의 실시간 예술작품의 생성이 가능한 프로토타입을 개발했다. 개발 과정에서 ‘젠 스튜디오’팀은 애저 쿠버네티스 서비스 등 마이크로소프트가 제공한 애저 인공지능 플랫폼과 마이크로 서비스 아키텍처 등을 활용했으며, 애저 쿠버네티스 서비스 클러스터에서 GAN을 제공하는 파이선(Python) 기반의 마이크로 웹 프레임워크(Micro Web Framework)에 해당하는 Flask 응용 프로그래밍 인터페이스(API)를 개발했다.

<그림3> 오픈 액세스 소장품 이미지와 생성적 적대 신경망(GAN)을 기반으로 젠 스튜디오에서 새롭게 생성한 예술작품 이미지

메트로폴리탄미술관의 경우, 매일 9천 5백만 개 이상의 사진 이미지와 동영상이 인스타그램에서 공유되고 있다. 일상생활을 예술작품으로 전환하는 도구에 해당하는 ‘마이 라이프, 마이 멧’의 경우, 인스타그램에 게시된 일상생활과 예술과의 시각적 관계를 탐색할 수 있게 했다. ‘마이 라이프, 마이 멧’팀은 마이크로소프트의 인공지능 플랫폼을 활용, 인스타그램(Instagram) 게시물의 이미지를 분석해서 그 이미지와 가장 유사한 오픈 액세스 소장품으로 이미지를 대체해주었다. 예를 들어, 식당 저녁 식사의 사진은 류류쿄 신사이(Ryūryūkyo Shinsai)의 일본 음식이 묘사된 예술작품으로, 마이크로소프트 본사는 이집트의 기원전 15년경에 지어진 덴두르 신전(the Temple of Dendur)으로 대체되었다.

<그림4> 인스타그램에 게시된 사진 이미지가 ‘마이 라이프, 마이 멧’을 통해
메트로폴리탄미술관의 류류쿄 신사이의 일본 음식이 묘사된 예술작품으로 대체된 사례

2018년부터 메트로폴리탄미술관의 디지털 부서는 ‘주제 키워드 태깅 프로젝트(subject-keyword tagging project)’를 착수했다. 이 프로젝트의 핵심은 소장품에 있는 300,000개 이상의 디지털화된 예술작품에 1,063개의 주제 키워드를 추가하는 것이었다. 이 프로젝트의 주제 키워드 데이터세트와 인공지능의 결합에 관심을 두었던 ‘태그 바로 그거야!’팀은 예술작품의 태그를 정확하게 예측할 수 있는 기계 학습 모델의 훈련에 주제 키워드 데이터세트의 사용이 가능한지를 개념적으로 증명하기 위한 프로토타입을 개발했다. 프로젝트팀은 보다 정확한 키워드를 자동으로 생성하기 위해 구글 클라우드 비전(Google Cloud Vision)과 마이크로소프트의 마이크로소프트 애저(Microsoft Azure)를 사용했다. 또한 미술관의 주제 키워드를 위키데이터(Wikidata)에 연결해서 인공지능 모델을 학습시켰으며, 그다음 단계에서는 위키데이터가 운영하고 있던 게임 인터페이스를 이용해서 새로운 데이터베이스 항목의 추가 또는 중복 정보 제거 등의 작업을 진행했다. 이 프로토타입은 인공지능 모델로 생성된 주제 키워드 결과를 조정하는 크라우드 소싱 도구에 해당한다. 해커톤이 종료된 이후, ‘태그 바로 그거야!’팀은 미술관과의 협력을 지속 및 심화했으며, 그 결과 인공지능이 생성한 키워드 제안이 포함된 ‘Depiction’이라는 게임 시스템 프로그램을 출시하는 성과를 거두었다.

글을 마치면서

‘인공지능 + 해커톤(AI + Hackathon)’은 다양한 인공지능 플랫폼 및 도구, 오픈 액세스 소장품에 대한 데이터세트, 주제 키워드 등을 참가자들에게 제공해주고, 현재 미술관을 이용하는 관람객 및 웹 사이트를 방문하는 글로벌 온라인 사용자와 미술관 소장품을 창의적이며 혁신적인 방식으로 연결할 수 있는 흥미로운 성과물을 탄생시켰다. 이 해커톤은 예술과 공학의 진정한 융합적 실천에 해당하며, 다양한 배경지식을 지닌 참여자들이 프로젝트를 통해 관람객을 위한 최적의 서비스를 찾기 위해 상호 교류하는 기회였다는 것도 큰 의의를 둘 수 있다. 비록 해커톤의 지속성이 정기적으로 유지되지 못했다는 점은 큰 아쉬움으로 남지만, 일부 프로토타입의 경우에는 해커톰이 종료된 후 심화 발전시키는 성과를 거두었다.

국내의 경우에도 박물관 및 미술관에서 인공지능의 적용에 대한 관심이 점차 높아지고 있다. 필자가 현재 진행하고 있는 미술관 관람객 연구의 경우, 머신비전을 비롯한 다양한 인공지능 도구들이 사용되고 있지만, 실질적으로 미술관 업무에 이러한 도구를 적용하는 것은 전문 인력의 확보가 동반되어야 한다. 만일 국내 미술관에서 본 고에서 다룬 해커톤을 진행한다고 가정한다면, 선결되어야 할 문제들이 있다. 예를 들어, 메트로폴리탄미술관이 ‘크리에이티브 커먼즈 제로’ 라이선스로 지정한 것과 같이, 메타데이터에 대한 오픈 액세스가 가능한 예술작품, 즉 예술작품의 저작권 및 메타데이터 세트가 확보되어야 할 것이다. 특정 전시 기간에 국한해서 전시에 사용된 예술작품에 대한 데이터세트 오픈 액세스를 허용하는 것도 하나의 방법이 될 수 있겠지만, 본질적인 해결 방법은 아니다. 또한 교육부의 발표에 의하면, 2024년부터는 초등학교에 인공지능 교육이 필수로 포함될 것이며 점차 중등 및 고등학교의 커리큘럼에도 변화가 확산될 예정이다. 이에 해커톤에 전문가 집단뿐만 아니라 다양한 계층의 참여가 가능하다면, 인공지능 기반의 다양한 창의 학습 기회 제공 및 소장품에 대한 관심 유도뿐만 아니라 궁극적으로 미술관에 대한 인지도 및 이용 증가 등 다양한 효과를 기대해 볼 수 있을 것이다.