타투는 분명 여태껏 아날로그의 세계에 끈덕지게 뿌리 내려온 문화임이 자명하다. 하지만 인간도 가볍게 속일 만큼 하루가 다르게 발전하는 AI의 시대에서는 그 근간 역시 흔들리고 있다. 서울의 언더그라운드 타투 문화 그리고 그 안에 숨겨진 흥미로운 세계를 조명하는 ‘Seoul Ink Chronicles’의 다섯 번째 주인공은 조금은 독특한 방식의 협업을 이어오고 있는 두 작업자, J타투와 사케민이다.

타투 AI 모델 ‘J.ta.2’를 바탕으로 독창적인 타투 스타일을 구축하고 있는 이들은 예술의 영역에 침범한 첨예한 기술을 어떻게 바라보고 있을까. 디지털 화면에서 펜으로 그리고 피부로 이어지는 이들의 이야기를 함께해 보자.

간단한 소개 부탁한다.

J: 현재 서울에서 타투이스트로 활동하고 있는 J타투라고 한다. 

사케민: 인공지능 연구자/개발자이자 미디어 테크놀로지스트 사케민이다.

J타투에게 먼저 묻겠다. 타투이스트로 일한 지는 얼마나 됐나.

시작한 지는 5년 정도 됐지만 진짜 ‘나 다운’ 작업을 시작하고 손님을 받은 지는 이제 3년 정도다.

어떻게 해서 타투이스트가 됐나, 타투에 끌린 특별한 계기가 있었을까.

J: 다양한 재료나 소재로 작업 하는것을 좋아하는데 타투는 사람의 피부라는 살아 숨쉬는 ‘재료’에 작업을 한다는 것이 재밌다고 생각한다. 내가 그린 그림들이 어디 벽에 걸려있거나 특정한 상황에서만 보이는 게 아니라 누군가의 피부 위에서 각자의 삶을 살아가고, 늙고 바랜다는 것이 나에게는 큰 의미가 있다. 

그렇다면 타투이스트가 되겠다고 결심을 굳힌 순간이 있었나?

J: 어렸을 때부터 그림 그리는 것을 좋아했고 외국에서 자라면서 타투를 접할 일이 많았다. 어릴 적, 간혹 타투가 많은 친구들의 부모님을 보면서 그 매력에 완전히 빠져버렸다. 전 세계를 돌아다니며 수 십 년의 기억을 몸에 기록해 놓은 친구의 아버지가 가장 인상 깊었다. 중학생 때부터 언젠가는 타투를 하게 될 것이라고 알고 있었던 것 같다. 

경력을 쌓으며 스타일의 변화도 있었을 것 같은데.

J: 타투를 시작하고 처음에는 ‘타투도안’이라는 틀에 갇혀서 딱 봐도 타투도안 같은 그림만 그렸다. 오래 지나지 않아 그런 디자인에 한계를 느끼고 다양한 곳에서 영감을 받아 새로운 시도를 하려고 했지. 패션이나 사진에서 영감을 찾기도 하고 AI 같은 신기술을 사용해서 스타일을 다방면으로 발전시켰다. 

사케민의 경우 테크놀로지스트라는 조금은 특별한 직업을 가지고 J와 협력하고 있는데, 어떻게 AI를 다루게 되었나. 타투 외에 AI에 관심을 두게 된 계기를 이야기해 달라.

사케민: 어렸을 때부터 행렬 곱셈과 선형대수학을 너무나도 좋아했다. 어느 날 꿈에 행렬 곱셈의 행과 열 벡터들이 하늘에서 돌기둥이 되어 지상으로 떨어지는 형상을 보았고, 기본적으로 거의 대부분의 연산 과정이 행렬 곱셈인 딥 러닝에 매료되어, 인공지능학 공학 석사의 길을 걷게 되었다. AI 연구자로서는 인공신경망 기반 K-Pop 가사 번역, 음악적 의미론적 정보를 반영한 오디오 압축과 같은 학술적인 연구들을, AI 개발자로서는 AI 음악 리믹스 앱 개발 등을 하였고, 이 과정에서 매일 빠르게 새로운 것이 등장하는 AI 학계/업계 동향을 살피며 흥미로운 기술들을 사운드나 비주얼 작업에 적용한다. 주로 인공지능을 이용하여 뮤직비디오를 만들거나 VJ로 활동하고, 때로는 미디어 아트 개인 작업을 전시한다.

두 사람은 어쩌다 타투 AI 모델, ‘J.ta.2‘의 개발을 위해 힘을 모으게 됐나.

J: 사케민을 합정의 테크노 클럽, 벌트에서 만났다. 그전부터 사케민의 AI 비주얼 작업을 벌트에서 봐왔었고, AI의 가능성에 대해서 종종 이야기를 나눴다. 그러던 와중, 사케민이 내게 타투 작업을 받게 되었고, 그날 작업 중에 사케민이 내 스타일의 이미지 생성 AI 훈련을 해보자는 아이디어를 제안했다. 새로운 매체를 활용해 볼 수 있는 기회였기에 이에 응하여 협력하게 되었다. 

사케민: 2022년 연말에 한창 오픈소스 ‘Text-to-Image’ 생성 AI 모델인 ‘Stable Diffusion 2.1’ 버전을 Fine-tuning(이미 훈련이 마쳐진 인공지능에 추가의 데이터셋을 학습하는 것)을 실험 중이었다. 당시에 공교롭게도 특정 인물이나 사물이 아닌, 하나의 ‘스타일’을 훈련시키는 걸 실험 중이었고, 추상적 형태 속에서 본인의 견고한 스타일을 발전시키고 있는 J타투의 문법을 흥미롭게 지켜보고 있었다. 그렇기에 AI 모델이 J타투의 스타일을 배우는 것을 목표로 하는 협업을 제안했다. 나는 개발자로서, J타투는 사용자로서, 우리가 만들어 낸 AI 모델이 어떻게 작동하는지 실험하며, 끊임없는 대화를 나누며 분석하였고, 결국 최적의 결과물을 생성하는 모델을 만들었다. 둘이 친하다 보니 개발자-사용자 간 소통이 원활했을뿐더러 비교적 빠르게 모델을 개발하고 버전 업데이트를 할 수 있었다.

J.ta.2 AI 모델이 개인의 그림 스타일을 인식하고 복제하도록 훈련하는 과정을 설명해 줄 수 있을까.

사케민: 지난해 7월 공개된 텍스트 기반 이미지 생성 AI 모델, SDXL(Stable Diffusion XL)은 1억 개 이상의 이미지들과 각각의 이미지를 설명하는 텍스트들을 함께 학습해 만들어졌다. 오픈 소스로 공개됐기에, 이 모델에 개인이 추가로 준비한 이미지-텍스트 쌍 데이터셋을 학습시키는 것(fine-tuning)이 가능하다. 300장이 조금 넘는 J타투의 도안들을 ‘J.ta.2’라는 이름의 스타일 텍스트로 기존 SDXL 모델에 추가로 학습시켰고 J타투의 스타일을 모방하여 이미지를 생성하는 모델을 제작한 거다. 

J.ta.2 모델 개발 중에 겪은 난관도 있었을 텐데.

사케민: ‘Fine-tuning’한 모델이 300장이 넘는 J타투의 도안들을 추가로 학습하면서 오버피팅 현상이 일어났는데, 쉽게 말해 모델이 새로운 정보들을 너무 열심히 학습해서 기존 SDXL 모델이 알고 있던 지식들을 까먹게 되는 현상이 발생한 것이다. ‘J.ta.2’라는 스타일을 배우느라 기존에 알고 있던 ‘코끼리’라는 대상은 까먹어 버린 상황인 것이다. 이를 극복하기 위해, 기존 모델 자체는 건드리지 않고 외부에 추가로 소규모의 신경망을 부착해 모델이 기존에 알던 지식은 보존하면서 추가로 새로운 정보를 학습하는 훈련 방식인 LoRA를 새로운 학습 방식으로 채택했다. 그래서 새롭게 학습된 모델은 ‘J.ta.2의 스타일의 주얼리’라는 명령어를 주었을 때, 기존 SDXL 모델이 알고 있던 ‘주얼리’라는 대상을 새롭게 배운 ‘J.ta.2’ 스타일로 그릴 수 있게 됐다.

인공지능이 생성한 타투 디자인을 작업할 때는 특히 개인의 미적 감각에 맞게 다듬고 맞춤화하는 측면이 중요할 것 같은데, 이에 접근하는 본인만의 방식이 있는지.

J: AI의 생성물을 다듬는 것도 정말 중요하지만 그 AI를 자유자재로 제어할 수 있는 것이 먼저다. AI를 사용한다고 해서 항상 내가 원하는 디자인이 생성되는 것은 아니다. 하지만 AI에 입력하는 명령어의 미묘한 뉘앙스 차이에서도 결과물을 내가 원하는 방향으로 유도할 수 있다. 이러한 시행착오 속에서 우리가 제작한 AI 모델의 경향성도 어느 정도 파악했다.

그리고 AI에 너무 의존하지 않으려고 노력한다. AI가 모방한 나의 스타일은 내가 만족할 정도의 완성도와 디테일을 갖지 않는다. 그렇기 때문에 AI로 생성된 이미지를 재해석하여 내 손으로 다시 그려내는 과정이 필수적이다. 

Instagram에서 이 게시물 보기

J(@j.ta.2)님의 공유 게시물

어찌 됐건 타투 역시 예술의 영역에 있다고 볼 수 있는데, 예술에 AI라는 기술을 도입한다는 데 찬반이 있는 것 같다. 어떻게 생각하나.

J: 우리가 제작한 AI 모델은 수 백 장의 내 그림으로 학습되었다. 간단히 말해, 내 그림들이 없었다면 이 모델은 존재할 수 없다. AI 기술이 빠르게 발전하면서 그에 반대하는 사람들도 늘어나고 있다. 특히, 창의성이 중요한 예술의 영역에서는 ‘AI가 창의적인가’, ‘AI에게 예술성이 있는가’ 등의 담론으로 귀결되기 쉽다. 하지만 이는 AI를 일종의 ‘인격체’로 보는 기존 공상과학적 관점 때문이라고 생각한다. 즉, 나에게 AI는 도구 같은 존재다. 그 도구를 어떻게 사용하느냐가 정말 핵심 아닐까. 

사케민: 예술의 영역에서 AI의 등장은 19세기의 카메라의 등장과 비슷하다고 생각한다. 카메라가 등장하면서 회화는 기존의 의미를 상실하며 동시에 새로운 의미를 찾았다. 카메라뿐만이 아니다. 예술은 항상 기술과 상호 영향 관계에서 발전해 왔다. 다만, 지금 AI 등장이 과거와 한 가지 큰 차이가 있다면, 존나 빠르다는 것이다. 그렇기에 혼란은 당연하다고 생각한다. 하지만 결국, 모든 사진이 예술 작품으로 여겨지는 것은 아닌 것과 같이, AI가 생성한 결과물이 곧 예술 작품이지 않다는 인식이 당연해지지 않을까. 그렇기에 본인만의 AI를 도구로 사용하기 시작하며 새로운 실험을 거듭하여 자신만의 노하우를 찾아 나가는 J타투를 보며 나는 경이로움을 느낀다.

타투이스트이자 기술자로서 지속적으로 영감을 얻고 계속해서 창의적인 작업물을 낼 수 있도록 하는 방법이 있다면 무엇일까.

J: 타투이스트로서의 발전은 지속적인 혁신을 통해 이루어질 수 있다고 생각한다. 전통적인 타투의 분야에서는 정해진 규칙과 규정이 많이 존재하기 때문에 새로운 시도가 어려운 경우가 많다. 그러나 발전을 위해서는 이러한 규칙에 얽매이지 않은 창의적인 접근이 필요하다. 각 작업자에 따라 다르겠지만, 타투이스트로서의 성장을 위해서는 관습적인 틀에 갇히지 않고 끝없는 시행착오를 통해 새로운 아이디어를 탐구하는 것이 중요하다고 느낀다.  

사케민: 기술, 특히 AI 기술들은 아까 말했듯이 정말 빠르게 발전하고 있다. 그렇기에 어떠한 기술이 새롭게 등장하였는지, 현재 이 기술이 대중들에게 접근이 열려있는지, 사용 시 연산 소요 시간은 얼마나 긴지, 이를 어떻게 응용할 수 있는지 등을 빠르게 파악하는 것은 매우 중요하다. 같은 이미지/영상 생성 모델이라고 해도 각각의 메커니즘은 다르기 때문에, 프로젝트의 목표, 혹은 원하는 스타일이 무엇이냐에 따라 가장 적합한 모델을 잘 선택하기 위해서는 머릿속에 사용 가능한 기술들이 일종의 ‘툴 라이브러리’ 혹은 카탈로그처럼 존재해야 한다. 

앞으로 타투 신(scene)에서 기술의 역할이 더 커질 것이라 보나?

사케민: 학부 시절 ‘Art & Technology’를 전공했는데, 이 시기 동안 예술과 기술의 적극적인 접목을 탐구했다. 현재 예술의 영역에서 다양한 시도가 끊임없이 일어나고 있는데, 아직까지 일종의 ‘음지 예술’인 타투의 영역에서는 적극적인 기술 도입 실험들을 자주 보진 못했다. 그렇기에 J타투와의 컬래버레이션을 통해, 타투 산업 내에서도 기술 도입으로 열 수 있는 새로운 가능성의 영역들을 발견할 수 있었고, 많이들 시도해 보면 좋겠다. 아직 다양한 분야의 기술자와 타투이스트가 만날 기회가 많지는 않은 현실이지만, 이러한 거리감도 점점 허물어지길 바란다.

J: 지금까지 타투는 기술의 발전과 함께 진화해 왔다. 더 나은 머신의 발명과 위생에 대한 이해로 인해, 오늘날의 타투는 90년대의 타투와는 비교할 수 없는 수준으로 발전했다. 현대 기술의 급속한 발전이 타투에 대한 인식과 타투를 소비하는 방식에 영향을 미치는 것은 불가피한 일이며, 새로운 기술을 배척하고 전통만을 지키려 하는 것은 개인 혹은 문화적인 발전을 막는 일 일지도 모른다고 생각한다. 기술이 발전함에 따라 타투이스트들은 창작의 핵심은 지키면서 새로운 기술을 타투이스트의 이익으로서 활용하는 것이 중요하다. 사케민이 말한 것처럼, 타투이스트들이 새로운 기술을 받아들이고 그것을 타투 예술에 효과적으로 접목하는 미래를 기대한다. 

J.ta.2 인스타그램 계정
Sakemin 인스타그램 계정

Editor | 장재혁, Abeer
Interviewer│Abeer
Photographer | 예진