[오프라인] 아티스트를 위한 딥러닝 강좌 참여 후기

크리에이티브 코딩에서 알게 된 인스타에서 아티스트를 위한 딥러닝 강좌가 열린다고 하여 참여해봤다.
(인스타그램 @okdalto)
 

 
 

김성현 연사

 

뭐하는 사람인가?

 

(사실 내가 이 강좌에 참여한 가장 큰 이유는 '이런 류의 일을 하는 사람은 뭐라고 명료하게 정의할 수 있을까, 직업으로써 얼만큼의 확장성이 있을까, 어떤 방향성을 가지고 있는가' 같은 것들이어서 주의깊게 들었다.)

 
- 자신을 컴퓨터 그래픽스 리서처라고 소개한다.
- 현재는 anigma ai라는 회사 창업한 상태
- 어릴적 장래희망은 그래픽디자이너, 학사는 국민대 영상디자인, 석박사는 카이스트 비쥬얼 미디어 랩(=원래부터 공대 베이스는 아니었다)
- 취미는 코드를 사용한 렌더링
- 디자이너는 디자이너가 잘할 수 있는 일을 해! 네가 컴공 전공자만큼 잘할 수 있어? 라는 말들을 실제로 들었다.
- 왜 하는가? 그냥 재밌으니까... 이유없다! 스스로 여전히 디자인을 하고 있다고 생각한다.
 
- SIGGRAPH 2023 세계 최대의 컴퓨터그래픽스 컨퍼런스(업계 탑티어들이 모이는... 올해 50주년이었다)
- 애니메이션 사이사이를 보관하는 알고리즘, 여행할 때 짐 패키징을 정해진 프레임에 넣는 알고리즘, 우주를 어떻게 시각화해서 보여줄 것인가 등 소개하는 컨퍼런스
 
 
 

컴퓨터 그래픽스란 무엇인가

 
- 추상의 세계를 기술하는 언어 : 수학
- 어려운 수식들의 기본적 원리 : (결국엔) 빛과 물체가 어떻게 상호작용할 것인가
- 목적에 따라 다르게 사용하는 수학. 수식을 '디자인'한다.
- 잘 디자인된 물건을 감상할 때 느끼는 아름다움 = 잘 짜여진 수식/코드를 봤을 때의 아름다움이 비슷하다고 느낀다 (읽을수록 의도가 느껴지는)
- 새로운 차원의 축을 만들어서 사고를 확장하기
- 원래 자신에겐 축이 1개였다. '말도 안되는 알고리즘이 어쩌구 해서 뭐가 2% 향상됐다' => 어떤 축에선 엄청 대단한 일일 수 있지만, 다른 축에선 "So What?"일 수 있다.
 
- 공학적 사고 맛보기 예시
> (아무 평범한 사진 주고)이미지의 외곽선을 그리려면 어떻게 할까?
> 이미지는 함수다. (그래서요?)
> 함수는 Magic Box! 어떤 값을 넣었을 때 어떤 출력값이 나오는...
> 이미지 위 좌표를 주면, 해당 좌표의 컬러값을 알 수 있다. f(x,y) = c(컬러값)
> 함수이기 때문에 쓸 수 있는 테크닉, 미분! (미분은 어떤 함수의 순간기울기 구하기)
> 이미지에서 순간적으로 값이 증가하는 곳 = 외곽선
 
 

딥러닝이란?

 
- 세상 모든 문제를 사람이 디자인한 함수로 풀 수 있을까?
- 위 예시인 외곽선 따오기 VS 개와 고양이 구분하기, 대화생성하기, 텍스트로부터 이미지 만들어내기
- 후자와 같은 문제를 해결하는 것.
- 즉, 딥러닝이란 해당 문제를 해결하는 함수를 모르지만, 입출력은 알 수 있을 때 그 함수를 근사하는 함수를 만들어내는 방법
- 아티스트가 코딩을 배워야 하는가? > 글쎄요... 하지만 상황을 알긴 해야 한다고 생각함.
- UI가 편리해질수록 본질에서 멀어진다(ex. 휴지통으로 파일 드래그하는 건 레이블을 바꾸는 것일 뿐인데). 이런 것에 관심이 있다면 배워보는 것도 좋을 것 같다. 
 
 

여러 가지 수학공식이나 함수 작동원리같은 걸 꽤나 구체적으로 설명했는데, '이 업계에서 어떤식으로 사고하는지 전반적인 인상을 주기위한 설명이었다'는게 좋았다. (그런 것 치고 너무 길고 자세하긴 했지만...)

 
 

---

 

김태훈 연사

 

무슨 일을 하고 있는가?

- 기술의 발전에 따라 예술가들이 만들어내는 매체가 바뀌어오고 있었다. (물감이 나왔을 때 회화가 시작되고, 카메라가 나왔을 때 사진도 예술로 평가를 받게 되고..) > 인공지능이라는 새로운 툴이 나온 것도 같은 맥락 > 예술 분야, 특히 이미지에 관심이 많다
- 2022년 5월, Disco Diffusion이라는 모델이 처음 나왔을 때가 이미지적 예술로서의 인공지능이 크게 발전했던 시기
- 어떻게 하면 창작자들이 쉽게 쓸 수 있는 도구를 만들 수 있을까 고민하는 사람
- 서브컬쳐 장르의 상업예술을 하는 회사 소속(이미지 생성 AI)
 
 

어떻게 시작할까?

 
- 마이크로소프트의 이미지크리에이터를 써보시라
- 텍스트 기반으로 세상에 없던 이미지를 만들어줌 (ex. 농구하는 코알라, 모히칸 스타일 한 모나리자)
 
 

어떻게 활용할까?

 
- midjourney, DALL-E...
- 프롬프트를 넣을 때 3가지로 나누면 효과적 : 어떤 장면인가 정의 / 오브제에 대한 묘사 / 보조적인 효과들, 디테일 보완
- 어떤 프롬프트를 써야 할까? 다양한 사례를 보며 ai와 소통하는 기초 단어(문법) 익숙해지기
- 예를들면 거리 구도 렌즈(extreme close-up, long shotm extreme wide shot...)
- 잘 쓰는 사람들은 매우 긴 문단으로 명령을 내리곤 한다.
- 이는 매우 비직관적이지만 ai에게 일을 시키려면 얘를 이해시키고 잘 컨트롤할 수 있는 어휘력을 늘리는 게 표현능력과 상관관계가 있다.
 
 

프롬프트로 만들어낼 수 없는 이미지를 만들어내는 법

 
- Stable Diffusion WebUI(거의 모든 사람들이 쓰고 있는 오픈소스 이미지 생성툴)
- AI용 포토샵이라 생각하면 됨
- 미드져니, 달리와 같은 이런 모델을 직접 만들고 고칠 수 있다(나만의 커스텀 모델)
 

Diffusion Model은 어떻게 동작하는가?

 
- 딥러닝 모델에 랜덤한 숫자나 텍스트를 줬을 때 이미지를 만들어내는 모델을 image generation model이라 한다
- 입력값을 줘서 이미지를 만들어내는데, 입력값이 하나의 종류 뿐이면 single modal, 2개 이상의 다른 데이터면 multi modal
- diffusion process : 예전에는 한 번의 입력에 한 방의 결과물을 만들어내려는 노력을 했다면, 이제는 여러 번의 입력을 통해 노이즈를 제거해나가며 결과물을 완성해나가도록 함(딥러닝의 여러 가지 방법론들을 시도해보며 택하게 된 것)
 
 

Stable diffusion webUI 가장 중요한 기능

 
- 수많은 오픈소스 확장기능들 존재 (like 포토샵, 블렌더)
- 예측 불가능한 결과물 > 좀 더 예측 가능하고 의도를 반영할 수 있는 결과를 만들 수 있도록 도와주는 플러그인 Control stable diffusion (midjourney, dall-e에선 아직 못하는 기능들을 제공)