1 Overview

• <별 헤는 밤>은 누군가를 기억하고 관계의 흔적을 되돌아보게 하는 인터랙티브 미디어아트 프로젝트입니다. 관객의 이름과 목소리를 Speech-to-Text 기술, 파티클 기반 생성 그래픽, 별과 우주의 은유로 번역하여 관계를 감각적으로 성찰하게 하였습니다.
• 이 프로젝트는 2022년 UNIST 학부 Creative Computing for Media Art 수업 과제에서 시작해, 이후 HCI Korea 2023 전시로 확장되었고, 전시 관찰과 설문 결과를 바탕으로 IASDR 제출 논문 형태로 정리되었습니다.
• 역할: 작품 기획, 인터랙션 설계, 생성 그래픽 및 음성인식 구현, 전시 평가 및 소논문 작성

2 Context

<별 헤는 밤>은 소셜미디어가 관계를 넓히는 동시에, 관계의 감각을 더 얇고 피상적으로 만들 수 있다는 문제의식에서 출발하였습니다.

현대 사회는 소셜 미디어를 통해 과거 어느 때보다 조밀하게 연결되어 있지만, 사람들은 역설적으로 더 큰 고립감과 외로움을 느끼고 있습니다. 오늘날의 인간관계는 0과 1, 친구 맺기와 끊음 등 플랫폼의 기능을 통해 이산적으로 재매개화 되었습니다. 이러한 문제의식에서 출발하여, 이 작품은 우리에게 정말 의미 있는 관계란 무엇인지, 그리고 그러한 관계들이 현재의 나 자신에게 어떤 흔적을 남기는지를 질문합니다.

<별 헤는 밤>은 광활한 소셜 네트워크라는 우주 속에서 우리가 맺고 있는 관계의 의미를 되돌아볼 수 있는 인터랙티브 미디어 아트입니다. 윤동주 시인의 「별 헤는 밤」에서 별과 하늘이 회상, 그리움, 덧없음, 이상향을 함께 품고 있듯, 이 작업 역시 우주와 별의 은유를 통해 관계와 흔적을 표현하고자 했습니다. 예술적 경험을 통해 자신의 인간관계를 성찰하고 회복 탄력성을 기를 수 있도록 돕는 경험을 제안합니다.

3 Approach

본 프로젝트는 초기 아이디에이션부터 시스템 구현, 그리고 전시를 통한 실증적 사용자 연구까지 체계적인 4단계 과정을 거쳐 진행되었습니다.

3-1 은유적 컨셉 디자인 및 상호작용 기획

관계를 설명하는 대신, 이름을 부르고 별의 움직임을 바라보게 하는 방식으로 작품을 기획했습니다.

“사람들과의 만남과 이별이 현재의 나를 어떻게 바꾸었는가?”

멀리서 보면 사람간의 관계는 그저 사람들이 모이고 흩어지는 반복처럼 보일 수 있지만, 개인의 관점에서는 누군가가 다가오고 지나가며 크고 작은 흔적을 남깁니다. 이 프로젝트는 이러한 감각을 직접 서술하는 대신, 관객이 자신의 이름과 타인의 이름을 불러 생성된 별의 움직임을 보며 스스로 관계를 해석하도록 만드는 방향으로 전개되었습니다.

이를 위해 성찰을 유도하는 디자인 재료로 기억과 모호성을 선택했습니다. 관객은 현실과 디지털 세계에서 만난 사람들의 이름을 떠올리고 직접 소리내어 말하게 되며, 시스템은 그 이름을 추상적이고 생성적인 별의 형태로 변환합니다.

중력과 천체의 은유로 관계와 상호작용을 은유했습니다.

사람과 사람 사이의 상호작용을 우주 공간 속 천체들의 움직임으로 은유하였습니다. 화면의 중앙에는 ‘나’를 나타내는 별이 그려집니다. 지극히 나의 개인적인 관점에서 이루어지는 경험이라는 것을 나타냅니다.

관객이 이름을 부르면 화면 우측에서 천체 그래픽이 생성됩니다. 이들은 서로 다른 형태, 다른 위치와 속도로 나타나 이동합니다. 이때 중심 별(’나’)의 곁을 스쳐 지나가거나, 오랫동안 주위를 맴돌거나, 끝내 흡수되기도 합니다. 이러한 흐름은 사람들이 삶에 들어오고 머물고 멀어지는 관계의 다양한 양상을 비유합니다.

영향권 내에서 천체 사이에서 서로의 색을 가진 파티클을 교환하고, 어떤 천체가 중심 별에 완전히 흡수될 때 중심 별의 파티클 형태가 달라지는 변화가 나타납니다. 이는 관계가 남긴 흔적이 현재의 자신을 서서히 바꾸어 간다는 점을 드러냅니다.

이처럼 별, 궤도, 중력의 메타포를 빌려와 관계의 강도나 친밀도를 직접 설명하지 않으면서도, 만남의 우연성과 영향의 축적을 감각적으로 전하고자 하였습니다. 이 모호한 시각화는 관계를 어떠한 라벨로 이름붙여 설명하지 않으면서도, 관객이 자신의 지극히 개인적인 경험을 작품 위에 겹쳐보게 만드는 장치로 기능합니다.

3-2 인터랙티브 시스템 구현

인터랙티브 시스템 구현

• 작품의 입력은 키보드와 마이크입니다. 관객이 키보드로 자신의 이름을 입력하면 화면 중심에 자신을 상징하는 별이 생성되고, 이후 마이크를 통해 다른 사람의 이름을 말하면 각 이름은 새로운 파티클 천체로 생성됩니다.
• 음성의 진폭은 그래픽 요소의 크기와 스타일을 결정하는 데 활용하였고, 발화된 이름은 Kakao Speech-to-Text API로 인식하였습니다. 인식된 이름은 16진수 컬러 코드(Hex Code)로 변환되어 천체의 색상으로 사용되었습니다.
• 가공된 데이터는 UDP 통신을 통해 Processing 4로 전달되어 실시간 제너러티브 시각화의 매개변수로 사용되도록 데이터 파이프라인을 구축했습니다.

생성적 그래픽 구현

• 기존 파티클 그래픽 오픈소스 코드를 프로젝트에 적절하게 응용하여 시각적 효과를 구성했습니다.
• ‘중력’ 개념을 시각화에 도입하여, 주변 별이 중심별의 일정 영역 안으로 들어오면 중심별 방향으로 가속도가 생기도록 구현했습니다.
• 별들 사이의 상호작용을 ‘파티클 교환’으로 치환하여, 특정 거리 내로 접근 시 서로의 색상 파티클을 교환하거나 완전히 흡수되도록 설정했습니다.

3-3 전시 및 사용자 검증 연구

이 작품은 이후 2023년 2월 강원도에서 열린 HCI Korea 2023 전시에 설치하였습니다. 전시 부스를 방문한 관객은 작품의 개념과 체험 방식을 간단히 안내받은 뒤 직접 작품을 경험하였고, 그 이후 익명 설문에 참여하였습니다. 총 17명이 자발적으로 설문에 응답하였으며, 참여자는 대부분 20대와 30대의 한국인이었습니다.

전시 후에는 5점 리커트 척도 7문항으로 구성된 설문을 진행하였습니다. 문항은 크게 세 범주를 다루었습니다.

• 첫째, 참여자들이 디지털 환경의 관계를 어떻게 인식하는지.
• 둘째, 작품이 관계에 대한 성찰을 실제로 유도했는지.
• 셋째, 이름 발화, 그래픽, 애니메이션 가운데 어떤 요소가 성찰의 계기로 작동했는지.
• 마지막으로, 사람을 떠올릴 때 디지털 매체 요소와 물리적 감각 요소 중 무엇이 더 크게 작용하는지.

현장에서는 설문 외에도 관객의 대화와 태도를 관찰하였습니다. 일부 관객은 생성된 별의 움직임을 현실의 관계와 연결해 해석하며 동행자와 이야기를 나누었고, 또 일부는 떠오른 이름이 있어도 소리 내어 말하는 데 주저하는 모습을 보였습니다. 이 관찰은 작품이 관객에게 어떻게 수용되는지 설문 점수만으로는 드러나지 않는 지점들을 보완해 주었습니다.

4 Outcome

4-1 제너러티브 미디어 아트: “별 헤는 밤”

• 고유성을 부여하는 생성적 시각화: 관객이 키보드로 이름을 입력하면 고유한 색상의 중심별이 생성되며, 호명된 지인들의 이름과 목소리 크기 데이터에 따라 매번 형태와 색상이 다른 파티클로 구성된 천체가 화면 우측에 무작위로 생성됩니다.
• 관계의 흔적을 담아내는 상호작용 시각화: 사람들의 이름을 차례로 말하면, 각 이름은 서로 다른 색과 형상을 지닌 파티클 천체가 되어 화면 위에 나타납니다. 이 천체들은 반짝이며 중심 별의 곁을 지나가고, 머물고, 때로는 흡수됩니다. 관객은 그 움직임을 바라보며 특정한 사람과의 관계를 떠올리고, 그 관계가 지금의 자신에게 어떤 의미와 흔적을 남겼는지를 조용히 되짚게 됩니다.
• 경험의 기념: 인터랙션 종료 시 별이 폭발하듯 화면을 메우며 정지하고, 관객이 불렀던 이름의 개수와 본인의 이름이 캡션으로 기록된 최종 스크린샷을 제공하여 경험을 축하하고 간직할 수 있도록 했습니다.

4-2 사용자 연구 결과

설문과 관찰을 종합하면, 이 작품은 관객이 자신의 관계를 다시 떠올리고 해석하게 만드는 장치로 작동하였습니다. 이름을 직접 말하는 행위, 생성된 그래픽, 별 사이의 움직임이 각각 따로 기능한 것이 아니라, 하나의 연속된 경험으로 작용하여 성찰을 이끌었습니다.

• 작품 전반은 관계를 되돌아보게 하는 경험으로 받아들여졌습니다. 관객들은 작품이 관계에 대한 생각을 환기하는 데 전반적으로 도움이 되었다고 응답하였습니다(중앙값 4, 최빈값 5). 이는 작품이 단순한 시청각적 자극을 넘어, 자신의 경험을 다시 꺼내 보게 하는 계기로 작동했음을 보여줍니다.
• 이름을 직접 부르는 행위가 특히 강한 촉발 장치로 작동했습니다. 사람들의 이름을 소리 내어 말하는 경험은 성찰을 유도한 요소 가운데 특히 강하게 받아들여졌습니다(중앙값 4, 최빈값 5). 관계를 머릿속으로만 떠올리는 것이 아니라, 발화라는 신체적 행위로 꺼내는 과정 자체가 기억을 활성화하는 시작점이 되었습니다.
• 그래픽과 움직임은 해석의 여백을 만들어 주었습니다. 사람을 나타내는 그래픽은 관계를 떠올리는 데 도움을 주었고(중앙값 4, 최빈값 5), 별들 사이의 움직임 역시 관계를 해석하게 만드는 요소로 작동하였습니다(중앙값 4, 최빈값 4). 관객은 별이 스쳐 지나가고, 머물고, 흡수되는 장면을 보며 특정한 관계를 자신의 경험에 비추어 해석하였습니다.
• 사람을 떠올릴 때는 물리적 감각 단서가 조금 더 크게 작용하였습니다. 관객들은 프로필 이미지, 사진, 이모티콘 같은 요소보다 목소리, 향, 몸짓 같은 물리적 요소가 사람을 떠올리는 데 더 크게 작용한다고 응답하였습니다(17명 중 9명). 이는 관계를 다시 떠올리게 하는 매개가 단순한 디지털 정보가 아니라, 보다 감각적이고 신체적인 기억일 수 있음을 시사합니다.

관객들은 생성된 장면을 보며 “왜 이 사람을 나타내는 별은 금방 지나가지?”, “왜 이 별은 오래 머물렀을까?”와 같은 반응을 보였고, 별의 움직임을 현실의 관계에 빗대어 해석하는 대화가 자연슬업게 오갔습니다. 이는 작품이 관객 각자가 자신의 기억과 의미를 덧붙일 수 있는 여백을 제공했음을 보여줍니다.

5 Reflection

• 작품의 의도와 관객의 진입 방식 사이의 간극: 시스템의 조작은 단순했지만, 실제 전시장에서는 관객이 설명을 충분히 읽지 않거나 결과를 빨리 보고 싶어 하는 경우가 많았습니다. 인터랙티브한 시스템에서 ‘무엇을 보여줄 것인가’만큼이나 ‘관객이 어떻게 작품 안으로 들어오게 할 것인가’ 역시 중요하다는 점을 배웠습니다. 작품의 의미는 관객이 그 흐름을 이해하고 따라갈 수 있을 때 비로소 형성된다는 점을 실감할 수 있었습니다.
• 프라이버시와 몰입의 조건: 전시장이라는 공개된 장소의 특성상 타인의 이름을 소리 내어 부르는 것에 소극적인 태도를 보이는 관객들이 있었습니다. 몰입도 높은 감정적 동요와 성찰을 위해서는 시각적 디자인뿐만 아니라, 작품이 설치되는 공간의 프라이버시 수준을 확보하거나 온라인 환경으로 경험을 확장하는 등의 세밀한 고려가 필요함을 깨달았습니다.
• 기술이 해석을 이끄는 방식에 대한 경계: 음성인식 기술은 작품에 진입하는 흥미로운 장치였지만, 동시에 일부 관객에게는 이 작업을 추상적 은유보다 감정이나 관계를 실제로 분석해 보여주는 시스템처럼 읽히게 만들기도 하였습니다. 이를 통해 고도화된 AI 기술을 미디어 아트에 접목할 때에는, 사람들이 인지하는 AI의 기술적 분석력이 예술적 모호성과 성찰의 기회를 흐리지 않도록 인터랙션 디자인을 더 세심하게 고려해야 함을 배웠습니다.