Two-Rooms Problem: Creating inter-spatial Multi-Device Web Artwork

2/7/2025, 10:44:36 PM | Jeanyoon Choi

Original Notes (Pre-LLM)

DIRECTION 1: Two Rooms Problem

두개의 분리된 방, Multi-Device Interconnectivity 이용해 색다른 Experience (방 두개 간 연결된 Experience) 만들 수 있지 않을까?

Further Research Expandability:

Expandable for N-Rooms Problem later on within my research

More than a single-room experience, more than an exhibition setting

한 방/공간 속에만 있는 잘 짜여진/디자인된 인터랙션이 아닌, Space-independent/exhibiton-independent한, 하나의 거대 Incomprehendible System

Two Rooms Problem은 가장 기본적인 Incomprehendible System

DIRECTION 2: Direct Manipulation vs. In-direct Manipulation

지금까지의 Interaction Design/UX Design은 User의 Overload를 줄이는 방향으로 이루어짐.

특히 인터랙션상 Direct Manipulation (Input in, Immediate Corresponding Output out) 은 직관적인 인터랙션을 통해 유저의 Overload 줄임

그러나 이는 인터랙티브 대상에 대한 유저의 비판적 거리유지를 불가하게 함

의도적인 Indirect Manipulation/Non-Intuitive Interaction Design 이 깔끔하게 디자인 되면 유저와 인터랙션 사이의 비판적 거리유지가 가능해지지 않을까? (Distancing Effect)

그러나 잘못/Low-Level에서 디자인하면 거리두기는 커녕 User Disinterest/Misunderstanding 만들 수도…

DIRECTION 3: Semantical vs. Non-Semantical

의미의 과다 사회

수많은 의미들이 난무함

그러나 이러한 의미 작용 파악/의미 작용 생산은 (Semantical) 이제 AI가 훨씬 보다 잘함

인간의 길은 의미의/의미작용의 족쇄에서 벗어나 Non-Semantical한 시스템적 사고를 향해야

눈 앞에 보이는 의미 저편에, 특정 시스템 속 Embedded된/Unknown-Unknown Parameters가 사실 우리에게 더 큰 영향을 주지 않는가?

Semantic을 넘어 Non-Semantics, 더 나아가 Semantic과 Non-Semantic 사이의 끊임없는 순환구조를 통한 둘 사이의 Boundary 붕괴

예컨대 Semantic이 Non-Semantic해지고, Non-Semantic이 지극히도 Semantical해진다…

지금까지 우리가 Semantic 하게 여겨져왔던 Boundary의 붕괴

Semantic Intuitive Interaction의 예시: 내가 사과라는 키워드를 치면 사과 비디오가 나온다.

Non-Semantic적 Involvement의 예시: 사과라는 비디오 그 자체가 (비디오의 맥락, 개별 비디오의 Semantic)이 중요한 것이 아닌 중첩된 비디오의 레이아웃, 그 사과 비디오를 둘러싸고 있는 배치, 사과 비디오와 주변 사이의 관계 (Non-Semantical/Systemetic Parameters)가 더 중요한 영향을 준다.

이러한 Non-Semantic한 사고 구조/눈 앞에 보이는 Semantic을 넘어 서는 것이 인공지능의 Capability (Semantic 의미작용의 Experts)를 넘어서 인간이 Connecting the Dots 할 수 있는 방향성…

부분이 아닌 전체를, 객체가 아닌 시스템을

Note: Semantical vs. Non-semantical 구분은 엄밀하지 않은 구분

ELEMENTS

2 Rooms, 2 Types of Screens, 2 Types of Mobiles

Semantical Screen: Generated된 Videos Overlay

Non-Semantical Screen: Videos 자리 - Graphs가 대신, Real-Time Parameter Change (Nothing Semantical, Fully Abstract & Graph/Number-Driven)

Two Screens are Synced in real-time

Semantical Mobile: 비디오 컨텐츠/맥락 Generation (Either Text Typing or VUI - Voice User Interface)

Non-Semantical Mobile: 수많은 Abstract Sliders/Togglers/Checkbox UI 비치, 각 UI의 조절은 전체 System의 Parameter을 조절

Two cases based on screens/mobiles composition per room

Case 1.

Room 1: Non-Semantical Screen + Non-Semantical Mobile

Room 2: Semantical Screen + Semantical Mobile

Pros: More Comprehensive

Room 2 같은 경우, Mobile 상 Context Input 할때마다 Screen상 Video 바로 생기면 By Nature more comprehensive

Cons: Less Conceptual

말하고자 하는 Incomprehendible System과는 거리가 있는, Comprehendible Structure

Case 2. (Möbius Structure)

Room 1: Non-Semantical Screen + Semantical Mobile

Room 2: Semantical Screen + Non-Semantical Mobile

Pros: More Conceptual

Möbius Structure:

Semantical Mobile (Room 1) → Semantical Screen (Room 2) → Non-Semantical Mobile (Room 2) → Non-Semantical Screen (Room 1) → Semantical Mobile (Room 1)

Semantical Mobile (Room 1) → Semantical Screen (Room 2):

모바일상 맥락이 스크린상 동영상 제너레이트

Semantical Screen (Room 2) → Non-Semantical Mobile (Room 2)

스크린상 시스템 파라미터 아웃풋이 사용자 모바일 인터랙션에 영향을 줌

Non-Semantical Mobile (Room 2) → Non-Semantical Screen (Room 1)

모바일상 파라미터 조절이 스크린상 시스템 파라미터 조절

Non-Semantical Screen (Room 1) → Semantical Mobile (Room 1)

스크린상 시스템 파라미터 아웃풋이 사용자 모바일 인터랙션에 영향을 줌

Cons: Less Comprehensive

일반 대중 Audience가 아예 이해를 못할수도..

그러나 이거는 세부적인 Design Decision/Contents Creation으로 이겨낼 수 있지 않을까?

English Version (LLM-Generated)

Exploring the Two Rooms Problem

Imagine two separate, self-contained rooms—but with a twist: they’re interlinked by a multi-device network that creates an experience transcending a single space. This isn’t just about isolated interactions within one room or a static exhibition; it’s about constructing a vast, intricate system—a system so elaborate that it seems almost incomprehensible at first glance. The Two Rooms Problem represents the most basic iteration of such a system, while its inherent expandability hints at a future evolution into an N-Rooms Problem, broadening the conceptual horizon beyond traditional boundaries.

Direct vs. Indirect Manipulation: Rethinking User Experience

Contemporary interaction and UX design lean heavily on reducing user overload. Direct manipulation—where an input immediately produces a correspondingly clear and predictable output—has long been the gold standard, promoting intuitive usability. Yet, this directness can ironically limit our critical distance from the interaction itself.

What if, instead, we designed an experience where indirect manipulation or even deliberately non-intuitive interactions allowed users to maintain a reflective, critical stance—an intentional “distancing effect?” The challenge is to craft a sophisticated design: one that avoids overly simplistic constructs, steering clear of both confusion and disinterest, and instead invites users to consider the broader systemic relationships at play.

Semantical vs. Non-Semantical Systems: Beyond the Surface of Meaning

In today’s densely semantic world, we are bombarded by layers upon layers of meaning. As artificial intelligence increasingly masters the production and interpretation of semantic content, humanity may well need to shift our focus. Instead of remaining confined by the chains of semantic operations, our thinking could evolve into a more system-oriented, non-semantical mode.

Consider this: hidden behind the obvious meanings are embedded parameters—unknown unknowns inside the system—that have a profound influence on our experience. By collapsing the boundaries between the semantic and the non-semantical, we create a dynamic loop where meaning continuously transforms. For example, a traditional semantic interaction might be as simple as typing “apple” to generate an apple video. Yet, a non-semantical approach might emphasize not the video’s content alone, but its layout, its context within an abstract network of data streams, and the subtle relationships among its elements.

In this conceptual framework, the goal becomes to leverage non-semantical system design to connect the dots beyond the obvious—a design that addresses the whole system rather than isolated elements.

The Elements: A Duality of Screens and Mobiles

At the core of this exploration are two rooms equipped with two types of screens and two types of mobile interfaces:

• Semantical Screen: Showcasing generated video overlays, focusing on recognizable and interpretable content.

• Non-Semantical Screen: Displaying videos as structural placeholders where real-time parameter changes—driven entirely by abstract graphs and numbers—replace clear meaning with a pure, data-driven aesthetics.

These two screens are synchronized in real-time, blurring the lines between direct content and abstract representation.

• Semantical Mobile: Designed to generate video content and contextual cues via text input or voice (VUI), catering to familiar narrative structures.

• Non-Semantical Mobile: Features a host of abstract sliders, toggles, and checkboxes that manipulate the overall system’s parameters, emphasizing the relationship between control and outcome over content interpretation.

Two Cases of Spatial Interaction

Case 1: A Bilateral Comprehension Model

• Room 1: Non-Semantical Screen paired with a Non-Semantical Mobile.

• Room 2: Semantical Screen paired with a Semantical Mobile.

This configuration favors an immediate, comprehensive interaction—where every user input on Room 2’s semantical mobile is met with an instantly generated video on the semantical screen. However, its straightforward nature leans towards a conventional and comprehensible structure, distancing itself from the intended vision of an incomprehensible system.

Case 2: The Möbius Structure

• Room 1: Non-Semantical Screen coupled with a Semantical Mobile.

• Room 2: Semantical Screen coupled with a Non-Semantical Mobile.

Here, the interaction forms a continuous Möbius loop:

 – A semantical mobile in Room 1 generates content that travels to the semantical screen in Room 2.

 – The semantical screen outputs system parameters that then influence the non-semantical mobile in Room 2.

 – Adjustments via the non-semantical mobile in Room 2 alter the non-semantical screen in Room 1.

 – Finally, the non-semantical screen’s outputs feed back into the semantical mobile in Room 1.

This cyclic interplay encourages a deeper, more conceptual encounter. While it may be less immediately comprehensible for a general audience, careful design and content creation can bridge this gap, inviting users to engage with the system on a more intellectual and intuitive level.

In Conclusion

This exploration of the Two Rooms Problem—through the lenses of direct versus indirect manipulation and semantic versus non-semantic design—challenges the limits of both art and technology. It questions how we might transcend conventional interactive models to create immersive, interconnected experiences that reflect our increasingly system-oriented world. By embracing a dialogue between what is immediately interpretable and what lies beneath the surface, we open new pathways for human interaction with vast, dynamic systems—ultimately connecting the dots between art, technology, and emergent forms of knowledge.

Korean Version (LLM-Generated)

아래는 예술과 기술이 어우러진 감각으로 재구성한 글입니다.

────────────────────────

DIRECTION 1: Two Rooms Problem

두 개의 독립된 공간이 서로 다른 현실을 품고 있으면서도, Multi-Device Interconnectivity를 통해 하나의 다층적 경험을 만들어낼 수 있다고 상상해 보자.

즉, 단일 공간의 한정된 인터랙션을 넘어 두 개의 방이 서로 이어지는, 경계를 허무는 거대한 시스템 – Incomprehendible System – 을 구축할 수 있는 가능성을 탐구한다.

나아가 후속 연구에서는 N-Rooms Problem으로 확장하여, 전시 공간의 경계를 넘어서는 다중의, 그리고 복합적인 경험을 설계하는 미래를 모색할 수 있다.

Two Rooms Problem은 바로 그러한 미지의 시스템 구조를 이해하기 위한 가장 기본적인 형태—미지의 영역에 대한 첫걸음—라 할 수 있다.

────────────────────────

DIRECTION 2: Direct Manipulation vs. Indirect Manipulation

전통적인 Interaction Design과 UX Design은 사용자의 인지 과부하를 줄이기 위해 만들어졌다.

특히, Direct Manipulation은 사용자가 입력하는 순간 즉각적으로 반응하는 직관적인 인터랙션을 통해, 부담을 최소화한다.

그러나 이러한 방식을 채택하면 사용자는 경험에 너무 몰입되어, 대상에 대한 비판적 거리두기가 어려워진다.

여기서 우리는 의도적으로 Indirect Manipulation, 즉 비직관적이고 간접적인 상호작용 디자인을 시도해보고자 한다.

정교하게 디자인된 비직관적 인터랙션은 사용자에게 새로운 형태의 '거리두기'—즉, 객관적이며 비판적인 시선을 제공할 수 있다.

하지만 이 과정에서 디자인이 낮은 수준에 머문다면, 사용자에게 오히려 재미를 잃게 하거나 혼란을 초래할 위험도 있다.

────────────────────────

DIRECTION 3: Semantical vs. Non-Semantical

오늘날 우리는 의미가 난무하는 사회에 살고 있다.

수많은 의미의 파편 속에서, AI는 점점 더 뛰어난 Semantical 연산 능력을 보이고 있다.

그러나 인간에게 주어진 길은 바로 의미의 족쇄에서 벗어나, 비(非)의미적—즉, Non-Semantical—시스템적 사고로 나아가는 것이다.

눈앞에 펼쳐진 의미의 층위를 넘어서, 우리의 삶에 더 큰 영향을 미치는 숨은 시스템 파라미터들, 즉 Unknown-Unknown들이 존재한다.

Semantic과 Non-Semantic 사이의 끊임없는 순환, 경계의 붕괴는 예를 들어, 한 영상이 단순히 '사과'라는 키워드에 의해 나타나는 것이 아니라,

영상 자체의 레이아웃과 주변 관계, 즉 비(非)의미적 요소들이 더 큰 역할을 하는 상황을 이야기한다.

이러한 Non-Semantical 사고 체계는 인공지능의 전문가적 의미생산 능력을 뛰어넘어, 인간만이 도달할 수 있는 ‘점들을 연결하는’ 새로운 패러다임을 제시한다.

부분이 아닌 전체, 개별 객체가 아닌 살아있는 시스템을 향해 나아가야 할 때이다.

────────────────────────

ELEMENTS

두 개의 방, 두 종류의 스크린, 두 종류의 모바일 기기—이들은 각각 다음과 같이 정의된다.

1. Semantical Screen: 생성된 영상들이 오버레이되어, 그 자체로 한 이야기 혹은 맥락을 전달한다.

2. Non-Semantical Screen: 영상 대신 그래프와 숫자를 기반으로 한, 실시간 파라미터 변화를 보여주는 캔버스다.

이 두 스크린은 실시간으로 서로 동기화된다.

3. Semantical Mobile: 텍스트 입력이나 음성 인터페이스를 통해 영상 컨텐츠와 맥락을 창조하는 역할을 수행한다.

4. Non-Semantical Mobile: 다양한 추상적 슬라이더, 토글러, 체크박스 UI를 통해 시스템의 전체 파라미터를 조절하며,

그 자체로 즉각적인 상호작용의 변화를 불러일으킨다.

────────────────────────

시스템 구성 예시

Case 1:

- Room 1: Non-Semantical Screen + Non-Semantical Mobile

- Room 2: Semantical Screen + Semantical Mobile

장점: Room 2에서는 모바일 상 입력에 따라 스크린에 바로 영상이 생성되어, 경험이 훨씬 더 포괄적이고 직관적이다.

단점: 이 구조는 우리가 의도한 ‘이해 불가능한 시스템’의 개념에서 벗어나, 지나치게 명료한 구조를 형성할 위험이 있다.

Case 2 (Möbius Structure):

- Room 1: Non-Semantical Screen + Semantical Mobile

- Room 2: Semantical Screen + Non-Semantical Mobile

장점: Möbius 구조는 두 공간 간 복합적이고 순환하는 상호작용을 통해, 훨씬 더 개념적이며 철학적인 깊이를 불어넣는다.

예를 들어, Room 1의 Semantical Mobile이 Room 2의 Semantical Screen으로 영상을 생성하고,

그 영상이 Room 2의 Non-Semantical Mobile을 거쳐 Room 1의 Non-Semantical Screen에 반영되는 순환적 흐름이 그러하다.

단점: 이 구조는 일반 대중이 직관적으로 이해하기 어려울 수 있으나, 섬세한 디자인 결정과 컨텐츠 제작을 통해 극복할 수 있을 것이다.

────────────────────────

마무리

이처럼, 예술적 감각과 첨단 기술이 만나면서 공간과 인터랙션의 경계를 허무는 새로운 시스템을 구상해보고자 한다.

우리가 구축하려는 시스템은 단순한 전시나 단일 공간의 인터랙션을 넘어,

사용자가 미지의 영역을 탐험하며 끊임없이 새로운 ‘연결’을 경험할 수 있는,

거대한 예술적, 기술적 실험대가 될 것이다.

────────────────────────

이 글은 전통적 경계를 넘어서는 새로운 인터랙티브 시스템을 제안하며,

예술적 상상력과 기술적 혁신이 조화롭게 융합된 미래의 가능성을 담아내고자 한다.

Tags

Text written by Jeanyoon Choi

Ⓒ Jeanyoon Choi, 2024