Traditionally:
1. Input → 2. Output
or
1. Input → 2. Minor Edit → 3. Output
(ex. Direct system parameters manipulation (Co2, ppm) → Directly affected as output (Often as data visualisation))
What I propose (Especially for multi-user situations)
1. Input → 2. Input Dimensional Transformation → 3. System → 4. Output Dimensional Transformation → 5. Output
More precisely:
1. Input parameter adjustment interaction Input Modalities → 2. Input Dimensional Transformation (From UI Input parameters → System input parameters) → 3. Systematic Changes (System Input → System Output) → 4. Output Dimensional Transformation (System Output Parameters → User-facing Output parameters) → 5. Different A/V Output
For example:
1. Everyday Interface Input Modalities
1 → 2. Current parameters: Consumption, policy, traffic, real-world metrics
2. Input Dimensional Transformation (Real-world tangible action/data to system metrics)
2 → 3. Current parameters: Co2, PPM, (Ecological) System Input parameters
3. Systematic Algorithm
3 → 4. Current parameters: Temperature, Humidity, System Output parameters ‘Conseuqences’
4. Output Dimensional Transformation (System output to Real-world output/events)
4 → 5. Current parameters (Information): Wildfire/Natural Disaster, Lack of Water/Food Resources, etc.
5. Everyday Interface/Simulation/etc. Output
1 → 2 → 3 → 4 → 5
Note: Dimensional Transformation is not 1:1 / 1:N / N:1 Relationship (i.e., not like single consumption/event directly transforming a single/multiple climate metric)
Rather, it’s a M:N Relationship → If there exist 7 input stations and 5 main climate metrics, for example, it’s a 7:5 relationship. Vice versa for the output dimensional transformation: Depicting a hyperobject can contaminate multiple outputs (코끼리와 장님).
This structure effectively captures the complexity and intertwining/relational structure of complex society/system/ecological system whilst well-managing/defining the algorithmic structure behind the scene.
WHY DIMENSIONAL TRANSFORMATION?
Direct configuration/parameterisation of the system, enabling suer to explicitly/directly control the system is not sexy at all --- Direct Manipulation, clear cause & effect가 되면 So What?
What is the value of interaction? More than just a simple interactive interface? Has clear limitations
Avoid direct manipulation. We need indeed DIMENSIONAL TRANSFORMATION btw interactions
차라리 Piano Interface 처럼 (피아노를 치는데 양쪽 스크린에서 시간이 조절된다?), 아니면 Toggler Interface/Toggler Interface + Voice INterface처럼 Multi-Modality Conducting? 한 Interactive Modality에서 다른 Systematic Parameter로 DIMENSIONAL TRANSFORMATION이 일어날때 진짜 재미가 느껴짐
Why Dimensional Transformation? What is the value of it?
Not obvious: Fun when the mental model is newly established. V-Effekt possible
Allows space for context to involve within the process of dimensional transformation
Semantic interaction to involve, when designed very well
Why not obvious interaction? Why such dimensional transformation? Why involve/engage the specific interactive modality A to induce a systemic change? When reasoned well - why specifically modality A is used, it adds an implicit and strong conceptual layer to the overall interaction
Good example: Bike - city touring interaction
Why certain dimensional transformation? Why certain modality?
Why piano?
Why toggler?
Why voice interaction?
All opportunities to strongly bind interaction to the narrative/context
이들 사용한 Justification이 누구나 알아들을 수 있고 직관적으로 감각할 수 있는 Level까지 Narrow Down/Define 되어야
This 1 -> 2 -> 3 -> 4 -> 5 also resonates with the idea: Interface-as-Instrument
1 -> 2 -> 3 -> 4 -> 5: Similar yet different
1 -> 2 -> 3 -> 4 four structure (System is in btw 2 and 3)
1: Instrumental input
1-> 2: Input Dimensional Transformation
2: System Input
2 -> 3: Systematic Algorithm
3: System Output
3 -> 4: Output Dimensional Transformation
4: Interface Output
For example: Play Garden Idea
1: Phenomenological Interaction? Interactions that kids can do… Very natural modality, screaming, punching, scrolling, tapping, swiping, etc. (Let’s say there are 7 different modalities)
1 → 2: 7-dimension to 9-dimension mapping (7-to-9)
2: Maps to the Anthropocene data (Nine planetary boundaries)
2 → 3: Ecological system
3: Ecological outputs
3 → 4: Visualising Dimensional Transformation
4: Depicted output, like how garden is changed
What is this? Is this similar to simulation? Maybe, perhaps the structure is similar to simulation – but it’s different in a way…
Below is a revised version of the essay in a professional and polished style:
——————————————————————————
Traditional approaches to system input and output often follow a straightforward sequence:
• Step 1: Input → Step 2: Output
• Or, alternatively, Step 1: Input → Step 2: Minor Edit → Step 3: Output
For example, direct manipulation of system parameters (such as CO₂ levels or parts-per-million) typically results in immediate and observable changes—for instance, data visualizations that reflect these parameters.
The Proposed Model for Multi-User Environments
I propose a more nuanced framework that accommodates complex interactions and multiple users. In this model, the sequence is as follows:
1. Input
2. Input Dimensional Transformation
3. System
4. Output Dimensional Transformation
5. Output
To elaborate further:
1. Users interact with the system via input modalities, adjusting parameters.
2. An input dimensional transformation converts these user interface parameters into the system’s internal parameters.
3. The system then processes these inputs, effecting systematic changes that convert internal system parameters into corresponding outputs.
4. An output dimensional transformation then maps these system outputs to parameters that are meaningful and interpretable by the user.
5. Finally, the results are delivered as an audio/visual output or another user-facing medium.
For example, consider the following sequence:
1. Everyday interface input modalities provide the initial parameters—such as consumption, policy, traffic, or real-world metrics.
2. These parameters undergo an input dimensional transformation, translating tangible, real-world actions and data into system-specific metrics (e.g., CO₂, PPM, and other ecological inputs).
3. The transformed inputs are processed by the system’s algorithm.
4. The system output, now expressed through parameters such as temperature and humidity, is further transformed into consequences or outcomes observable in the real world.
5. Finally, the results are presented through everyday interfaces or simulations, where outputs might include events such as wildfires, natural disasters, or shortages of water and food resources.
It is important to note that the mapping inherent in these transformations is not strictly proportional (i.e., it is not a simple one-to-one or one-to-many relationship). Rather, the relationship is many-to-many. For example, if there are seven input stations and five primary climate metrics, the mapping is a 7:5 relationship. Similarly, an individual outputs’ transformation may reflect a hyperobject that affects multiple output domains.
The theoretical structure of this model effectively captures the complexity and interrelated nature of societal, systemic, and ecological interactions while clearly defining the algorithmic processes that underpin the system’s functionality.
Why Dimensional Transformation?
Direct configuration or parameterization of the system—where users exert explicit control—lacks allure and can lead to rigid cause-and-effect relationships that may not offer meaningful interactivity. The value of interaction extends beyond a simple interface; it requires a more sophisticated mechanism, which we term “Dimensional Transformation.”
Rather than relying on direct manipulation, dimensional transformation allows for a richer interactive experience. Consider interfaces that mimic real-world analogues, such as a piano interface—where a musician’s gestures on a keyboard might control not only sound but also visual elements on a screen over time—or toggler interfaces combined with voice interaction. These methods provide the opportunity for one interactive modality to induce changes in a different set of system parameters. The result is an experience that is not only engaging but also intellectually stimulating, as users build new mental models and enjoy the “V-effect” (visual and experiential impact).
Benefits of this approach include:
• The opportunity for users to integrate context and semantic meaning into the interaction.
• The ability to bind specific interactive modalities to systemic change, thereby layering implicit conceptual significance into the overall interaction.
• Strong alignment of the interaction with narrative and contextual objectives, allowing for more intuitive and meaningful justifications for the design of the interaction.
A Case Study: Interface-as-Instrument
This five-step sequence (Input → Input Dimensional Transformation → System → Output Dimensional Transformation → Output) resonates with the concept of “Interface-as-Instrument.” A related but slightly different four-step model further highlights the conceptual positioning of the system between the interaction inputs and outputs:
1. Instrumental Input
2. Input Dimensional Transformation
3. Systematic Algorithm (which converts system inputs to system outputs)
4. Output Dimensional Transformation
5. Interface Output
For instance, consider a “Play Garden” scenario:
• Step 1: Phenomenological interactions—such as gestures from children like screaming, punching, scrolling, tapping, or swiping—occur across up to seven modalities.
• Step 2: These seven-dimensional inputs are mapped to a nine-dimensional representation of Earth's boundaries (e.g., those defined within the context of the Anthropocene).
• Step 3: The ecological system processes these inputs.
• Step 4: The selected ecological outputs are transformed visually.
• Step 5: The garden’s transformation is then depicted as the final output.
This structure may appear similar to simulation, yet it fundamentally differs due to its emphasis on multi-dimensional transformation of input and output, rather than a straightforward simulation of system dynamics.
——————————————————————————
In summary, this framework utilizing dimensional transformation in user interactions not only captures the complexity of modern systems but also enhances the user experience by linking modality-specific interactions to deeper systemic changes. Such a design integrates narrative and conceptual clarity, providing an engaging, multi-layered interaction that goes well beyond direct manipulation of system parameters.
전통적인 방식:
1. 입력 → 2. 출력
또는
1. 입력 → 2. 소규모 수정 → 3. 출력
(예시: 시스템 파라미터(이산 이산탄소, ppm)를 직접 조작 → 출력에 직접적인 영향(주로 데이터 시각화 형태))
제가 제안하는 방식(특히 다중 사용자 환경에서):
1. 입력 → 2. 입력 차원 변환 → 3. 시스템 → 4. 출력 차원 변환 → 5. 출력
구체적으로는 다음과 같다:
1. 입력 파라미터 조정을 위한 상호작용 입력 모달리티
→ 2. 입력 차원 변환 (UI 상의 입력 파라미터를 시스템 입력 파라미터로 변환)
→ 3. 체계적 변화 (시스템 입력이 시스템 출력으로 전환)
→ 4. 출력 차원 변환 (시스템 출력 파라미터를 사용자 측 출력 파라미터로 변환)
→ 5. 다양한 A/V 출력
예를 들어:
1. 일상 인터페이스 입력 모달리티
→ 현재 입력 파라미터: 소비, 정책, 교통, 실제 데이터 등
2. 입력 차원 변환 (실제 세계의 구체적인 액션/데이터를 시스템 지표로 전환)
→ 변환 후 파라미터: 이산탄소, ppm 등 (생태학적 시스템 입력 파라미터)
3. 체계적 알고리즘 적용
→ 산출 파라미터: 온도, 습도, 시스템 출력 '결과'
4. 출력 차원 변환 (시스템 출력을 실제 세계의 결과나 이벤트로 전환)
→ 변환 후 파라미터 (정보): 산불/자연재해, 식수/식량 부족 등
5. 일상 인터페이스 및 시뮬레이션 등을 통한 최종 출력
즉, 1 → 2 → 3 → 4 → 5의 흐름을 따른다.
주의: 차원 변환은 1:1, 1:N, N:1과 같은 직접적인 매핑이 아니라 M:N 관계이다. 예를 들어, 입력 스테이션이 7곳이고 주요 기후 지표가 5가지인 경우, 이는 7:5 관계가 된다. 또한 출력 차원 변환의 경우, 하이퍼오브젝트가 여러 출력에 동시에 영향을 미칠 수 있다(예: 코끼리와 장님 우화처럼).
이 구조는 복잡한 사회·시스템·생태계의 상호연결성과 복합적인 관계 구조를 효과적으로 포착하면서, 그 이면의 알고리즘 구조를 명확히 관리하고 정의할 수 있도록 한다.
────────────────────────────
차원 변환의 필요성
시스템을 직접 설정하거나 파라미터화하여 사용자가 시스템을 명시적이고 직접적으로 제어하도록 하는 방식은 그다지 매력적이지 않다. 즉, 직접 조작이 명확한 인과관계를 제공하게 되면 “그래서 뭐?”라는 질문이 제기된다.
상호작용의 가치는 단순한 인터랙티브 인터페이스 이상에 있다. 그 한계는 분명하다.
직접 조작을 회피하고, 상호작용 간에 차원 변환을 겪도록 할 필요가 있다.
예를 들어, 피아노 인터페이스(양쪽 스크린에서 시간 조절)나 토글러 인터페이스, 혹은 토글러 인터페이스와 음성 인터페이스와 같은 다중 모달리티를 통한 연출이 그러하다. 한 상호작용 모달리티에서 다른 체계적 파라미터로 차원 변환이 발생할 때, 진정한 재미를 느낄 수 있다.
왜 차원 변환인가? 그것의 가치는 무엇인가?
명확한 답은 바로 “새로운 정신모델이 정립될 때의 즐거움”이다. V-효과(V-Effekt)가 가능해지며,
변환 과정 내에서 문맥을 포함시킬 여지를 허용하고,
잘 설계될 경우 의미론적 상호작용도 활성화된다.
즉, 왜 직관적인 상호작용만이 아니라 차원 변환을 선택하는가? 왜 특정 상호작용 모달리티 A를 통해 시스템 변화를 유도하는가? 이러한 선택이 충분한 근거를 가진다면, 모달리티 A를 사용하는 것이 전체 상호작용에 암묵적이고 강력한 개념적 층위를 추가한다고 할 수 있다.
좋은 예시로는 자전거를 타고 도시를 투어하는 상호작용이 있다.
즉, 왜 특정 차원 변환인가? 왜 특정 모달리티인가?
왜 피아노인가? 왜 토글러인가? 왜 음성 상호작용인가?
각각의 선택은 상호작용을 내러티브 및 문맥에 강하게 결속시킬 수 있는 기회를 제공한다.
이들 선택에 대한 정당성(Justification)은 누구나 이해할 수 있고 직관적으로 감각될 수 있도록 세부적이고 명확하게 정의되어야 한다.
────────────────────────────
이 1 → 2 → 3 → 4 → 5의 흐름은 "인터페이스-애즈-인스트루먼트(Interface-as-Instrument)" 개념과도 맥락을 같이 한다.
예를 들어,
1 → 2 → 3 → 4: (2와 3 사이에 시스템이 존재)
1: 기기적 입력 (Instrumental Input)
1 → 2: 입력 차원 변환
2: 시스템 입력
2 → 3: 체계적 알고리즘
3: 시스템 출력
3 → 4: 출력 차원 변환
4: 인터페이스 출력
실례로 Play Garden Idea를 살펴보자.
1: 현상학적 인터랙션 – 아이들이 할 수 있는, 매우 자연스러운 모달리티(예: 소리 지르기, 주먹질, 스크롤, 탭, 스와이프 등. 총 7가지 모달리티가 있다고 가정)
→ 1 → 2: 7차원에서 9차원으로의 매핑 (7대 9 매핑)
2: 인류세(Anthropocene) 데이터(9개의 행성 경계)로의 매핑
→ 2 → 3: 생태계 시스템
3: 생태학적 출력
→ 3 → 4: 차원 변환을 통한 시각화
4: 변환된 출력 – 예를 들어, 정원이 어떻게 변화했는지의 시각적 표현
이 모든 구조는 단순한 시뮬레이션과 비슷해 보일 수도 있지만, 한 차원 다른 접근법을 제공한다.
────────────────────────────
요약하면, 본 제안은 단일 인과관계 기반의 직접 조작을 넘어서, 다중 차원에서의 상호변환(Multi-dimensional Transformation)을 통해 복잡한 시스템과 상호작용하는 새로운 방식을 제안한다. 이를 통해 상호작용에 내재된 내러티브와 문맥을 강화하고, 사용자가 보다 풍부한 경험을 할 수 있도록 한다.
Everyday Interface Art
Systematic Output Medium
Data Parameterization Art
Implicit Data Representation
Poetic Systems Visualization
Mundane Interface Aesthetics
Normal vs Abnormal States
Black Swan Visualization
Hyperobject Interfaces
Volatility Amplification Art
Interface as System Data
Supermarket Flyer Aesthetics
Timetable Data Art
Calendar Repetition Critique
Interface Aggregation Art
System Units as Interface
Input/Output Transformation
Automated Interface Systems
Advertisement as System Output
Flux of Interfaces
Text written by Jeanyoon Choi
Ⓒ Jeanyoon Choi, 2024