← Back to Main

From Semantic Interaction to Phenomenological Interaction

3/5/2025, 10:45:11 AM | Jeanyoon Choi

Original Notes (Pre-LLM)

System Art - Semantic, Interactive, and Modular

Important: Interaction should contain semantic information. Yet should be also simple & intuitive for first comers to use.

Multiple strategies to employ:

Non-semantic interaction transformed into semantic interaction (Dimensional Amplifying/Transformation/Amplified Interaction)

OR Semantic Interaction make it phenomenological / Starts from semantic interaction but end up in non-semantic era

For example: Our daily interactions within platforms - Stars from semantic interaction but mostly subcognitive phenomenological interaction

Within the context of system art: Let’s say you’re controlling the system params / switching system context. There might be couple of buttons in front of you. First user clicks on those buttons for the sake of the signified meaning of the button. Over time, user clicks just for the sake of enjoying the output effect that the interaction causes, rather than attached to the meaning of the button.

This is crucial because most of users in interactive art does not want to confront with the heavy semantics, in most of the cases they are quite passive users - also related to reason why many of media art from now focused on the very simple action (waving hands, bodily movement) to create audio-visual affect for the interactive art, not nothing more - some kind of high-dimensional semantic interaction.

Although I think the semantical interaction (of user choosing smth semantical/input smth semantical) is very important, we cannot expect large vast majority of users to follow these semantic rules - For instance, limitations of text input/voice input

When given text input/voice input, it is largely observed that user doesn’t know what to say/input in an exhibition setting, and end up just entering dummy word. If it’s a word-based interaction, it’s still ok, but if it’s sentence-based interaction and users are enforced to input a large sentence, they most likely to leave - Especially when there’s not so strong background context given. So we should recall that this text-input interaction, especially when given at an early phrase of interaction, will lead to a disaster - interaction just for the interaction’s sake, not really gaining any useful information from the user side.

There is still a lot to be resolved with the voice input interaction - one of the hopeful hint is the openai’s realtime solution, enabling real-time voice interaction. But still, the same problem arises - user won’t have much to say from the very start.

Therefore, we kind of conclude that user is unable to give a bunch of context (in other words bits of information - if user gives plain text, that contains a lots of information, ideally. But in reality, they just end up giving dummy text, which contains no information) - we should narrow down the options that user can take (at least initially) and this is why the button-based interaction, option-based/parameter-changing interactions is more realistic option for us asking the user to interact which contains semantic interaction. (Or mapping the non-semantic interaction - bodily interaction into semantic dimension - dimensional transformation)

Buttons, Options, Sliders, Toggler, Checkbox, Multi-touch, Number Input, List Selection… → Type A (Direct, Explicit Interaction)

Eye Tracking, Voice Recognition, Body Movement, Head Pose, EEG, … -> Type B (Implicit, Sensor-based interaction)

Text Input, Voice Recognition → Type C (Language based semantic interaction)

External APIs, External Data → Type D (Environmental/Contextual)

For long time it was considered that type b is more immersive/playful than type a – surely it is more advanced technology, but what i mean here by ‘Semantic interaction to phenomenological interaction’ is arguing that combination of type a (direct, explicit interaction) in a wisely designed & nudged way can also lead to very immersive, unique, playful, somehow dadaistic, and phenomenological interaction. (That being said, type b can be also, in other direction, lead to semantic interaction – more on the dimensional mapping/amplified interaction)

Generative Junk site example: Audiences, when interacting, gives new context - via buttons or list selection – this is normally very semantic interaction right? And let’s say there is a 대분류, 중분류, 소분류, and user slides to different 분류 columns and select one of the types – as they interact, first they just firmly ‘click’ on each button individually, but as the interaction progresses and accelerates, the start to ‘slide through’/within the buttons - Their finger, beforehand, was discrete movement (selecting a button and then leaving the interface touch). But now their finger does not detach from the interface - their finger is sliding through/touching on top of interface moving from a button to another, switching 대분류/중분류/소분류/context firmly, softly, phenomenological, somehow detached from the semantic of the button (or actually leveraging in an increasing speed) - and on the screen-side, junk sites are generated/altered in real-time matching with this context.

Related to multi-touch? How to develop this firmly & well-functioning on react?

“SLIDING THROUGH/ON TOP OF THE” Interface!

Ice skating on the interface - ice skating with your finger

This can be applied for other interaction types - sliders for example.

Multiple sliders columns - Like the iphone tab

Sliders - metrics - parameters - all adjusting the current

Mastering the sliders / numerical value adjustment (param adjustment) is the key to designing semantic-to-phenomenological interaction

Sliders displayed in column - arranged in row will have very different experience from sliders displayed in row - arranged in column. Why couldn’t I think of the sliders displayed in the column? Sliders displayed in columns are way much more of a playful experience - We are used to scroll vertically rather than horizontally.

Also use page structure wisely: Scrolling up & down! Scrolling is really a powerful tool, and it is the most representative interaction that we do nowadays in the contemporary world. What if scrolling up & down is combined with navigating back & forth - the most universal layout used in contemporary sns/platforms/websites - but make it more dadaistic! Brutal! Focusing on the core interaction!

Page Group A (대분류)

Page Group B (중분류)

Page Group C (소분류)

A ←> B ←> C: Horizontally connected, back & forth, (Click and go forth, go back - left movement and go back)

Within A/B/C: Vertical interaction, scroll interaction

Hierarchical interaction & Semantic & Phenomenological

More advanced usage?

Hacking Shopping Mall UI: You shop through different contexts! (Trump shopping greenland, Panama, Canada Amazon UI)

Hacking Flight Reservation/Hotel Reseraation UI (All sort of shopping mall - kayak, booking,com)

Map → Good Example of Semantic Interaction (Interaction w/ Objective) & Phenomenological Interaction (Navigating, Swirling around) combined → The Zoom & Pinch is quite sense-based but also contains semantic meaning. It gives you an experience of ‘finger skating’ on top of the interface

Punctum Interaction: 위태로운 시스템, 벼랑 끝의 사회… 겨우 평형을 유지해가고 있는 시스템

시뮬라크럼! 시스템 자체가 거대한 시뮬라시옹, 약간의 푼크툼 (외부 충격 - 인터랙션 - Interaction at Mass speed)으로 사회의 외상이 드러난다… 그러나 이후 시간이 지나면 다시 평형 상태로 돌아가는 (푼크툼을 애써 지워내는)... 여기서 푼크툼-외부 충격은 현상학적 인터랙션의 형태를 띈다! (오메가의 예시도 약간 유사함)

Equilibrium? System? External Shock?

Technically: Reference Hammer.js!

—

o1-pro summary

Interaction as a Spectrum:

Users start with semantic intent (e.g., pressing a button for its meaning) but transition into fluid, subcognitive engagement (e.g., sliding through UI elements, focusing on experience rather than meaning).

This transformation mirrors modern digital behaviors (e.g., platform engagement, UI-based habit loops, scrolling culture).

UI/UX as a Medium for System Art:

Experimenting with button-based, slider-based, and list-based interactions to induce flow states similar to gaming or shopping interfaces.

Leveraging multi-touch, scrolling, hierarchical navigation (A → B → C structures) to nudge users into deeper, emergent interactions.

Conceptual Parallels to System Art:

The system itself is self-sustaining, semi-automated, and partially obscured—users see surface symptoms but not the core dynamics.

The interactional equilibrium can be disturbed by external shocks (Punctum Interaction) but eventually self-regulates, referencing cybernetic systems, societal feedback loops, and hyperobjects.

English Version (LLM-Generated)

Below is a rewritten version of the essay draft in a professional style:

──────────────────────────────

Title: System Art – Balancing Semantic, Interactive, and Modular Approaches

Introduction

In system art, interaction is not merely about input but about conveying semantic meaning in a manner that is both intuitive for newcomers and profound for experts. Today’s digital interfaces often require users to transform their non-semantic actions into meaningful interactions or, alternatively, move seamlessly from deliberate semantic actions to subcognitive, phenomenological experiences.

Semantic versus Phenomenological Interaction

A core observation is that our daily digital interactions often involve a dual nature. For example, when interacting with various platforms, users may initially engage with buttons or controls due to their signified meaning. Over time, however, these actions evolve into tactile, fluid engagements where the user’s focus shifts from the intended semantic meaning to the enjoyment of the interaction’s experiential effects. In other words, the initial semantic intent gives way to a phenomenological mode of experiencing the system.

This evolution is critical in the realm of interactive art. Many users are not inclined to process heavy semantic input when engaging with interactive installations. Instead, the majority often prefer simple, direct actions—such as hand gestures or bodily movements—that create dynamic visual or audio effects without requiring elaborate language-based inputs. Although semantic interactions (where users input meaningful language or choose options with specific intent) are valuable, we must recognize that not all users will adhere to these rules. Text-based or speech-based interactions can be especially challenging in exhibition contexts, where users tend to provide minimal, generic responses when confronted with complex demands, particularly in the early phases of engagement.

Types of Interactions

A practical framework for understanding interactive systems can be delineated as follows:

• Type A – Direct, Explicit Interaction: This includes interactions via buttons, toggle switches, sliders, checkboxes, multi-touch gestures, number inputs, and list selections. These inputs typically provide clear, semantic choices.

• Type B – Implicit, Sensor-Based Interaction: These interactions rely on sensor data such as eye tracking, voice recognition, body and head movements, or even EEG signals. Although often considered more immersive, they can also be intentionally designed to yield semantic outcomes through dimensional mapping or transformation.

• Type C – Language-Based Semantic Interaction: Typically achieved through text or voice inputs, these forms of interaction inherently carry semantic meaning but require users to articulate rich inputs—a task that may not always be feasible in dynamic environments.

• Type D – Environmental/Contextual Interaction: This category leverages external APIs and contextual data, integrating outside information into the interaction.

Transforming the Interaction Spectrum

Over time, users tend to transition from a consciously semantic engagement—pressing a button for its explicit function—towards a more fluid, almost subcognitive interaction, such as sliding a finger across a touch interface. Consider a system where the user controls parameters or switches system contexts via a set of buttons. In early usage, a user might deliberately click each button for its assigned meaning. Gradually, however, the user may choose instead to slide across multiple buttons, engaging with the system in a more dynamic and sensory manner. This “sliding through” effect not only enhances the phenomenological quality of the interaction but also blurs the clear-cut boundaries between deliberate semantic input and emergent, experience-driven behavior.

UI/UX as an Artistic Medium

Design strategies need to incorporate both the semantic and the phenomenological aspects of interaction. Button-based and slider-based interfaces, when designed appropriately, can induce immersive flow states comparable to those found in gaming or even online shopping environments. For example, hierarchical navigation structures—where content is organized into primary, secondary, and tertiary categories—can guide users through both vertical scrolling and horizontal navigation. This structure allows for a dynamic and reproducible experience that is both organized and open to creative, experimental engagement.

Additionally, the metaphor of “finger skating” (akin to ice skating on the interface) has been used to describe the tactile enjoyment of sliding on touchscreen devices. Such intuitive and playful interactions, when paired with well-calibrated slider arrangements (for example, columns versus rows), enhance user engagement by shifting the focus from discrete, semantic actions to continuous, immersive experiences.

Advanced Applications and Broader Implications

The principles of system art can also be seen in more complex applications, such as modified user interfaces for online shopping or flight and hotel reservation systems. These platforms epitomize the duality of semantic and phenomenological interaction. Take, for example, a map-based interface, where actions like pinching, zooming, and swiping deliver both meaningful spatial information and an instinctual, sensory experience akin to “finger skating” on the interface.

Moreover, the notion of “Punctum Interaction” emerges when considering systems on the brink of instability—those that occasionally exhibit external shocks or disruptions reflecting societal feedback loops. In these cases, external shocks expose the system’s vulnerabilities in a very phenomenological manner. However, much like cybernetic systems, they eventually return to equilibrium, even if the experience of disruption (Punctum) leaves a fleeting, impressionistic trace.

Conclusion

In summary, system art leverages the entire spectrum of user interaction—from semantic to phenomenological—to create engaging, dynamic, and modular digital experiences. By understanding and designing for this full spectrum, from explicit button presses (Type A) to sensor-based, implicit inputs (Type B) and beyond, designers can craft interactive environments that are both meaningful and experientially rich. Ultimately, the goal is to facilitate an environment in which users gradually transition from intentional, cognitive engagement to fluid, subcognitive modes of interaction, creating systems that are as playful as they are profound.

──────────────────────────────

References and Technical Considerations

Notably, frameworks such as Hammer.js can assist developers in transforming and integrating these diverse forms of interaction effectively. Future explorations may include further integration of real-time voice recognition and multi-modal input systems to continue reinventing how we engage with digital landscapes.

This professional reframing captures the essence of interactive system art by highlighting the balance between semantic significance and the fluidity of user experience.

Korean Version (LLM-Generated)

시스템 아트 – 의미론적, 인터랙티브, 모듈러

중요 사항: 인터랙션은 명시적인 의미 정보를 포함해야 하면서도, 초심자들도 간편하고 직관적으로 사용할 수 있어야 한다.

여러 전략이 존재하는데, 그 중 하나는 비의미론적 인터랙션을 의미론적 인터랙션으로 전환하는 방법(차원 확장/변환/확대된 인터랙션)이며, 또 다른 하나는 처음에는 의미론적 인터랙션으로 출발하지만 결국 현상학적·비의미론적 영역으로 확장되는 방식이다.

예를 들어, 일상적인 플랫폼 상호작용을 보면 버튼을 누르는 행위는 처음에는 의미론적 상호작용으로 시작되지만, 대부분의 경우 무의식적·현상학적 경험으로 전환된다. 시스템 아트의 맥락에서, 사용자가 시스템 파라미터를 제어하거나 시스템의 문맥을 전환할 때 몇 개의 버튼이 제시된다. 초기에는 사용자가 버튼의 상징적 의미를 위해 클릭하지만, 시간이 지나면서 단순히 결과 효과의 즐거움을 위해 클릭하게 된다. 이는 인터랙티브 아트를 즐기는 대부분의 사용자가 방대한 의미론과 직면하기를 원하지 않고, 오히려 소극적인 사용자임을 반영한다. 실제로 현대 미디어 아트에서는 복잡한 의미론적 상호작용보다는 손 흔들기나 신체 동작과 같이 간단한 액션을 통해 오디오·비주얼 효과를 창출하는 경우가 많다.

물론 사용자 스스로가 의미 있는 선택을 하거나 의미 있는 입력(예: 텍스트 입력, 음성 입력)을 하는 의미론적 인터랙션은 중요하다. 그러나 대다수 사용자가 이러한 규칙을 따르리라는 기대는 무리다. 전시 환경에서 텍스트나 음성 입력이 요구될 경우, 사용자들은 무엇을 입력해야 할지 몰라 단순한 더미 단어를 입력하는 경우가 많다. 단어 단위의 입력은 일정 부분 괜찮을 수 있으나, 긴 문장을 요구하는 경우 사용자는 쉽게 이탈할 가능성이 높다. 즉, 사용자가 의미 있는 정보를 제공하기보다는 단순히 '인터랙션 그 자체'를 위해 입력하게 되는 악순환을 피할 필요가 있다.

음성 입력의 경우에도 유사한 문제가 존재한다. OpenAI의 실시간 음성 인식 기술과 같이 개선되고 있긴 하나, 사용자는 초기부터 많은 정보를 제공하지 않는 경향이 있다. 사용자가 제공할 수 있는 정보(비트)는 제한적이며, 단순 텍스트 입력은 본래 많은 정보를 담고 있을 수 있으나 실제로는 의미 없는 텍스트가 입력되는 경우가 많다. 따라서 초기에는 사용자가 선택할 수 있는 옵션을 제한하는 것이 더 현실적인 접근 방식이며, 이 때문에 버튼 기반의 인터랙션이나 옵션/파라미터 변경 방식이 의미론적 상호작용을 도입하는 데 유리하다. 또는 비의미론적(신체적) 인터랙션을 의미론적 차원으로 매핑하는 차원 변환 방식도 고려해볼 수 있다.

예를 들어, 버튼, 옵션, 슬라이더, 토글러, 체크박스, 멀티터치, 숫자 입력, 리스트 선택 등은 다음과 같이 구분될 수 있다.

• 타입 A (직접적·명시적 인터랙션): 버튼, 옵션, 슬라이더 등

• 타입 B (암묵적·센서 기반 인터랙션): 시선 추적, 음성 인식, 신체 동작, 머리 자세, EEG 등

• 타입 C (언어 기반 의미 인터랙션): 텍스트 입력, 음성 입력

• 타입 D (환경·문맥 기반): 외부 API, 외부 데이터

오래전부터 타입 B는 타입 A보다 몰입감 있고 즐거운 경험을 제공한다고 여겨져 왔다. 물론 기술적으로 더 진보된 방식이긴 하다. 그러나 ‘의미론적 인터랙션에서 현상학적 인터랙션으로의 전환’에 관한 논의는 현명하게 설계되고 유도된 타입 A의 결합도 충분히 몰입감 있고 독특하며 다다이즘적, 나아가 현상학적인 경험을 창출할 수 있음을 주장한다. 반대로, 타입 B 또한 차원 매핑이나 확대한 인터랙션을 통해 의미론적 인터랙션으로 발전할 수 있다.

특히 Generative Junk 사이트의 예시를 보면, 관객은 버튼 또는 리스트 선택을 통해 새로운 문맥을 제공하게 되는데, 이는 전형적인 의미론적 인터랙션이다. 예를 들어, 대분류, 중분류, 소분류와 같은 카테고리가 존재할 때, 사용자가 각 분류 열을 슬라이드하며 선택하는 과정을 거친다. 초기에는 버튼을 단단히 개별 클릭하던 사용자가, 인터랙션이 진행되고 가속화되면서 버튼 사이를 연속적으로 슬라이드하는 ‘접촉 감각’을 경험하게 된다. 이전에는 버튼을 선택한 후 화면과의 접촉이 끊겼다면, 이제는 지속적으로 손가락이 인터페이스 위를 미끄러지듯 이동하며 대분류·중분류·소분류를 부드럽고 현상학적으로 전환하는 것이다. 그러면 화면에서는 이 문맥에 맞게 실시간으로 Junk 사이트가 생성되거나 변경된다.

멀티터치 인터랙션의 개발 측면에서는 React와 같은 프레임워크에서 이러한 ‘인터페이스 위를 미끄러지듯’ 작동하는 인터랙션을 어떻게 견고하고 효율적으로 구현할 수 있을지 고민할 문제이다.

인터랙션 디자인의 핵심 개념 – “인터페이스 위를 미끄러지듯”:

마치 아이스 스케이팅 하듯 손가락이 인터페이스를 자유롭게 이동하는 경험은 슬라이더와 같은 다른 인터랙션에도 적용될 수 있다. 예를 들어, 아이폰 탭처럼 여러 개의 슬라이더 열을 배치하여 현재 상태의 여러 메트릭 또는 파라미터를 조정하는 방식은 ‘의미론적에서 현상학적 인터랙션’으로의 전환을 위한 핵심 요소이다. 화면에 슬라이더를 열(column) 형태로 배치할지, 행(row) 형태로 배치할지에 따라 사용자 경험은 크게 달라진다. 일반적으로 우리는 수평 스크롤보다 수직 스크롤에 더 익숙하기 때문에, 열(column) 배치는 보다 즐겁고 직관적인 경험을 제공한다.

또한 페이지 구조를 현명하게 활용할 필요가 있다. 현대 디지털 환경에서 스크롤은 가장 강력한 인터랙션 도구 중 하나이다. 수직 스크롤과 더불어, 앞뒤로 이동하는 내비게이션을 결합함으로써 대분류(A), 중분류(B), 소분류(C)로 구성된 계층적 구조를 구현할 수 있다. A↔B↔C는 수평 내비게이션(좌우 이동)을 통해 전환되고, 각 페이지 내에서는 수직 스크롤이 이루어진다. 이와 같은 계층적·의미론적·현상학적 인터랙션은 보다 몰입감 있는 경험을 창출할 수 있다.

고급 활용 방안으로는, 쇼핑몰 UI의 해킹 사례를 고려할 수 있다. 사용자가 다양한 문맥을 통해 쇼핑을 진행하는 경험(예: 트럼프 스타일의 쇼핑, 그린랜드, 파나마, 캐나다의 아마존 UI 모방)이나 항공권, 호텔 예약 UI(예: Kayak, Booking.com 등)를 해킹하는 접근 방식이 있다. 지도 인터랙션은 또한 객관적인 목표와 현상학적 체험이 결합된 좋은 예시로, 핀치나 줌 등의 동작은 감각 기반이면서도 의미론적 정보를 내포하여 마치 ‘손가락으로 스케이팅’하는 경험을 선사한다.

한편, 푼크툼(Punctum) 인터랙션은 사회 전체가 위태로운 시스템, 벼랑 끝 사회에 위치해 있는 상황을 은유적으로 표현한다. 시스템 자체는 거대한 시뮬라시옹으로 작동하며, 약간의 외부 충격이나 푼크툼에 의해 사회의 외상이 드러나지만, 시간이 지나면서 스스로 평형 상태로 복귀하는 현상을 보인다. 이는 사이버네틱 시스템, 사회적 피드백 루프, 하이퍼오브젝트 개념과도 유사한 맥락을 지닌다.

기술적 참고자료로는 Hammer.js와 같은 라이브러리를 들 수 있다.

────────────────────────────

요약

1. 인터랙션은 스펙트럼으로서, 사용자는 초기에는 의미론적 의도를 가지고 버튼 등을 클릭하지만, 이후에는 경험 그 자체에 몰입하게 된다. 이는 현대 디지털 사용 패턴(예: 플랫폼 내 상호작용, UI 기반 습관, 스크롤 문화)과 유사하다.

2. UI/UX를 시스템 아트의 매개체로 활용:

• 버튼, 슬라이더, 리스트 등 다양한 인터랙션 요소를 실험하여 게임이나 쇼핑 인터페이스처럼 몰입감 있는 플로우 상태를 유도한다.

• 멀티터치, 스크롤, 계층적 내비게이션(A → B → C 구조)을 활용하여 사용자가 점차적으로 심화된 상호작용으로 유도된다.

3. 시스템 아트의 개념적 패러렐:

• 시스템은 자가 유지적이며 반자동적, 부분적으로는 불투명하다. 사용자는 표면적인 증상만 보게 되고, 핵심 동력은 감지하기 어렵다.

• 외부 충격(푼크툼 인터랙션)에 의해 방해받더라도 평형 상태로 회복되는 자가 조절 메커니즘이 존재함을 암시한다.

이와 같이, 의미론적 인터랙션과 현상학적 인터랙션을 유기적으로 결합함으로써, 단순한 행위가 깊이 있는 경험으로 전환되는 새로운 시스템 아트의 가능성을 탐구할 수 있다.