Explicit Commercial Interface & Implicit User Behaviour Tracking

3/6/2025, 2:45:01 PM | Jeanyoon Choi

Original Notes (Pre-LLM)

Semantic Interaction ←> Phenomenological Interaction

Always important to mix these two trade-off values: Semantic-yet-Phenomenonological or Phenomenological-and-Semantic

One different approach: There is an explicit commercial interface (which users are familiar with), and whilst user interacts with this, the behavioural aspect of interaction ((x,y,t) coordinate for instance - (x, y) mobile coordinate, t the time of interaction) is collected and transformed into different layer – acting as parameter for parametric input changing the characteristics of the system.

For instance: let's say there is a shopping e-commerce application mimicked. Very intuitive to use, users had seen a lot of interfaces like this before. They interact. And there is a sort of semantic interaction going on here as multi-device (let's call this interactive layer A). But this is more sort of traditional interaction, could be cheesy, not really break through. BUT at the same time as the user is interacting with the commercial interface, the possible collectable data is not only the semantic button click (i.e. product click, product quantity order, check out, etc.) → There is a behaviour data collected behind-the-scene, following like example:

Type 1: Regarding fingers. (x, y, t) coordinate of the finger-based interaction. Most conventional data that can be employed.

Type 2: Regarding hands. Device motion & acceleration tracking. Needs user consent in advance (accelerometer)

Type 3: Regarding face. Facial recognition (another phen. data) Needs user consent in advance (camera)

These are all 'phenomenological' data which I named 'Type B' from the following categorisation:

Buttons, Options, Sliders, Toggler, Checkbox, Multi-touch, Number Input, List Selection… → Type A (Direct, Explicit Interaction)

Eye Tracking, Voice Recognition, Body Movement, Head Pose, EEG, … -> Type B (Implicit, Sensor-based interaction)

Text Input, Voice Recognition → Type C (Language based semantic interaction)

External APIs, External Data → Type D (Environmental/Contextual)

So implicit, sensor-based interaction. These data might not have strong semantic sense (it does have semantic data embedded - but not so much. Especially for fingers and hands), but we do have a strong physical-movement based positional data (x,y, t), (a, b, c, t), (____ (Facial Params), t) → From 3d data to high-dimensional data → which can be used for the 'dimensional transformation', to create some kind of different effects to the system.

In short, Physical Data → Dimensional Transformation → Adjusted System Params → Affected System Behaviour.

And although this is an implicit/embedded interaction (Interaction Layer B), my assumption is: Once user had understood the mechanism behind physical data → Affected System Behaviour (and spot cognitive correlation/causality), they will then start to interact with this new layer of physical data (which will be transformed into semantic system params) and have fun playing with it, phenomenologically & intuitively interacting, yet affecting the system semantically (i.e. meaningfully).

Real-world example (although not 100% satisfied)

- Omega: My artwork. User first goes through MBTI-test like setting. But upon accidental 'shake', the interface starts to distort. Each shake triggers 'omega', a sign of resistance, propagating to all four connected channels. Ever since then, phone shake also transforms the angle of the whole scene.

In short, Accelerometer → Procedural Storytelling (Triggering 'Omega' and distorting) , Scene Rotation

- SoTA: Also artwork that I led. User first encounters with infinite-scrolling interface with 118 different Neural Networks (Also example of semantic → phenomenology, first user clicks on each option independently, then after user just scrolls down for the sake of fun), which is intuitive interaction, but then after user soon realises that as they shake their phone, the whole 3D three.js scene will be also shaked accordingly.

Here: Accerlometer → Scene Rotation

But I hadn't used the other two extensively yet (Fingers, Face)

Nor had I used the data that these information provides (a, b, c, t) extensively

Nor had I actually 'transformed' this data into different dimension and apply as system params - Other than Omega (Sudden accelerometer spike will trigger 'Omega'), there was no example that phenomenological type b interaction had actually affected the system dynamics from the first place (Accelerometer mainly used to rotate the 3D Scene)

What would be a more speculative example to use this? Maybe start from small examples? (Like blinking? Gazing? But also want to start from the finger-based interaction - hammer.js?) How to design a dimensional transformation btw phenomenological data → semantic data effectively, intuitively, surprisingly, and transformatively?

This might also additionally serve as a commentary to the homogenous design trend/commercial ui trend → Remember how back old days when the smartphone first came out, we all used to play 'phenomenology' based games – Temple Run, Angry Bird, Rhythm Games? All involving finger interaction only? Finger is the best instrument - we can do/could have done so many things with these.. But now what we only do for whole day is scrolling… Going through Reels, Youtube Shorts, just looking at junk contents, scrolling and swiping from one to another… How pathetic is this?

So this is the starting point of interaction - Commercial Interface, so easy to use, so well known, we just scroll, we just use it as how we used to do… But suddenly, the hidden embedded version of interaction arises - phenomenologically - because you reckon that some deep embedded interaction affects the system that you encounter in an unexpected manner, and tada! You grasp this causal connection, and thereafter you interact and adjust your behaviour accordingly. Isn't that wonderful?

When talking about changing the characteristics of system (through interaction): There are three possible approaches

Approach 1: Parameteric Adjustment (usually for numerical, continuous values)

Approach 2: Categorical Adjustment (MBTI Test, or selecting one of the 118 Neural Network Models, for example – quite similar to parametric adjustment, but different that parametric is conti'd, categorical is discrete)

Approach 3: Contextual Adjustment (Traditionally impossible, now possible through LLMs and AIs - any semantic/language-based contextual information can be adjusted & applied to the system and affect system dynamics, just as how parametric numbers/categorical variables might do)

English Version (LLM-Generated)

Semantic and Phenomenological Interactions in Modern Interfaces

It is essential to integrate both semantic and phenomenological aspects in interface design. In practice, designers often face a trade-off between creating interactions that are semantically rich and those that cater to direct physical or phenomenological user experiences. One innovative approach involves utilizing an explicit, commercially familiar interface, while simultaneously capturing and transforming implicit behavioral data—such as the (x, y, t) coordinates of a mobile interaction—into parameters that influence the system's characteristics.

Consider, for example, an e-commerce application that relies on an intuitive design. Users interact with familiar elements, triggering a semantic layer of interaction across multiple devices (referred to here as Interactive Layer A). Traditional interactions such as clicking buttons, selecting products, or checking out serve as clear semantic inputs. However, behind-the-scenes, there exists a wealth of behavioral data that can be categorized into distinct types:

• Type 1: Finger interactions—capturing (x, y, t) coordinates, which provide the most conventional form of data.

• Type 2: Hand gestures—using device motion and acceleration tracking, contingent upon pre-approved user consent (via an accelerometer).

• Type 3: Facial interactions—employing facial recognition, which again requires explicit user consent (via a camera).

These are all classified as phenomenological or implicit data (Type B). For clarity, interactions can be segmented into the following categories:

• Type A: Direct, explicit interactions (e.g., buttons, options, sliders, toggles, checkboxes, multi-touch, number inputs, list selections).

• Type B: Implicit, sensor-based interactions (e.g., eye tracking, voice recognition, body movement, head pose, EEG).

• Type C: Language-based semantic interactions (e.g., text input and voice recognition).

• Type D: External data, which includes input from APIs or environmental sensors.

Despite the implicit nature of sensor-based interactions, which may not carry an overt semantic meaning, they offer robust physical movement data, captured at various dimensions—from two-dimensional (x, y, t) to high-dimensional datasets (including acceleration parameters or detailed facial metrics). This information can be transformed along a new dimension, thereby modifying system parameters and influencing system behavior.

In essence, the process transforms physical data into a new dimensional perspective that adjusts system parameters and, consequently, system behavior. While these sensor-based interactions (Interaction Layer B) are indirect, the hypothesis is that once users recognize the underlying mechanism—where their physical actions causally affect system behavior—they will engage more deeply with this interactive layer. This enables intuitive, phenomenologically driven interactions that also yield meaningful semantic outcomes.

Two real-world examples can illustrate this principle:

1. Omega (Artwork): In this project, users begin by interacting with an MBTI-test-like interface. However, an accidental shake initiates a distortion in the interface, triggering a phenomenon termed “Omega,” which propagates through four interconnected channels. Subsequent shakes further influence the rotation of the entire scene. Here, the accelerometer data drives procedural storytelling and scene transformations.

2. SoTA (Artwork): In another project, users initially engage with an infinite-scrolling interface featuring 118 different neural networks—a clear example of semantic-to-phenomenological interaction. Although the initial interactions are user-directed, a simple shake of the phone introduces a dynamic rotation of the 3D scene (implemented through three.js), further demonstrating the integration of sensor-based input.

While these examples primarily utilize accelerometer data to influence scene rotation, additional sensor inputs based on finger and facial interactions have yet to be fully leveraged. The next phase of experimentation will explore how data derived from such interactions can be translated into effective system parameters through dimensional transformation.

Furthermore, this discussion serves as a commentary on the current trend of homogeneous commercial interface design. In the early days of smartphones, diverse phenomenologically based games—such as Temple Run, Angry Birds, and various rhythm games—demonstrated the richness of tactile interactions. With the recent shift towards endless scrolling and superficial content consumption, there is an opportunity to reintroduce depth by embedding hidden interactive layers. These layers, once discovered by the user, would reveal the causal connection between their physical movements and system behavior, thereby enriching the overall user experience.

In discussions of system adaptations, three primary approaches emerge:

1. Parametric Adjustment: Involves continuous, numerical modifications to system parameters.

2. Categorical Adjustment: Involves discrete selection processes (e.g., MBTI tests or choosing among multiple neural network models), which, while similar to parametric adjustments, are fundamentally categorical.

3. Contextual Adjustment: Traditionally challenging, but now increasingly feasible through the integration of large language models (LLMs) and artificial intelligence, which allow semantic and contextual data to effect system changes as effectively as numerical or categorical variables.

In conclusion, merging semantic and phenomenological interactions opens new avenues for creating systems that are both intuitive and dynamic. By transforming raw physical data into semantically meaningful system parameters, designers can produce interfaces that respond to both explicit commands and implicit sensory cues, thus fostering a deeper, more engaging user experience.

Korean Version (LLM-Generated)

아래는 원문의 내용을 전문적인 방식으로 한국어로 재구성한 것입니다.

────────────────────────────

의미론적 상호작용 ←> 현상학적 상호작용

두 요소의 균형은 항상 중요하다. 즉, '의미적이면서도 현상학적인' 혹은 '현상학적이면서 의미적인' 접근이 요구된다.

한 가지 접근 방식으로는, 사용자가 익숙한 명시적인 상업용 인터페이스를 제공하는 동시에, 사용자가 이 인터페이스와 상호작용할 때 발생하는 행동 데이터를 (예를 들어, (x, y, t) 좌표 – (x, y)는 모바일 좌표, t는 상호작용 시간) 수집하여 다른 계층으로 전환하는 방법이 있다. 이 데이터는 시스템의 파라메트릭 입력 값으로 작용하여 시스템의 특성을 변화시킨다.

예를 들어, 쇼핑 전자상거래 애플리케이션이 있다고 가정해보자. 이 애플리케이션은 매우 직관적이며, 사용자는 이전에 유사한 인터페이스를 많이 경험해 보았기에 쉽게 사용할 수 있다. 사용자가 인터페이스와 상호작용하는 동안, 다양한 디바이스를 통한 다중 상호작용(이를 ‘상호작용 계층 A’라고 부를 수 있음)이 이루어진다. 이는 전통적인 의미의 상호작용으로 다소 진부할 수 있으나, 그와 동시에 사용자의 행동 데이터는 단순한 버튼 클릭(제품 클릭, 수량 주문, 결제 등)의 의미 데이터를 넘어, 다음과 같이 백그라운드에서 수집된다.

① 유형 1 (Fingers):

 - 손가락 기반 상호작용의 (x, y, t) 좌표.

 - 가장 일반적으로 활용되는 데이터.

② 유형 2 (Hands):

 - 손 전체의 움직임, 디바이스 모션 및 가속도 추적.

 - 사전에 사용자의 동의(예: 가속도계 사용)가 필요.

③ 유형 3 (Face):

 - 얼굴 인식을 통한 데이터 (또 다른 현상학적 데이터).

 - 사전에 사용자의 동의(예: 카메라 사용)가 필요.

이와 같이 명시적 상호작용(예: 버튼, 옵션, 슬라이더, 토글러, 체크박스, 멀티터치, 수 입력, 리스트 선택 등)과는 달리, 위에 나열한 데이터들은 ‘현상학적’ 데이터로 볼 수 있다. 본 문서에서는 이들을 '유형 B'로 분류하고 있으며, 전체 상호작용 데이터 타입은 다음과 같이 구분된다.

────────────────────────────

유형 A: 버튼, 옵션, 슬라이더, 토글러, 체크박스, 멀티터치, 숫자 입력, 리스트 선택 등 → 직접적이고 명시적인 상호작용

유형 B: 시선 추적, 음성 인식, 신체 움직임, 머리 자세, 뇌파 등 → 암묵적이며 센서 기반 상호작용

유형 C: 텍스트 입력, 음성 인식 → 언어 기반 의미적 상호작용

유형 D: 외부 API, 외부 데이터 → 환경적/상황적 상호작용

────────────────────────────

유형 B와 같이 암묵적, 센서 기반 데이터는 그 자체로 강한 의미론적 해석을 제공하지 않을 수 있다(일부 의미 데이터가 내재되어 있기는 하나, 특히 손가락이나 손 데이터를 고려할 때 그렇다). 그러나 이러한 데이터는 사용자의 신체 움직임에 따른 강력한 위치 정보(x, y, t), (a, b, c, t), (얼굴 관련 파라미터, t) 등으로 나타나며, 3차원의 데이터를 고차원 데이터로 확장하여 ‘차원 변환’을 수행하는 데 유용하다. 이 변환 과정은 시스템에 새로운 효과를 부여할 수 있다.

요약하면,

신체 데이터 → 차원 변환 → 시스템 파라미터 조정 → 시스템 동작에 영향

암묵적/내재적 상호작용(상호작용 계층 B)이 존재함에도 불구하고, 본 가정은 사용자가 신체 데이터와 시스템 동작 간의 인과 관계를 파악하게 된다면, 이 데이터가 의미 체계의 시스템 파라미터로 전환되어 상호작용한다는 사실을 인지하고, 즐겁게 탐구하게 될 것이라는 점이다. 즉, 직관적이면서도 감각적인 신체 상호작용이 시스템에 의미 있는 변화를 유도하는 것이다.

실제 사례(완벽하지는 않지만 참고 사례로):

1. Omega – 내 작품 중 하나

 - 사용자는 우선 MBTI 테스트와 유사한 설정을 통해 인터페이스를 경험한다. 그러나 우연한 ‘흔들림(shake)’이 발생하면 인터페이스가 왜곡되기 시작하고, 이 때 ‘Omega’라는 저항 신호가 네 개의 채널에 전파된다. 이후 스마트폰의 흔들림은 전체 씬의 각도를 변화시키게 된다.

 - 즉, 가속도계 데이터를 이용하여 절차적 스토리텔링(‘Omega’ 트리거 및 왜곡)과 씬 회전을 유발.

2. SoTA – 내가 주도한 또 다른 작품

 - 사용자는 118개의 서로 다른 신경망 옵션이 포함된 무한 스크롤 인터페이스를 처음 접하게 된다. 이는 사용자가 각 옵션을 독립적으로 클릭하는 등 직관적인 의미론적 상호작용(semantic → phenomenology)을 경험할 수 있도록 설계되었다. 이후 사용자가 단순히 재미로 스크롤을 진행하면, 동시에 스마트폰의 흔들림에 따라 전체 3D three.js 씬도 동일하게 흔들린다.

 - 여기서도 가속도계 데이터를 활용하여 씬 회전을 유발한다.

다만, 위 사례에서는 '손가락(Fingers)'이나 '얼굴(Face)'을 통한 데이터 수집은 광범위하게 활용되지 않았으며, (a, b, c, t)와 같은 데이터 또한 충분히 적용되지 않았다. 실제로 '차원 변환'을 통해 해당 데이터를 시스템 파라미터로 전환하여 시스템 동작에 영향을 미친 사례는 Omega와 같이 가속도계 데이터에 한정된 경우밖에 없다.

보다 가설적인 예시로는 무엇이 있을 수 있을까? 예를 들어, 작은 사례부터 시작할 수 있을 것이다(예: 눈 깜빡임, 시선 주시 등). 물론 손가락 기반 상호작용(hammer.js 활용)도 고려할 수 있다. 핵심 질문은 “어떻게 하면 현상학적 데이터(신체 데이터를) 의미론적 데이터(시스템 파라미터)로 효과적이고 직관적이며 놀라운 방식, 그리고 변환적으로 설계할 수 있을까?” 라는 점이다.

또한 이러한 시도는 동질화된 디자인 트렌드 및 상업적 UI 트렌드에 대한 비판적 고찰로도 볼 수 있다. 스마트폰이 처음 등장했던 시절, 우리는 템플 런, 앵그리 버드, 리듬 게임 등 ‘현상학적’ 상호작용을 기반으로 한 게임들을 즐겼다. 당시에는 오로지 손가락 만으로 다양한 상호작용이 이루어졌으나, 오늘날 대부분의 시간은 스크롤, 스와이프 등의 제한된 제스처에 머무르게 된다. 이는 매우 안타까운 상황이라 할 수 있다.

즉, 우리가 처음에 다루는 상호작용은 상업용 인터페이스로서 매우 익숙하고 간단하다. 그러나 그 이면에는 사용자로 하여금 숨겨진, 내재된 상호작용—즉, 현상학적 상호작용—을 경험하게 하고, 이를 통해 시스템에 영향을 미치는 인과 관계를 자각하게 만드는 메커니즘이 존재한다. 사용자가 그 인과 관계를 인지하게 된 순간, 그들은 자신의 행동을 조정하고 시스템에 새로운 방식으로 상호작용하게 될 것이다. 이는 참으로 흥미로운 현상이다.

시스템 특성 변경과 관련하여 상호작용을 통한 접근 방식은 총 세 가지로 나눌 수 있다.

1. 파라메트릭 조정 (대체로 수치적, 연속 값을 대상으로 함)

2. 범주형 조정 (예: MBTI 테스트 또는 118개 신경망 모델 중 하나 선택; 파라메트릭은 연속형인 반면, 범주는 이산형임)

3. 상황적 조정 (기존에는 불가능하였으나, 현재 LLM이나 인공지능을 통해 텍스트 기반의 상황 정보를 시스템에 적용하여 파라메트릭 값이나 범주형 변수처럼 시스템 동작에 영향을 주는 것이 가능해짐)

────────────────────────────

이와 같이, 본 문서는 상업용 인터페이스와 내재된 현상학적 상호작용 간의 상호보완 관계 및 이를 통한 시스템 동작의 변화 가능성을 논의한다. 사용자 경험과 시스템 설계의 새로운 패러다임을 제시하고자 하는 이러한 접근법은 앞으로 다양한 분야에서 응용될 여지가 크다고 할 수 있다.

Tags

Text written by Jeanyoon Choi

Ⓒ Jeanyoon Choi, 2024