← Back to Main

Button-based interaction, amplified interaction, and Mobile Jockey

2/8/2025, 11:48:03 PM | Jeanyoon Choi

Original Notes (Pre-LLM)

To construct successful semantic interaction, it's important to get most of information/parameters as possible from a single simple user interaction - sometimes it can be as simple as a button click. Yes, literally a button click within the commercialised UI.

Button usually only has boolean factors - true/false, on/off. When mixed with other buttons, it might indicate more categorical value. But usually it has true/false value and thus when false → true it triggers some kind of action. In this case, the amount of information that a button can process is 1 bit.

The information is gathered more when you press multiple buttons in combination - also can give more context. But still, pressing a button and presenting corresponding output is too much of a naive idea… Not very interesting

That's the reason why we can contain a new dimension of interaction - under assumption that the button is pressable for a long period of time, and that the user is clearly nudged/indicated of the fact, we can use the time of pressing and holding the button.

The temporal dimension of this button-based interaction creates two dimensions; One boolean, another numerical. If combined as sequence, it creates more dimensions- Think about the possibility of how these dimensions can be combined to create immersive interactions.

One of the most intuitive interaction: Button clicked, and the video plays (Used in passage of water). Or the system ignites and starts to evolve on its own. Naturally the user might do another interaction: moving the finger a little bit, and the manner of evolution changes accordingly!

Multiple buttons - all corresponding to a single system/sub-system/screen (within the context of multi-device web artwork). Do the same as a single button - now multiple systems get a sort of 'attention' (when the button is pressed) - and it competes with each other for its attention (or naturally such competitive landscape is created). Users enjoy a natural immersion within this process - of how screens, which initially started from pure black, are now evolving at a different speed in a different style, based on their interaction.

This is connected to the idea of Mobile Jockey/iPad Jockey.

Inspired from Disco Jockey (DJ), same but within computational interface.

Original Idea: iPad. Multiple buttons on the pad. As user skims/slides through multiple buttons, each button corresponds to the interconnected mobile/screen within multi-device web artwork, and when each button is clicked - the corresponding device acts accordingly audio-visually. Creating a sort of a harmonic music inter-device wise.

More general approach: There is a mobile/ipad or any other touch interface. (Can be also laptop - pointer based interface, but the interactive design will be a bit different). As users have 10 fingers, they can concurrently click 10 buttons at a same time. As each button is pressed - corresponding device, agent, or system is activated/evolving/proceeded, while others are paused/deactivated. User now controls the whole system like this accordingly.

This system is definitely influenced by Dark Matter's Tone Ladder, Vincent morisset's Bell Orchestra Sound House, and this is a non-interactive one - Ragnar Kjartansson: The Visitors. These systems are all in common: creating a multi-dimensional chord system, with each section/projector corresponding to a single melody (acting as a single system). And each system is activated based on a button-press-like interaction: when the user touches/lands an item, the chord is triggered. When multiple chords are triggered/activated, they create a beautiful system.

But my system is more than a tone trigger point, more than an activation - it's more of an initiation of the whole system. And how the system is evolving, and how the user can activate this, conduct this situation playfully. It can contaminate deeper narrative and reasoning than the mono-dimensional tone trigger system.

These ideas also relate with the idea of amplified interaction - the theory on how the user likes amplified interaction as it magnitudes user's will-to-power.

English Version (LLM-Generated)

In order to create successful semantic interaction, it is essential to extract as much information as possible from a single, straightforward user input—even if that input is as simple as a button click. In many commercial user interfaces, a button click represents a binary signal, typically encoded as true/false or on/off. When interacting with multiple buttons, these binary inputs can be interpreted as categorical values; however, each individual press, with its inherent binary nature, conveys only one bit of information.

The informational capacity increases when several buttons are pressed in combination, providing additional context and nuance. Nevertheless, a simplistic one-button-one-output model quickly proves inadequate for rich, engaging user experiences. To address this limitation, we propose adding a new dimension to button-based interactions: time. Assuming that buttons can be pressed and held, and that this functionality is clearly communicated to the user, the duration of the press adds a numerical dimension alongside the basic boolean state. When combined sequentially, these dimensions give rise to a more elaborate, multi-dimensional interaction framework.

One intuitive example of such an interaction is triggering a video playback upon a button click—as seen in certain water flow demonstrations—or initiating a self-evolving system. In these scenarios, a follow-up interaction, such as subtly moving a finger, might further alter the course of evolution. In multi-device or multi-system environments, multiple buttons—each corresponding to a specific subsystem or screen—can be operated simultaneously. When a button is pressed, the associated system gains 'attention' and begins to evolve, potentially in competition with other systems that are concurrently activated. This creates a dynamic, immersive environment: screens that begin as blank canvases gradually evolve at different speeds and in varying styles, all driven by user interaction.

This interaction concept aligns with the idea of a Mobile Jockey or iPad Jockey, inspired by the traditional Disco Jockey (DJ), but implemented within a computational interface. Consider an iPad with multiple virtual buttons; as a user swipes or navigates across these buttons, each one controls a corresponding interconnected device in a multi-device web artwork. Each button click triggers an audio-visual response, effectively generating a harmonic inter-device composition.

Expanding further, this approach is applicable not only to touch interfaces like mobile devices and iPads but also to pointer-based devices such as laptops, albeit with some adjustments in the interaction design. With the capacity for ten concurrent touch points on a touchscreen, users can activate up to ten buttons simultaneously; each activation initiates, evolves, or pauses specific devices, agents, or systems. This method enables users to exert direct control over the entire system in an intuitive and engaging manner.

Several existing projects have influenced this approach, including Dark Matter's Tone Ladder, Vincent Morisset's Bell Orchestra Sound House, and Ragnar Kjartansson's The Visitors—all of which create multi-dimensional chord systems where each visual element corresponds to an individual melody or subsystem, triggered by a button-like interaction. However, the proposed system transcends mere tone triggering. It serves as an initiation of a comprehensive, evolving framework where user actions dynamically shape and conduct the experience, offering a richer narrative and cognitive engagement than a uni-dimensional trigger system.

Ultimately, these ideas converge with the concept of amplified interaction—whereby user engagement is amplified, reinforcing the user's sense of agency and influence over the system. This approach not only enhances the user experience but also magnifies the impact of the interface, aligning technological sophistication with creative expression.

Korean Version (LLM-Generated)

성공적인 의미 기반 상호작용을 구축하기 위해서는 단일 단순 사용자 입력(예를 들어, 상용화된 UI에서의 단순 버튼 클릭)으로부터 가능한 한 많은 정보와 매개변수를 추출하는 것이 중요하다.

일반적으로 버튼은 true/false, on/off와 같은 이진(불리언) 요소만을 제공한다. 여러 버튼이 결합될 경우 보다 범주화된 값을 나타낼 수 있으나, 근본적으로 버튼의 상태는 false에서 true로 전환될 때 특정 액션을 유발하는 1비트의 정보만을 전달한다.

물론 여러 버튼을 조합하여 누르면 보다 많은 정보를 수집할 수 있고, 추가적인 맥락을 제공할 수도 있다. 그러나 단순히 버튼을 누르고 그에 따른 출력을 제시하는 방식은 다소 기초적이며 흥미를 유발하기에는 부족하다.

이러한 한계를 극복하기 위해, 버튼이 일정 시간 이상 누를 수 있다는 가정 하에 사용자에게 명확히 인지시켜진 상태라면, 버튼을 누르고 유지하는 시간이라는 추가적인 차원을 활용할 수 있다. 이 버튼 기반 상호작용의 시간적 요소는 불리언 차원과 수치적 차원 두 가지를 동시에 창출하며, 이를 순차적으로 결합할 경우 더욱 다양한 차원의 상호작용을 구현할 수 있는 가능성을 열어준다.

가장 직관적인 상호작용 중 하나는 버튼을 클릭하면 영상이 재생되거나(예, 물의 흐름을 표현하는 방식) 시스템이 점차 자체적으로 활성화되고 발전하는 경우이다. 자연스레 사용자는 추가적인 상호작용—예를 들어, 손가락을 약간 이동시키는 행위—을 통해 시스템의 발전 양상에 변화를 줄 수 있다.

또한, 다수의 버튼이 단일 시스템, 서브 시스템, 혹은 화면과 연동될 때(다중 기기 웹 아트워크의 맥락 내에서) 단일 버튼과 유사한 방식으로 동작하지만, 여러 시스템이 버튼 클릭 시각에 서로 '주목'을 받으며 경쟁하는 효과가 발생한다. 이처럼 초기 순수한 검은 화면에서 시작하여 사용자의 상호작용에 따라 각기 다른 속도와 스타일로 변화하는 화면의 발전 과정을 통해 사용자에게 자연스러운 몰입감을 선사할 수 있다.

이러한 개념은 Mobile Jockey 또는 iPad Jockey라는 아이디어와도 연결된다. 이는 Disco Jockey(DJ)에서 영감을 받은 것으로, 전통적인 DJ의 역할을 컴퓨팅 인터페이스 상에서 구현하려는 시도라 할 수 있다.

기본 아이디어로는 iPad에 여러 버튼을 배치한 후, 사용자가 이를 스킵하거나 슬라이드하면서 각 버튼이 다중 기기 웹 아트워크 내 상호연결된 모바일 기기 혹은 화면에 대응하고, 버튼이 클릭될 때마다 해당 기기가 시각 및 청각적으로 반응하도록 하는 것이다. 이를 통해 기기 간에 조화로운 음악적 경험을 창출할 수 있다.

더 넓은 범위에서 보자면, 모바일, iPad 또는 기타 터치 인터페이스(노트북의 포인터 기반 인터페이스 등도 가능하나, 이 경우 상호작용 디자인은 다소 달라짐)를 활용할 수 있다. 사용자는 최대 10개의 손가락을 동시에 사용할 수 있으므로, 10개의 버튼을 동시에 클릭할 수 있고, 각 버튼이 누를 때마다 해당 기기, 에이전트 또는 시스템이 활성화 및 발전하고, 다른 요소들은 일시정지 혹은 비활성화된다. 이를 통해 사용자는 전체 시스템을 효과적으로 제어할 수 있다.

이 시스템은 Dark Matter의 Tone Ladder, Vincent Morisset의 Bell Orchestra Sound House, 그리고 Ragnar Kjartansson의 The Visitors와 같은 작품들에서 영감을 받았다. 이들 시스템은 모두 각 섹션이나 프로젝터가 하나의 멜로디(하나의 시스템)로 작용하며, 버튼 클릭과 유사한 사용자 상호작용에 의해 각각의 시스템이 활성화되어 다차원적인 화음을 창출하는 공통된 특성을 지니고 있다.

그러나 본 시스템은 단순한 톤 트리거(음향 점화) 이상의 의미를 갖는다. 단순한 활성화가 아니라, 전체 시스템의 시작점이며, 시스템이 어떤 방식으로 발전하는지, 그리고 사용자가 어떻게 이를 능동적으로 활성화하고 상황을 유희적으로 연출할 수 있는지를 보여준다. 이로써 단일 차원의 톤 트리거 시스템보다 더 깊은 내러티브와 논리를 내포할 수 있다.

마지막으로, 이와 같은 아이디어는 사용자의 의지 힘(will-to-power)을 증대시키는 증폭 상호작용(amplified interaction)에 대한 이론과도 연관된다. 사용자는 상호작용의 증폭을 통해 자신의 능력을 더욱 강력하게 발휘할 수 있음을 경험하게 된다.