System Art: The Elephant and the Blind

2/17/2025, 10:36:44 AM | Jeanyoon Choi

Original Notes (Pre-LLM)

We're living in the world of hyper objects, hyper systems - that go beyond our understanding. These systems define our daily lives and interactions. Crucial to understand these systems (even the part of it), but we tend to confuse the only the part (징후) of the system as the core of the system dynamics - It is only the tip of the iceberg that we sense, but we confuse this iceberg as if it's the whole system.

We're just like the elephant and the blind: The elephant is the whole system, and the blind is us. We try to analyse the '징후' of our society: sometimes using very heavy data-driven methodologies, and comprehend our world from that perspective. We encounter a problem, and we try to solve this based on our knowledge. Thus, all our solutions become increasingly myopic - as we are trying to focus on what we actually sense/experience (which is obviously the part of the whole system) - and thus, consequently, our solutions tend to cause even more problems in the future - in other parts of the system. If we keep on confusing that what we sense/the data we get is supporting the whole system - if we don't acknowledge that we are the blind - the more systematical catastrophe our civilisation will encounter in the near future.

Therefore it's extremely important to depict this relationship - The system and its 징후들 미세한 징후들… And Multi-Device Web Artwork always serve as a good platform for depicting this system dynamics.

SYSTEM

MDWA: Operates Hidden System

Screens Display: 징후들. Part of the system/symptoms of the system. But does not show you the essence of the system (The essence/algorithm of the system is invisible)

Audience: Either 1) Controls the system, 2) Navigates the system, 3) Become a part of the system, or 4) Unexpected System Consequences. (Depends on the narrative/setting)

The whole multi-device web artwork network acts as a system. Interactive system. From audiences. However this system - algorithm can never be fully depicted/drawn/shown. It is only the part of the system that the audience will sense as an output - the screen displays. Screen displays show you what you will see as 'the blind' - but you can never see/sense the whole elephant - you just acknowledge that it shall exist.

Practical System Display Options:

Data Visualisation Assets

Graphs, Graph Grid

Dashboard

Numbers & Tabular

Stock Market-ish Visuals

Hans Haacke-style Graphs/Relationship depicting

Commercial Visuals

Commercials/Commercial Designs

Commercial Web UI

Practical Services Web UI: Flight Reservation Ticket, E Commerce Shopping Mall Site, Fashion Items

Business Cards, Logos

Generative Outcomes

Generative Videos/Images

Stacked in 2D/within 3D (Case of Omega)

Texts or Typographies

Text Layouts

Chunk of Texts/Flux of Texts

Visual Languages: Small Multiples

Clocks/Time-related

Avatar/Simulacre Agents

Agents profile (Squid Game-like visuals)

Avatars

Map

Geolocational plotting

Practical Interaction Options:

Controlling the System

User's control directly affects the dynamics/parameters of the system

Interest Rate Idea for example – Altering the interest rate creates different amplified effects across multiple screens

한국식 상명하복/관료주의 – Audience writes/directions some command, and the whole other screens react/transform accordingly

How to make the interaction fun/meaningful/semantic enough?

Navigating the System

More on the navigation of the existing/self-evolving system: System self-evolving/automation aesthetic is important

There is a system (Just like the symphony of civilisation - movement 3) - which has multi-faced context/narrative - User navigates and view the different part of the system

Example: Historical Archive. Certain times in history. User navigates through different spatial dimensions/perspectives to look for different parts of the system

Example: System is already there with pre-defined parameters & automated. User inputs some text and AI will generatively show the part of the system that the user can focus on.

Part of the System

Especially useful in avatar-like/multi-agents situations

Competitive Landscape

Collaborative Landscape

Mobile Jockey is also one good example

How can this be also applied for installation settings, with 1-5 users? What is the value of becoming a part of the agential system?

Unexpected System Consequences

Most aligning with the concept of 'hyperobject': User interacts with the system and affects partially? And the unexpected systematic consequences happen within other parts of the system

Can be used in more-than-two rooms situation: In room A user does some interaction and happily ends, but that causes negative consequences in room B

Might be like vice versa from Room B → Room A. So Room A's achievement → Negative to room b, room b's achievement → Negative to room a. They both work hard in their own direction, but systematic-wise they are making an effort for nothing. Zero Sum Game. Modernity. Converging Competition.

Zero-sum game, environmental issues.

Or can be temporarily presented: Short-term good decision, long-term negative decision.

As a result this setting might best fit within spatial-temporal expansion: After user's interaction, positive outcome will be presented within the proximate spatial-temporal dimension. But further away (either spatially or temporally), there are negative consequences…

Further branches:

AI generates the whole system! Generating AutomaticsSystems

Inputs? Parameters? Inter-relationships? Graph Theory?

English Version (LLM-Generated)

In our contemporary world, we increasingly encounter hyper objects and hyper systems that extend well beyond our full comprehension, yet deeply influence our daily lives and interactions. Although it is essential to grasp these systems—even if only partially—we often mistakenly perceive only a superficial signal of the system as its core dynamic. In essence, we tend to recognize merely the tip of an iceberg, erroneously assuming that what we observe represents the entirety of the underlying system.

This dilemma can be likened to the ancient parable of the blind men and the elephant: we analyze fragments, or manifestations, of society using rigorous data-driven methodologies, attempting to solve problems based on our limited understanding. However, as our solutions focus exclusively on the aspects we can perceive, they frequently leave out critical dimensions of the whole, often leading to unforeseen complications in other areas of the system. Persisting with this narrow perspective—ignoring that our sensory data only capture a fraction of a much larger hidden mechanism—sets the stage for significant systemic challenges for our civilization in the future.

It is therefore imperative to illustrate the relationship between the broader system and its subtle indicators or symptoms. The Multi-Device Web Artwork (MDWA) offers a compelling platform for representing these dynamics. In this framework, MDWA functions as an operating layer within a hidden system. The screens display partial manifestations—symptoms of the system—but do not reveal the fundamental algorithm or core structure, which remains obscured from view.

The audience of this interactive network can assume various roles: they might control the system, navigate it, become constituents of it, or even experience unintended systemic consequences, depending on the narrative or setting. While the entire multi-device web artwork network acts as an interactive system constructed from audience contributions, its underlying algorithmic structure can never be entirely rendered visible. Instead, the screen displays provide only a glimpse—what the “blind” can perceive—serving as an acknowledgment that a much larger, unseen structure exists.

Practical System Display Options include:

• Data Visualization Assets such as graphs, graph grids, dashboards, numerical presentations, tabular data, and stock market–style visuals.

• Artistic Representations reminiscent of Hans Haacke’s graphs and relationship depictions, as well as commercial visuals including web UI designs for flight reservations, e-commerce platforms, fashion items, business cards, and logos.

• Generative Outcomes such as generated videos or images arranged in two-dimensional or three-dimensional structures.

• Textual and typographical presentations, including chunks or flows of text, as well as specialized layouts.

• Visual languages incorporating small multiples, time-related elements like clocks, avatars or simulacra for agent profiles, maps, and geolocation plotting.

In addition, several practical Interaction Options are available:

• Controlling the System: Users’ interactions directly affect the system’s dynamics and parameters. For instance, altering an “interest rate” could have amplified effects across multiple screens. In a hierarchical or bureaucratic setting, users might input commands that subsequently transform all displays.

• Navigating the System: Here, the focus is on exploring an evolving system. As users navigate through varied spatial or temporal dimensions—similar to traversing a historical archive—they encounter different facets of a self-evolving, automated system that may have predefined parameters enhanced via user input and AI-generated content.

• Becoming Part of the System: This is particularly applicable in scenarios involving avatars or multiple agents in competitive or collaborative landscapes. Examples include interactive installations where between one and five users contribute to the system’s dynamics, emphasizing the value of active participation.

• Facing Unexpected System Consequences: This concept aligns closely with the notion of a hyperobject. In these scenarios, a user’s interaction in one space (or time) might inadvertently trigger negative consequences in another. For example, a beneficial decision in one room could lead to adverse outcomes in another, illustrating the zero-sum nature of certain systemic interactions and the broader challenges of modernity, competitive convergence, and environmental issues. Temporally, a decision that yields short-term benefits might prove detrimental in the long term.

Additional avenues for exploration include utilizing AI to generate the system in its entirety, investigating how inputs, parameters, inter-relationships, and graph theory contribute to the emergence and evolution of these automating systems.

In summary, this framework underscores the critical importance of recognizing the limitations inherent in our perceptions, while also emphasizing the value of innovative platforms like Multi-Device Web Artwork for depicting the complex dynamics of systems that govern our world.

Korean Version (LLM-Generated)

우리는 이해의 범위를 초월하는 초물체(hyper objects)와 초시스템(hyper systems)의 세계에 살고 있다. 이러한 시스템들은 우리의 일상 생활과 상호작용의 근간을 이루며, 이들을 일부라도 이해하려는 시도는 필수적이다. 그러나 우리는 시스템 전체를 파악하지 못한 채 그 일부에 해당하는 징후(symptoms)에만 집중하여, 전체 시스템 역학의 핵심이라고 오인하기 쉽다. 이는 마치 빙산의 일각만을 인식하면서 전체 빙산이라고 착각하는 것과 다를 바 없다.

비유하자면, 우리는 맹인들이 코끼리를 만져 전체를 이해하려고 하는 상황과 같다. 코끼리 전체가 시스템이라면, 우리에게 닿는 것은 오직 그 일부인 징후에 불과하다. 우리는 데이터 기반의 무거운 방법론을 동원하여 사회의 징후를 분석하고, 이를 바탕으로 세상을 이해하려고 노력한다. 문제에 직면하면 우리 지식에 의존해 해결책을 모색하며, 이로 인해 해결책은 점점 편협해진다. 왜냐하면 우리는 체험하거나 감지할 수 있는 전체 시스템의 일부에만 집중하기 때문이다. 그 결과, 우리의 해결책은 다른 부분에서는 오히려 더 큰 문제를 야기할 위험성이 있다. 만약 우리가 감지된 데이터나 징후가 전체 시스템을 대표한다고 혼동한다면, 그리고 우리가 여전히 맹인임을 인식하지 못한다면, 가까운 미래에 우리 문명이 체계적인 대재앙을 맞이할 수밖에 없다.

따라서 시스템과 그 세밀한 징후들 간의 관계를 명확하게 묘사하는 것이 극히 중요하다. 이와 같은 시스템 역학을 효과적으로 표현할 수 있는 플랫폼 중 하나가 멀티 디바이스 웹 아트웍(Multi-Device Web Artwork, MDWA)이다.

────────────────────────────

시스템 구성 요소

1. MDWA: 숨겨진 시스템을 운영한다.

2. 스크린 디스플레이: 시스템의 일부인 징후들을 나타낸다. 즉, 스크린은 시스템의 일부 증상만을 보여줄 뿐 그 본질(시스템의 알고리즘이나 핵심 로직)은 감추어져 있다.

3. 관객: 역할에 따라 다음 네 가지로 구분될 수 있다.

① 시스템을 통제하는 자,

② 시스템 내에서 방향을 설정하는 자,

③ 시스템의 일부가 되는 자,

④ 예기치 않은 시스템적 결과를 체험하는 자.

(이는 서술 설정에 따라 달라진다.)

전체 멀티 디바이스 웹 아트웍 네트워크는 하나의 상호작용하는 시스템으로서 작동한다. 그러나 이 시스템의 알고리즘은 결코 완전히 드러나거나 그려질 수 없다. 관객이 감지할 수 있는 것은 단지 출력 결과물인 스크린 디스플레이이며, 이 디스플레이는 맹인인 우리에게 보여지는 일부일 뿐이며 전체 코끼리(시스템 전체)를 온전히 보여주지 못한다. 우리는 그 존재만을 암시적으로 인지할 뿐이다.

────────────────────────────

실제 시스템 디스플레이 옵션

1. 데이터 시각화 자산

- 그래프, 그래프 그리드

- 대시보드

- 숫자 및 표 형식

- 주식 시장과 유사한 시각 요소

- 한스 하케(Hans Haacke) 스타일의 그래프 및 관계 표현

2. 상업적 시각 요소

- 광고, 상업 디자인

- 상업 웹 UI

- 항공권 예약, 전자상거래 쇼핑몰, 패션 아이템 등의 실제 서비스 웹 UI

- 명함, 로고

3. 생성적 결과물

- 생성적 비디오/이미지

- 2D 혹은 3D(예: Omega 사례) 내에 중첩되어 배치

- 텍스트 혹은 타이포그래피 구성

- 텍스트 레이아웃, 텍스트 덩어리 혹은 흐름

4. 시각적 언어: 스몰 멀티플, 시계 혹은 시간 관련 요소, 아바타 및 시뮬라크르 에이전트(예: 오징어 게임 스타일 에이전트 프로필), 지도, 지리적 위치 플로팅 등

────────────────────────────

실제 상호작용 옵션

1. 시스템 제어

- 사용자의 제어는 시스템 역학 및 매개변수에 직접적인 영향을 미친다.

- 예를 들어, 이자율을 변경하면 여러 화면에 걸쳐 증폭된 효과가 발생할 수 있다.

- 한국식 상명하복 혹은 관료주의와 유사하게, 관객이 명령을 입력하면 나머지 화면들이 이에 맞춰 반응 또는 변형된다.

- 상호작용에 재미와 의미, 충분한 의미론적 연결고리를 부여할 방법을 모색해야 한다.

2. 시스템 내비게이션

- 기존 혹은 자가 발전하는 시스템 내비게이션에 초점을 맞춘다.

- 시스템은 문명 교향곡의 한 악장처럼 다면적인 맥락과 내러티브를 지니며, 사용자는 시스템의 여러 부분을 탐색하고 관람할 수 있다.

- 예시: 역사 기록보관소 – 특정 역사적 시기를 배경으로 사용자가 다양한 공간적 차원과 시각에서 시스템의 여러 부분을 관찰할 수 있다.

- 또 다른 예시: 이미 미리 정의된 매개변수와 자동화된 시스템 내에서 사용자가 텍스트를 입력하면 AI가 생성적으로 사용자가 집중할 수 있는 시스템의 일부를 보여준다.

3. 시스템의 일부로서 참여

- 아바타나 다중 에이전트 상황에서 특히 유용하다.

- 경쟁적 혹은 협업적 환경 구성

- 모바일 조키(Mobile Jockey)와 같은 사례도 참고할 만하다.

- 설치 환경(1~5명의 사용자)에도 이러한 개념이 적용될 수 있으며, 관객이 에이전트 시스템의 일부가 됨으로써 어떠한 가치를 창출할 수 있는지 고민해볼 필요가 있다.

4. 예기치 않은 시스템적 결과

- 초물체(hyperobject) 개념에 가장 부합하는 측면으로, 사용자가 시스템을 상호작용하여 일정 부분에 영향을 미치면 다른 부분에서는 예기치 않은 결과가 발생한다.

- 예를 들어, A실에서의 긍정적 상호작용이 B실에서는 부정적인 결과를 야기하거나, 그 반대의 상황을 연출할 수 있다. 이는 양측이 각각 열심히 노력하지만 체계적으로는 상쇄되는 제로섬 게임(Zero Sum Game)이 될 수 있음을 시사한다.

- 단기적으로는 긍정적 결정이 즉각적 효과를 가져오지만, 장기적으로는 부정적인 결과를 초래할 수 있다.

- 이러한 설정은 공간적 및 시간적 확장을 통해 구현될 수 있으며, 사용자의 상호작용 후 가까운 시간과 공간에서는 긍정적 결과가 나타나지만, 먼 시간 혹은 공간에서는 부정적인 결과가 드러난다.

────────────────────────────

확장 가능 분야

- AI가 전체 시스템을 생성하는 자동 시스템(Generating Automatic Systems)

- 입력, 매개변수, 상호관계, 그래프 이론 등을 활용한 전개 가능성

────────────────────────────

결론

현대 사회를 구성하는 초물체와 초시스템은 우리가 직면하는 다양한 징후를 통해서만 인식할 수 있으며, 이 징후들은 전체 시스템의 일부일 뿐이다. 멀티 디바이스 웹 아트웍은 이러한 시스템 역학을 시각적, 상호작용적, 공간적, 시간적으로 효과적으로 표현할 수 있는 유용한 플랫폼이다. 시스템 전체를 온전히 이해하기보다는 감지 가능한 부분에만 의존할 때 나타나는 한계와 그로 인한 부작용을 경계하며, 우리 스스로가 ‘맹인’임을 인식하는 것이 중요하다. 앞으로 다각적인 방법과 기술을 통해 전체 시스템과 그 내부의 미세한 징후들을 보다 정교하게 드러내고, 그 상호작용을 디자인하는 노력이 필요하다.

Tags

Text written by Jeanyoon Choi

Ⓒ Jeanyoon Choi, 2024