NTERACTION & DESIGN
MDWA (Multi-Device Web Artwork) 형태
OUTPUT: Multi-Channels
각 채널 하나의 생성된 웹사이트 (Junk Site)
Feature 1. Site Generation: Mobile Input 속 VUI Context 바뀔때마 새 사이트 생성
Feature 2. Site Update: Mobile에서 사용자 Blink 할때매다 사이트 디자인 업데이트
Feature 3. Site Navigation: 주기적으로 (1초) 사이트 상 내비게이션
INPUT: Mobile
Feature 1. VUI (Voice User Interface): OpenAI Real-Time Agents LINK
Feature 2. Eye Blink Interaction: Navigation/업데이트를 상징적으로 보여주는 인터랙션
CONCEPT
LLM/Coding Assistant Tool 등장으로 웹사이트 대량생산 가능 (Junk Sites)
단순한 UI 대량생산이 아닌 사이트로서 기능을 할 수 있는 풀스택 웹사이트/웹 서비스의 대량생산
Landing Page, Navigation, Nested Pages, SEO (Search Engine Optimisation)
(유사하게) 수많은 SNS 컨텐츠/블로그 컨텐츠의 대량생산 가능
이런 수많은 웹사이트들은 다시 LLM의 훈련 데이터로 사용됨
LLM의 Massive Dataset은 웹상 수많은 웹사이트의 데이터로 모아짐
Currently LLM running out of data
이에 대한 해결책으로 빅테크 데이터 생산 전략 확보중
Meta가 Thread 출시한 이유 → 자연어 데이터 확보를 위해
Junk Sites의 생산은 데이터의 양적 측면에서 반가운 일
그러나 Junk Sites는 LLM 데이터를 바탕으로 생산됨
결국 LLM → Junk Sites → LLM 사이의 Closed Loop 만들어짐
정크 사이트는 LLM/Generated AI 시대 인류가 맞이하게될 컨텐츠의 범람, 순환적 범람과정을 상징적으로 보여주는 개념
Closed Loop 속 인류의 창의성은 어디로 가는가? 그저 무한히 Trash in, Trash Out, 새로운 컨텐츠 없이 순환만을 지속할 것인가?
정크 사이트의 논의는 정크 텍스트 (블로그 포스트/학술적 논문), 정크 이미지, 정크 비디오의 논의로 확장될 수 있음
MDWA 형태로 가장 직관적으로 보여줄수 있는 개념이 정크 사이트
렘 콜하스의 '정크 스페이스' 개념에 빗댐
정크 스페이스:
상업 기술과 소비주의에 의해 무분별하게 팽창하여 기능과 의미가 상실된, 혼란스럽고 비정형적인 도시 공간의 범람.
대량생산, 복제되고 전세계적으로 동질화된 도시 공간
예시: 쇼핑몰, 공항, 상업 가게로 가득찬 도심 거리 등
기술적 특징: 정크 스페이스는 에어컨, 에스칼레이터 등 Mall 건축을 가능하게 하는 기술의 등장으로 가능
정크 사이트:
LLM의 발전과 소비주의에 의해 무분별하게 팽창하여 기능과 의미가 상실된, 혼란스럽고 자기복제적인 웹 공간의 범람.
대량생산, 복제되고 데이터의 순환 구조에 의해 동질화된 웹상 공간
예시: 수많은 상업적 웹사이트, 랜딩 페이지, 온라인 쇼핑몰, 스타트업 페이지 등
기술적 특징: 정크 사이트는 대량의 웹사이트를 빠르게 만들어낼 수 있는 LLM의 등장으로 가능
Key References:
Rem Koolhaas, Junk Space LINK
Nassim Nicholas Taleb, LLM & Self-Driven Data Retrieval-Generation Process LINK
(줄글)
정크 사이트는 LLM과 생성형 AI의 발전으로 인해, 사용자의 실시간 모바일 입력과 VUI 인터랙션에 따라 자동으로 대량 복제 및 생성되는 웹 공간을 의미한다. 이러한 정크 사이트는 풀스택 웹사이트로서 랜딩 페이지, 내비게이션, 중첩 페이지, SEO 등의 기능을 갖추며, 끊임없이 변화하는 데이터 순환 구조 속에서 LLM의 훈련 데이터로 재활용되어 결국 'Trash in, Trash out'의 폐쇄 루프를 형성한다. 이와 유사하게, 렘 콜하스가 정의한 정크 스페이스는 상업 기술과 소비주의에 의해 무분별하게 팽창하여 기능과 의미가 상실된, 에어컨과 에스컬레이터 같은 기술 발전에 힘입어 전 세계적으로 동질화되고 복제된 쇼핑몰, 공항, 도심의 상업 공간을 상징한다. 즉, 정크 사이트는 디지털 영역에서 LLM과 소비주의에 의해 대량생산되고 자기복제적인 웹 공간의 범람을, 정크 스페이스는 물리적 도시 공간에서 상업 기술에 의해 형성된 혼란스럽고 비정형적인 공간의 범람을 각각 드러내며, 두 개념은 현대 사회의 기술 발전과 소비 문화가 만들어낸 복제 및 순환 현상을 은유적으로 보여준다.
ESEARCH: 어떻게 연구화, 연구제안서화?
Achievement 1. JUNK SITE
LLM 기반 Auto-generated Website 자체가 Strong HCI Research Achievement
Website Structure Auto-generation
Website Context Auto-Generation
UI/Style Auto-Generation
Junk Site라는 말은 Explicitly Use X
인간 Challenge Solving
LLM → Junk SIte → LLM
어떻게 구체적으로 어떤 Challenge를 Tackle 할 수 있는지?
인류에 대한 Challenge
For the better of humanity
학교의 캐치프레이즈/가치와 얼라인되게
Achievement 2. Interaction Design
VUI Interaction Design
VUI속 Context 추출, 이거에 맞춰 Generative Contents 만드는게 Research Achievement
Blink Interaction Design
New use of modality in multi-device interaction design
Challenge
LLM의 등장으로 Auto-generated Website (정크 사이트) 많아질 것임
이러한 정크 사이트는 다시 LLM의 데이터로 순환적으로 이용
LLM → Junk Site → LLM 간의 Closed Loop 형성
이런 담론은 일반적으로 Generative AI → Junk Contents → Generative AI 간의 Closed Loop로 확장 가능
이러한 Closed Loop는 다음과 같은 두가지 측면에서 인류에 대한 Challenge
LLM/Generative AI의 Dataset에 대한 Challenge
더이상 새로운 데이터셋이 만들어지지 않고 기존에 있던 데이터를 순환적으로 재가공한 복제적 데이터만이 많아짐, 데이터가 양적으로 성장하나 질적으로 성장히지 않음
새로운 담론, 새로운 형태의 디자인이 나오기가 불가능
Human Creativity 대한 Challenge
인류가 LLM을 비롯한 Generative AI에만 의존하고
웹 환경이 Junk Site만으로 가득차게 된다면 더 이상 창의적인 웹/ 무의미한 사이트 만으로 가득 찰것임
따라서 인류는 인공지능과 공존하는 시대에도 Junk Site를 넘어 계속해서 알고리즘을 넘어서는 창의적인 컨텐츠를 많이 생산해야하고, LLM을 비롯한 Generative AI는 이러한 새로운 컨텐츠를 통해 계속 새로운 진화를 만들어나가야함. Closed Loop가 아닌 Open Loop를 향해, 인류와 AI의 공진화를 향해
본 사업은 Junk Site Generation의 직접적 구현 및 이를 경험적 형태로 제시함으로써 Junk Site를 비롯한 Junk Contents가 인류의 창의성에 미칠 수 있는 악영향을 미리 경고하고자 함
Creative Problem Solving
본 연구 프로젝트는 LLM 기반 Massive Junk Site Generation Framework을 만들고 이를 기반으로 인터랙티브 경험을 디자인하는 데에 초점을 둠
Junk Site Generation Framework은 단순히 웹사이트 UI 디자인을 자동화 하는 것이 아닌, 웹사이트의 내용/구조/디자인/SEO (Search Engine Optimisation) 등을 자동 생성하는 웹 기반 프레임워크
이는 우선 학문적으로 HCI분야에서 Contribution, 실용적으로 웹사이트 자동화 툴로 사용될 수 있기에 단기적인 Contribution을 제시함
그러나 본 프로젝트가 해결하고자 하는 문제는 Junk Site를 통한 위와 같은 실용적 목표 달성보다는, Junk Site를 비롯한 앞으로 사회에 등장하게될 무수한 Junk Contents의 위험성을 보여주고 커뮤니케이트하는데에 목표가 있음
본 연구의 Junk Site Generation은 아래와 같은 목표를 가지고 있음
Junk Site Generation 툴 제시를 통해 5-10년 후 Junk Site/Contents 가 가져올 미래를 Speculatively 제시
SEO (Search Engine Optimisation)된 Junk Site의 대량생산을 통한 현재 웹 생태계 교란
사용자가 인터랙션을 통해 실시간으로 Junk Site 무수히 제작할 수 있는 이머시브 경험을 제작
Methodology
Junk Site Generation Framework은 단순히 웹사이트 UI 디자인을 자동화 하는 것이 아닌, 웹사이트의 내용/구조/디자인/SEO (Search Engine Optimisation) 등을 자동 생성하는 웹 기반 프레임워크
생성된 웹사이트는 피그마 등 다른 툴을 통한 웹사이트 프로토타입으로 존재하는 것이 아닌, 실제 Web URL이 존재하고 직접 유저가 웹사이트 속에서 인터랙션 할 수 있는 Full-Stack Programmed Website로 존재
내용 및 구조 자동생성: 주어진 맥락/키워드/웹사이트 분류에 따라 웹사이트의 전반적 내용 및 구조 (내비게이션, 페이지 연결구조, 페이지 내 텍스트, 웹사이트 타이틀 등) 자동생성
디자인 자동생성: 주어진 맥락/웹사이트 분류에 따라 웹사이트 스타일을 비롯한 UI 전반의 자동생성, 여러가지 디자인 옵션을 한번에 대량생산
자동 SEO: 주어진 맥락/키워드에 맞는 자동 URL Path 생성 및 키워드별 Search Engine Optimisation 완료, 구글 등 서치 엔진에서 바로 검색이 될 수 있도록 만들어줌
INITIAL APPROACH: START FROM PROMOTING MULTI-DEVICE WEB ARTWORK
START FROM CREATING BUNCH OF JUNK SITES ABOUT MULTI-DEVICE WEB ARTWORK WHICH CROSS REFERENCE TO ONE ANOTHER
The concept of "Junk Sites" emerges from the ever-advancing developments in Large Language Models (LLMs) and generative AI, which now enable the automatic creation and replication of web spaces in response to real-time mobile input and voice user interactions. These junk sites, fully functioning full-stack websites, include landing pages, navigation systems, nested pages, and search engine optimization capabilities. They are constantly recycled within the data loop of LLM training, epitomizing the "Trash in, Trash out" closed loop process. The notion of junk sites parallels Rem Koolhaas' idea of "Junk Space," which describes urban spaces that have unpredictably expanded and become homogenized worldwide due to commercial technologies and consumerism, losing their functionality and meaning. Similarly, junk sites represent a digital overflow of self-replicating web domains, shaped by LLM advancements and consumerist practices, reflecting the pervasive replication and recycling phenomena in technology and culture today.
In exploring "Junk Sites" from a research standpoint, the project focuses on the creation of an LLM-based framework for the generation of these sites and the design of interactive experiences centered around them. The framework, unlike mere UI design automation tools, encompasses the automatic generation of web content, structure, design, and SEO, contributing both academically to HCI and in practice as a website automation tool. However, the primary objective lies beyond practical applications; it aims to highlight the potential dangers of Junk Contents, serving as a forewarning to their societal implications on human creativity.
The Junk Site Generation methodology extends beyond prototype tools such as Figma to deliver full-stack, user-interactable websites with authentic web URLs. These sites auto-generate content and structure, such as navigation, text, and titles, based on provided contexts and keywords. Design elements, including UI styles, are produced at scale, and SEO is automatically configured to enhance online visibility. The eventual goal is to disrupt the current web ecosystem and speculate future impacts within a timescale of five to ten years through mass SEO-optimized junk sites production and immersive user interactions.
Ultimately, this project represents a challenge to an emerging closed-loop system of LLM and generative AI data that could stagnate new data and sustain recursive replication processes. It raises essential questions about the fate of human creativity in an era dominated by AI-generated content, advocating for a shift towards open loops of co-evolution between AI and humanity, in pursuit of innovative and meaningful content creation. By initiating with the promotion of multi-device web artwork and creating networks of inter-referencing junk sites, the project seeks to realize these reflections experientially.
상호작용 및 디자인
MDWA (멀티 디바이스 웹 아트워크) 형태
출력: 멀티 채널
각 채널마다 하나의 생성된 웹사이트 (정크 사이트)
기능 1. 사이트 생성: 모바일 입력의 VUI 컨텍스트가 변경될 때마다 새로운 사이트 생성
기능 2. 사이트 업데이트: 모바일에서 사용자가 깜빡일 때마다 사이트 디자인 업데이트
기능 3. 사이트 내비게이션: 정기적으로 (1초 간격으로) 사이트 내비게이션 수행
입력: 모바일
기능 1. VUI (음성 사용자 인터페이스): OpenAI 실시간 에이전트 링크
기능 2. 눈 깜빡임 인터랙션: 내비게이션/업데이트를 상징적으로 보여주는 인터랙션
개념
LLM/코딩 어시스턴트 도구의 등장으로 웹사이트 대량생산 가능 (정크 사이트)
단순한 UI 대량생산이 아닌 기능을 수행할 수 있는 풀스택 웹사이트/웹 서비스의 대량생산
랜딩 페이지, 내비게이션, 중첩 페이지, SEO (검색 엔진 최적화)
유사하게 수많은 SNS 콘텐츠/블로그 콘텐츠의 대량생산 가능
이러한 수많은 웹사이트들이 다시 LLM의 훈련 데이터로 사용됨
LLM의 방대한 데이터셋은 웹상에 존재하는 수많은 웹사이트의 데이터로 구성됨
현재 LLM은 데이터가 부족한 상태
이러한 상황을 해결하기 위해 빅테크 기업들은 데이터 생산 전략을 확보 중
메타가 스레드를 출시한 이유: 자연어 데이터를 확보하기 위해
정크 사이트 생산은 데이터의 양적 측면에서 긍정적
그러나 정크 사이트는 결국 LLM 데이터를 기초로 생산됨
결국 LLM → 정크 사이트 → LLM이라는 닫힌 루프를 형성
이는 생성형 AI 시대에 인류가 직면하게 될 콘텐츠의 범람, 순환적 교착 상황을 상징적으로 보여주는 개념
닫힌 루프 속 인류의 창의성은 어디로 가는가? 무한히 쓰레기만 들어오고 나가며 새로운 콘텐츠는 없이 순환만을 지속할 것인가?
정크 사이트에 대한 논의는 정크 텍스트(블로그 포스트/학술 논문), 정크 이미지, 정크 비디오의 논의로 확장될 수 있음
MDWA 형태로 가장 직관적으로 보여줄 수 있는 개념이 정크 사이트
렘 콜하스의 '정크 스페이스' 개념에 비유
정크 스페이스:
상업 기술과 소비주의에 의해 무분별하게 팽창하여 기능과 의미를 상실한, 혼란스럽고 비정형적인 도시 공간의 범람.
대량생산, 복제되고 전세계적으로 동질화된 도시 공간
예시: 쇼핑몰, 공항, 상업 가게로 가득 찬 도심 거리 등
기술적 특징: 정크 스페이스는 에어컨, 에스컬레이터 등 쇼핑몰 건축을 가능하게 하는 기술의 등장으로 가능
정크 사이트:
LLM의 발전과 소비주의에 의해 무분별하게 팽창하여 기능과 의미가 상실된, 혼란스럽고 자기복제적인 웹 공간의 범람.
대량생산, 복제되고 데이터의 순환 구조에 의해 동질화된 웹상 공간
예시: 수많은 상업적 웹사이트, 랜딩 페이지, 온라인 쇼핑몰, 스타트업 페이지 등
기술적 특징: 정크 사이트는 대량의 웹사이트를 빠르게 생성할 수 있는 LLM의 등장으로 가능
주요 참고 문헌:
렘 콜하스, 정크 스페이스 링크
나심 니콜라스 탈레브, LLM과 자가 데이터 검색 및 생성 과정 링크
정크 사이트는 LLM과 생성형 AI의 발전으로, 사용자의 실시간 모바일 입력과 VUI 인터랙션에 따라 자동으로 대량 복제 및 생성되는 웹 공간을 의미한다. 이러한 정크 사이트는 풀스택 웹사이트로서 랜딩 페이지, 내비게이션, 중첩 페이지, SEO 등의 기능을 갖추며, 끊임없이 변화하는 데이터 순환 구조 속에서 LLM의 훈련 데이터로 재활용되어 궁극적으로 '쓰레기 입력, 쓰레기 출력'의 폐쇄 루프를 형성한다. 렘 콜하스가 정의한 정크 스페이스는 상업 기술과 소비주의에 의해 무분별하게 팽창하여 기능과 의미가 상실된, 에어컨과 에스컬레이터 같은 기술 발전에 힘입어 전 세계적으로 동질화되고 복제된 쇼핑몰, 공항, 도심의 상업 공간을 상징적으로 보여준다. 즉, 정크 사이트는 디지털 영역에서 대량생산되고 자기복제적인 웹 공간의 범람을, 정크 스페이스는 물리적 도시 공간에서 형성된 혼란스럽고 비정형적인 공간의 범람을 각각 드러내며, 두 개념은 현대 사회의 기술 발전과 소비 문화가 만들어낸 복제 및 순환 현상을 은유적으로 보여준다.
연구화: 어떻게 연구화하고 연구 제안서로 만들 것인가?
업적 1. 정크 사이트
LLM 기반 자동 생성 웹사이트 자체가 강력한 HCI 연구 업적
웹사이트 구조 자동 생성
웹사이트 컨텍스트 자동 생성
UI/스타일 자동 생성
정크 사이트라는 말은 명시적으로 사용하지 않음
인간 도전 해결
LLM → 정크 사이트 → LLM
어떻게 구체적으로 어떤 도전을 해결할 수 있는지?
인류에 대한 도전
인류의 이익을 위한 것
학교의 캐치프레이즈/가치와 일치하게
업적 2. 인터랙션 디자인
VUI 인터랙션 디자인
VUI 속 컨텍스트 추출, 이에 맞춰 생성형 콘텐츠를 만드는 것이 연구 업적
깜빡임 인터랙션 디자인
멀티 디바이스 인터랙션 디자인에서 새로운 모달리티의 사용
도전
LLM의 등장으로 자동 생성 웹사이트(정크 사이트)가 많아질 것임
이러한 정크 사이트는 다시 LLM의 데이터로 순환적으로 이용
LLM → 정크 사이트 → LLM 간의 닫힌 루프 형성
이러한 담론은 일반적으로 생성형 AI → 정크 콘텐츠 → 생성형 AI 간의 닫힌 루프로 확장 가능
이러한 닫힌 루프는 다음과 같은 두 가지 측면에서 인류에 대한 도전
LLM/생성형 AI의 데이터셋에 대한 도전
더 이상 새로운 데이터셋이 만들어지지 않고 기존에 있던 데이터를 순환적으로 재가공한 복제적 데이터만이 많아짐, 데이터가 양적으로 성장하나 질적으로 성장하지 않음
새로운 담론, 새로운 형태의 디자인이 나오기가 불가능
창의성에 대한 도전
인류가 LLM을 비롯한 생성형 AI에만 의존하고, 웹 환경이 정크 사이트만으로 가득차게 되면 창의적인 웹이 아닌 무의미한 사이트만으로 가득 차게 될 것임
따라서 인류는 인공지능과 공존하는 시대에서도 정크 사이트를 넘어 계속해서 알고리즘을 넘어서는 창의적인 콘텐츠를 생산해야 하며, LLM을 비롯한 생성형 AI는 이러한 새로운 콘텐츠를 통해 계속 새로운 진화를 만들어 나가야 함. 닫힌 루프가 아닌 열린 루프를 향해, 인류와 AI의 공진화를 향해
본 사업은 정크 사이트 생성의 직접적 구현 및 이를 경험적 형태로 제시함으로써 정크 사이트를 비롯한 정크 콘텐츠가 인류의 창의성에 미칠 수 있는 악영향을 미리 경고하고자 함
창의적 문제 해결
본 연구 프로젝트는 LLM 기반 대규모 정크 사이트 생성 프레임워크를 만들고 이를 기반으로 인터랙티브 경험을 디자인하는 데에 초점을 둠
정크 사이트 생성 프레임워크는 단순히 웹사이트 UI 디자인을 자동화하는 것이 아닌, 웹사이트의 내용/구조/디자인/SEO 등을 자동 생성하는 웹 기반 프레임워크
이는 우선 학문적으로 HCI 분야에서의 기여, 실용적으로 웹사이트 자동화 도구로 사용될 수 있기에 단기적인 기여를 제시함
그러나 본 프로젝트가 해결하고자 하는 문제는 정크 사이트를 통한 위와 같은 실용적 목표 달성보다는, 정크 사이트를 비롯한 앞으로 사회에 등장하게 될 무수한 정크 콘텐츠의 위험성을 보여주고 커뮤니케이트하는데에 목표가 있음
본 연구의 정크 사이트 생성은 아래와 같은 목표를 가지고 있음
정크 사이트 생성 도구 제시를 통해 5-10년 후 정크 사이트/콘텐츠가 가져올 미래를 투기적으로 제시
SEO가 완료된 정크 사이트의 대량생산을 통한 현재 웹 생태계 교란
사용자가 인터랙션을 통해 실시간으로 정크 사이트를 무수히 제작할 수 있는 몰입형 경험을 제작
방법론
정크 사이트 생성 프레임워크는 단순히 웹사이트 UI 디자인을 자동화하는 것이 아닌, 웹사이트의 내용/구조/디자인/SEO 등을 자동 생성하는 웹 기반 프레임워크
생성된 웹사이트는 피그마 등 다른 도구를 통한 웹사이트 프로토타입으로 존재하는 것이 아닌, 실제 웹 URL이 존재하고 직접 사용자가 웹사이트 속에서 상호작용 할 수 있는 풀스택 프로그래밍된 웹사이트로 존재
내용 및 구조 자동생성: 주어진 맥락/키워드/웹사이트 분류에 따라 웹사이트의 전반적 내용 및 구조(내비게이션, 페이지 연결 구조, 페이지 내 텍스트, 웹사이트 타이틀 등) 자동생성
디자인 자동생성: 주어진 맥락/웹사이트 분류에 따라 웹사이트 스타일을 비롯한 UI 전반의 자동생성, 다양한 디자인 옵션을 한 번에 대량생산
자동 SEO: 주어진 맥락/키워드에 맞는 자동 URL 경로 생성 및 키워드별 검색 엔진 최적화 완료, 구글 등 검색 엔진에서 바로 검색될 수 있도록 만들어줌
초기 접근 방법: 멀티 디바이스 웹 아트워크 홍보에서 시작
멀티 디바이스 웹 아트워크에 관한 수많은 정크 사이트를 생성하고, 이를 서로 참조하게 하면서 시작
Junk Site
Multi-Device Web Artwork
Generative AI
Web Development
Digital Architecture
LLM
Content Generation
Digital Spaces
Web Design
AI Ethics
Human Creativity
Digital Transformation
Urban Theory
Junk Space
Data Circulation
Voice Interfaces
Interactive Design
Digital Culture
Web Automation
SEO
Multi-Device
Future Web
Text written by Jeanyoon Choi
Ⓒ Jeanyoon Choi, 2024