Two simple experiment ideas using multi-modality

4/7/2024, 10:15:38 AM | Jeanyoon Choi

Original Notes (Pre-LLM)

Two simple experiment ideas using multi-modality

Multi-Modal Inputs:

Hand Tracking, Body Tracking, Eye Tracking

Facial Expression

Voice Input

Mobile Scrolling, Mobile Pinching, Mobile Tapping, Mobile Conducting (Via Mobile Accelerometer)

Keyboard, Mouse

Etc….

Multi-Modal 1. Expandable List UI via Eye Tracking

Eye tracking on mobile environment → New approach?

Expandable List UI: List with 10 (or more) items spanning y-axis, scrollable interface. Current interface design: limiting if people want to get detailed information on the item. Once people gaze at the item: that item expands, giving more detailed information about the item. Once people move to another item, the first item collapses, and the newly targeted item expands. Expandable List UI…. Can be used within UI design, but also artistically expanded into other domains. How about an expandable grid UI? How about different 15 screens changing/expanding according to the grid?

Multi-Modal 2. Yawning/Screaming triggered via Mouse Opened Tracking

Using Facial Expression → Easily track distance between two lips, can track mouse opened position… This mouse tracking can be used to create various interesting effects

Das Gerede Part II (RGB) Idea: Three screens (each screen named R, G, B) having everyday ‘Das Gerede’ conversation… Very boring, very semantical, super make sense, hyper-real so that it’s boring. Here, once the mouse opened, yawning sound, the sound of boredom, unexpectedly added within the conversation… And the conversation goes on until the next mouse opens interaction → This time, screaming happens from the screen! And gradually, the ongoing conversation distorts… to more animal like screaming, yawning, non-semantical symphony from three distributed screens! This will be the basis idea of Das Gerede Part 2, criticising everyday normal boring conversations.

English Version (LLM-Generated)

The multifaceted nature of artistic enquiry often requires a multidimensional approach. Two experimental concepts incorporate multi-modal inputs such as hand, body, and eye tracking; facial expressions, voice input, mobile interactions, along with more traditional mediums like keyboard and mouse for enhanced user interactions.

The first multilateral idea is the application of Eye Tracking technology in mobile environments for an 'Expandable List User Interface'. Traditional interfaces are satiating to a degree; however, they're limiting when the user aims to access detailed information about an item. This innovative concept envisions a list with 10 or more items along the y-axis, akin to a scrollable interface. Once a user gazes at an item, it expands to reveal more comprehensive information. As the gaze shifts to another item, the earlier one contracts while the newly targeted one enlarges. This concept can be applied widely in UI design, extending to artistic endeavors like an expandable grid UI, or even 15 different screens expanding in accordance with the grid.

The second experiment draws upon Facial Expression technology, specifically tracking mouth opening. This notion could enable the creation of intriguing effects. 'Das Gerede Part II (RGB)', a prospective project, will employ this technology to transform everyday chatter into art. Spanning three screens, labelled R, G, and B, mundane conversation will unravel in real-time. The quiet monotony of the chatter is interrupted abruptly with the creation of a yawn or scream, triggered by the mouth opening. As the dialogue continues, so do these unexpected sounds of boredom or surprise, increasingly transforming the conversation into a primitive-like symphony dispersed across the three screens. The aim is to critique everyday drab exchanges and breathe life into them through tech-inspired creativity.

Korean Version (LLM-Generated)

다양한 입력방식을 이용한 두 가지 간단한 실험 아이디어

연구에 사용된 다양한 입력 방식 :

손 추적, 몸 추적, 눈동자 추적

얼굴 표정

음성 입력

모바일 스크롤링, 모바일 핀치, 모바일 탭, 모바일 동작 (모바일 가속도계를 통해)

키보드, 마우스

등등...

다양한 입력 1. 눈동자 추적을 통해 확장 가능한 리스트 UI

모바일 환경에서 눈동자 추적 → 새로운 접근 방법인가?

확장 가능한 리스트 UI : y축을 따라 10개(혹은 그 이상)의 아이템이 있는 리스트, 스크롤 가능한 인터페이스. 현재의 인터페이스 디자인: 사람들이 아이템에 대한 자세한 정보를 얻고자 할 때 제한적임. 사람들이 아이템을 바라보게 되면 해당 아이템이 확장되어 아이템에 대한 더 자세한 정보를 제공하게 됨. 사람들이 다른 아이템으로 이동하게 되면 첫 번째 아이템이 축소되고, 새롭게 선택된 아이템이 확장됨. 확장 가능한 리스트 UI.... UI 디자인 내에서 사용될 수 있지만 또한 아티스틱하게 다른 영역으로 확장할 수도 있음. 확장 가능한 그리드 UI는 어떨까? 그리드에 따라 변화/확장하는 15개의 다른 화면은 어떨까?

다양한 입력 2. 마우스 연결된 추적을 통해 유발된 하품/비명

얼굴 표정 사용 → 두 입술 사이의 거리를 쉽게 추적할 수 있음, 마우스 열린 위치를 추적할 수 있음... 이 마우스 추적은 다양한 재미있는 효과를 만드는 데 사용될 수 있음

Das Gerede part II(RGB) 아이디어: 일상적인 'Das Gerede' 대화를 하는 세 개의 화면(각 화면은 R, G, B로 명명됨)... 굉장히 따분하고, 의미론적인, 매우 상식적인, 지루할 정도로 초현실적. 여기서, 마우시 연다면, 하품 소리, 지루함의 소리가 예상치 못하게 대화 속에 추가됨... 그리고 대화는 다음 마우스가 열리는 상호작용이 있을 때까지 이어짐 → 이번에는 화면에서 비명이 터져 나옴! 그리고 점차 진행되는 대화는 왜곡되어... 더욱 동물적인 비명, 하품, 의미없는 교향곡으로 변해감. 이것이 Das Gerede part 2의 기본 아이디어라고 할 수 있겠다. 이것은 일상적인 지루한 대화를 비판하는 것이다.

Tags

Text written by Jeanyoon Choi

Ⓒ Jeanyoon Choi, 2024