← Back to Main

LLM: GUI --> LUI

9/24/2024, 3:20:49 PM | Jeanyoon Choi

Original Notes (Pre-LLM)

LLM 이용 증가로 인해 Traditional User Interface/Human-Computer Interaction Methodology 에 굉장히 중요한 Major Change가 있을 것이다. In short, the transition from GUI (Graphic User Interface) to LUI (Language User Interface)

Traditionally we communicated in language. (With Computer)

Language-based Communication의 한계 → User Interface의 등장, Human Computer Interaction에서 Human 과 Computer 간이 매개의 통로.

그래피컬한 유저 인터페이스가 따라서 중요해짐

(우리는 그러나 이러한 GUI에도 불구하고 사람과 사람 간에 소통할때 여전히 특정 비중에 대해서는 카카오톡/인스타 DM등 채팅을 기반으로 한다. 이러한 채팅 + 인스타와 같은 비주얼 컬쳐 dominate)

이것이 GPT등 강력한 LLM 등장하기 이전의 스토리.

그러나 LLM의 발전으로 인해 Human-Computer간 Language 소통시 Communication Mismatch가 더이상 일어나지 않게 된다.

오히려 자연어가 기존의 그래픽/레이아웃 기반 인터페이스보다 더 자연스러운 인터페이스를 제공해줌.

따라서 이는 GUI의 종말, GUI의 순차적 LUI으로의 전환을 의미한다. 이는 굉장히 자연스러운 트렌드이다.

마치 마우스라는 비직관적인 Human-Computer Interaction Input Method가 애플의 혁신적인 터치 인터페이스 등장 이후 터치로 바로 대체되었듯 → 이는 터치가 마우스에 비해 보다 인간에게 직관적이기 때문. 마찬가지로 언어가 그래픽 인터페이스보다 많은 경우 더 직관적일 것임.

알렉사/시리 등 초기 LLM 기반 채팅 비서들은 이러한 LUI의 중요성을 이해했기 때문에 가능했던 투자들.

따라서 Creative Art/Design Software 컨텍스트에서도 TouchDesigner등 No-Code(No-Language) Node-based tool 이 비교적 쉬운 러닝 커브로 인기를 끌었었지만, 앞으로는 코드를 GPT를 이용해 생성하는게 더욱 쉬울 것이기 때문에 직접 코드를 짜는것/Language-based Code를 대량으로 생산하는 것이 더욱 쉬워지고 선호되는 방법으로 트렌드가 역전될 수 있다. 이것도 옜날 하드 코딩 → GUI/Node-based UI → 다시 하드 코딩으로 돌아오게 되는 역설적 구조 가진다.

English Version (LLM-Generated)

There is a major change happening in the traditional user interface and human-computer interaction methodologies due to the increased usage of LLM (Large Language Models). In simpler terms, we are transitioning from a Graphical User Interface (GUI) towards a Language User Interface (LUI).

Traditionally, communication between humans and computers was language-based. But this method came with limitations, leading to the emergence of user interfaces. Hence, a graphical user interface became essential for intercommunication between humans and computers. Despite the development of GUI, in human-to-human conversations, we still rely on chat-based communication like KakaoTalk, Instagram DM, etc. These chats, combined with visual culture like Instagram, are dominant in our communication methods.

This scenario changes entirely with the advent of powerful LLM like GPT (Generative Pretrained Transformer). These LLMs eliminate communication mismatches between humans and computers when language-based communication is used. In fact, natural language provides a more intuitive interface than the traditional graphics or layout-based interfaces.

Thus, we are seeing the end of GUI and transitioning towards LUI, which is a natural trend. This shift can be compared to how the intuitive touch interface replaced the non-intuitive mouse, as an input method in human-computer interaction, after Apple's innovative introduction. Similar to how touch is more intuitive than a mouse, in most cases, language will be more intuitive than a graphical interface.

The investments made into early LLM-based chat assistants like Alexa and Siri were possible because they understood the importance of LUI in future technology.

In the context of creative art and design software, no-code or node-based tools like TouchDesigner gained popularity due to their relatively easy learning curve. However, with the presence of GPT, code generation becomes even easier, leading to a potential trend reversal where mass production of language-based code/literal coding is preferred. This presents a paradoxical structure of transitioning from hard coding to GUI/node-based UI, and then back to hard coding.

Korean Version (LLM-Generated)

LLM의 활용이 증가함에 따라 전통적인 사용자 인터페이스/사람-컴퓨터 상호 작용 방식에 큰 변화가 있을 것이다. 단순히 말하자면, 그래픽 사용자 인터페이스(GUI)에서 언어 사용자 인터페이스(LUI)로의 전환이 예상된다.

전통적으로 우리는 컴퓨터와 언어를 통해 소통했다. 하지만 언어 기반 커뮤니케이션의 한계로 인해 사용자 인터페이스가 등장하게 되었고, 이를 통해 사람과 컴퓨터 간의 중재적인 통로가 형성되었다. 따라서 그래픽 기반의 사용자 인터페이스가 중요해졌다. 그럼에도 불구하고, 사람들은 카카오톡이나 인스타그램 DM과 같은 채팅을 통해 소통하는 데 있어 특정 비중을 두고 있다.

이는 GPT 등 강력한 LLM이 등장하기 전까지의 이야기였다. LLM의 발전으로 인해, 사람과 컴퓨터 사이의 언어를 통한 의사소통 시 문제가 더 이상 발생하지 않게 되었다. 오히려 자연어는 기존의 그래픽/레이아웃 기반 인터페이스보다 더 자연스러움을 제공해준다.

결국 이것은 GUI의 종말, 즉 GUI에서 순차적으로 LUI로의 전환을 의미한다. 이것은 매우 자연스러운 트렌드이다. 마치 비직관적인 마우스 입력 방식이 애플의 혁신적인 터치 인터페이스의 등장으로 인해 터치로 대체되었던 것처럼, 언어는 그래픽 인터페이스보다 더 직관적일 수 있다. 알렉사나 시리 같은 초기 LLM 기반의 채팅 비서는 이러한 LUI의 중요성을 인식하고 투자하였다.

따라서 창의적인 아트/디자인 소프트웨어에서도 초기에는 No-Code(No-Language) Node-based tool인 TouchDesigner가 쉬운 학습 곡선으로 인기를 끌었지만, 앞으로는 GPT를 활용해 코드를 생성하는 것이 더 쉬워지면서, 직접적인 코드 작성 또는 언어 기반의 코드를 대량으로 생산하는 것이 더 선호받을 것이다. 이것은 하드 코딩에서 GUI/Node-based UI로, 그리고 다시 하드 코딩으로 돌아오게 되는 역설적인 구조를 가지게 된다.