🔗 원문 전체 보기 → Venturesquare.net
요약
클레온이 감정과 강도를 제어하는 실시간 립싱크 기술 ‘Emo-LiveSync’를 개발하고 관련 논문을 BMVC 2026에 게재했다. 음성 기반 전신 아바타 기술 AudioAvatar와 의상의 2차 움직임을 표현하는 SMAGA 연구도 각각 CVPR 2026과 ICLR 2026에서 발표했다. 클레온은 세 기술을 기업 교육과 디지털 사이니지, 리테일, 전시·행사에 적용하는 실시간 휴먼 AI 인터페이스로 통합할 계획이다.
본문
- 감정과 강도를 제어하는 실시간 립싱크 ‘Emo-LiveSync’, BMVC 2026 논문 게재
- 음성 기반 전신 아바타·의상 움직임 연구도 CVPR·ICLR 발표…실시간 제품으로 연결
생성형 AI가 자연스러운 음성으로 답하더라도 얼굴과 몸의 움직임이 어색하면 사용자는 곧바로 이질감을 느낀다. 특히 상담과 교육, 리테일처럼 화면 속 AI와 반복해서 대화하는 환경에서는 답변 내용뿐 아니라 입 모양과 표정, 시선, 몸짓의 일치가 사용자 경험을 좌우한다. 이를 실시간으로 구현하려면 언어·음성·영상 생성 기술을 짧은 지연시간 안에서 연결해야 한다. 클레온이 얼굴의 감정 표현에서 전신 동작과 의상 움직임까지 연구 범위를 확장하며 휴먼 AI 인터페이스를 고도화한다.
휴먼 AI 인터페이스 기업 클레온은 감정을 제어할 수 있는 실시간 립싱크 기술을 개발하고 관련 연구를 컴퓨터비전 학회 BMVC(British Machine Vision Conference) 2026에 게재했다. 올해 ICLR과 CVPR에서 발표한 연구에 이은 세 번째 학회 성과다.
클레온은 거대언어모델(LLM)과 음성인식(ASR), 음성합성(TTS), 검색증강생성(RAG)에 실시간 영상 생성·스트리밍 기술을 결합하고 있다. AI가 질문을 이해하고 답변을 만드는 과정에 얼굴과 목소리, 표정, 몸짓을 더해 사람과 마주 보고 대화하는 형태의 인터페이스를 구현하는 것이 목표다.
이번 BMVC 논문 제목은 ‘Emo-LiveSync: Real-Time Universal Lip Synchronization with Explicit Emotion Control’이다. 기존 립싱크 기술이 음성에 맞춰 입술의 움직임을 생성하는 데 집중했다면 Emo-LiveSync는 눈과 입, 얼굴 윤곽 등 얼굴 전체의 움직임을 하나의 모션 공간에서 처리한다.
사용자는 기쁨과 슬픔, 분노 등 표현할 감정을 지정하고 감정의 강도와 변화도 조절할 수 있다. 같은 음성이라도 상황에 맞춰 표정을 다르게 생성할 수 있는 구조다. 실제 인물뿐 아니라 애니메이션과 3D 캐릭터에도 적용할 수 있도록 설계됐다.
사람의 대화에서는 말의 의미와 감정에 따라 입술뿐 아니라 눈빛과 얼굴 근육의 움직임도 달라진다. AI 휴먼이 음성과 맞지 않는 표정을 짓거나 모든 문장을 같은 표정으로 전달하면 정보의 뉘앙스가 사라지고 상호작용의 신뢰도도 낮아질 수 있다. 감정 제어 기술은 교육용 역할 훈련과 고객 상담, 브랜드 안내처럼 상황별 표현이 필요한 서비스에서 활용도가 높다.
얼굴·전신·의상 움직임을 하나의 대화 흐름으로
클레온의 연구 범위는 얼굴에서 손과 몸으로 이어진다. CVPR 2026에서 발표한 ‘AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars’는 한 장의 이미지로 개인화된 3D 대화형 아바타를 만들고 음성에 맞춰 얼굴과 손, 몸 전체의 움직임을 생성하는 기술이다.
기존 방식은 먼저 음성에서 자세 정보를 예측하고 이를 아바타 영상으로 변환하는 과정을 거친다. 이 과정에서 자세 추정과 리타기팅 오류가 누적되면 입술의 미세한 움직임이나 손동작이 손실될 수 있다.
AudioAvatar는 중간 자세 예측 단계를 줄이고 음성에서 아바타의 움직임을 직접 생성한다. 3D 가우시안 스플래팅 기반의 입자별 변형 구조를 활용해 얼굴과 손, 몸의 세부 동작을 제어하면서 전체 움직임의 일관성을 유지하는 방식이다. 논문은 입술과 음성의 동기화, 얼굴의 세부 표현, 대화에 맞춘 몸짓 생성 성능을 기존 방식과 비교해 평가했다.
ICLR 2026에서 발표한 ‘SMAGA: Secondary Motion-Aware 3D Clothed Gaussian Avatars from Monocular Videos’는 신체를 따라 움직이는 옷과 머리카락 등 비강체 영역의 2차 움직임을 표현하는 기술이다. 두 연구는 고려대학교 박경문 교수 연구실과 공동으로 진행됐다.
사람이 몸을 움직이면 옷자락은 관절과 정확히 같은 궤적으로 움직이지 않는다. 몸의 속도와 방향, 소재의 형태에 따라 조금 늦게 흔들리거나 별도의 변형을 만든다. 기존 3D 아바타는 신체 골격을 기준으로 옷을 움직이는 경우가 많아 헐렁한 의상에서 찢어짐이나 뾰족한 잔상 같은 시각적 오류가 발생할 수 있다.
SMAGA는 단일 영상에서 추출한 가우시안 요소를 그래프 형태로 구성하고 이전 움직임과 속도 정보를 반영해 다음 변형을 예측한다. 이를 통해 치마처럼 신체와 다른 형태로 움직이는 의상의 실루엣과 흔들림을 표현한다.
세 연구를 연결하면 클레온의 개발 방향은 입술 동기화, 얼굴의 감정 표현, 손과 몸의 동작, 의상과 외형의 세부 움직임으로 이어진다. 각각의 기술을 실시간 대화 시스템에 통합하면 AI가 생성한 답변의 의미와 감정을 얼굴과 몸으로 함께 전달할 수 있다.
클레온은 연구 결과를 기업 교육용 대화형 AI 제품 ‘롤핏(ROLEFIT)’, 디지털 휴먼을 서비스와 기기에 탑재하는 ‘클레온 스튜디오 SDK’, 전시·행사 현장에서 다국어 AI 안내자를 운영하는 ‘이벤트 프로모터 OS’에 적용할 계획이다.
롤핏은 상담과 세일즈, 고객 응대 상황을 설정하고 사용자가 AI 휴먼과 반복적으로 대화하며 훈련할 수 있도록 지원한다. 클레온 스튜디오 SDK는 기업이 자체 서비스와 웹, 앱, 키오스크 등에 디지털 휴먼을 연동할 수 있게 하는 개발도구다. 출시를 준비 중인 이벤트 프로모터 OS는 브랜드 행사와 전시장에서 다국어 설명과 안내를 제공하는 용도로 개발되고 있다.
강지수 클레온 CTO는 “AI가 실제 사람 앞에서 응대하고 설명하고 훈련시키는 역할을 하려면 질문을 이해하고 답변을 생성하는 것만으로는 충분하지 않다”며 “자연스럽게 입을 움직이고 상황에 맞는 표정과 감정을 표현하며 몸짓으로 반응할 수 있어야 한다”고 말했다.
이어 “개별 기술의 성능을 높이는 동시에 이를 하나의 실시간 시스템으로 연결해 AI가 사람과 더 자연스럽게 상호작용할 수 있는 인터페이스를 만들겠다”고 덧붙였다.
학회에 발표된 연구는 얼굴과 전신, 의상 움직임을 생성하는 개별 기술의 성능을 검증한 결과다. 실제 제품 경쟁력은 이 기술들을 연결했을 때 발생하는 전체 응답 지연시간과 장시간 대화 중 인물·표정의 일관성, 음성에 담긴 의미와 감정 표현의 정확성에서 결정된다.
얼굴과 목소리를 생성하는 기술인 만큼 당사자의 동의와 초상권 보호, AI 생성물 표시, 사칭과 오용을 차단하는 장치도 필요하다. 기업 교육이나 공공 안내처럼 실제 사람과 반복해서 상호작용하는 환경에서는 기술의 사실감만큼 사용자가 AI라는 사실을 명확히 알 수 있도록 하는 설계가 중요하다. 클레온이 연구 성과를 낮은 지연시간과 안정적인 운영, 안전장치를 갖춘 제품으로 연결한다면 휴먼 AI 인터페이스는 LLM의 답변을 현실 공간의 사용자 경험으로 전달하는 새로운 접점이 될 수 있다.
Like this:
Like Loading...Related
Beyond lip movements to emotions and full-body movements… Cleon expands Human AI Interface Technology
Even if generative AI responds with natural-sounding speech, users immediately feel a sense of unfamiliarity if the facial and body movements are awkward. Particularly in environments where users repeatedly converse with on-screen AI—such as in counseling, education, and retail—the alignment of lip movements, facial expressions, eye contact, and gestures—as well as the content of the response—determines the user experience. To achieve this in real-time, language, voice, and video generation technologies must be integrated within a short latency. Cleon is advancing human AI interfaces by expanding its research scope from facial emotional expressions to full-body movements and clothing motions.
Cleon, a human AI interface company, developed real-time lip-sync technology capable of controlling emotions and published related research at the British Machine Vision Conference (BMVC) 2026. This marks the company's third academic achievement, following research presented at ICLR and CVPR earlier this year.
Cleon combines real-time video generation and streaming technology with Large Language Models (LLM), Automatic Speech Recognition (ASR), Text-to-Speech (TTS), and Augmented Search Generative (RAG). The goal is to implement an interface that simulates face-to-face conversation by adding facial features, voice, facial expressions, and gestures to the process where AI understands questions and generates answers.
The title of this BMVC paper is 'Emo-LiveSync: Real-Time Universal Lip Synchronization with Explicit Emotion Control'. While existing lip-sync technology focused on generating lip movements in sync with speech, Emo-LiveSync processes the movements of the entire face, including the eyes, mouth, and facial contours, in a single motion space.
Users can specify emotions to express, such as joy, sadness, and anger, and adjust the intensity and variation of these emotions. The structure allows for the generation of different facial expressions depending on the situation, even with the same voice. It is designed to be applicable not only to real people but also to animations and 3D characters.
In human conversation, not only the lips but also the eye movements and facial muscles change depending on the meaning and emotion of the words. If an AI human displays facial expressions that do not match the voice or delivers every sentence with the same expression, the nuances of the information are lost, and the reliability of the interaction may decrease. Emotion control technology is highly useful in services that require situation-specific expressions, such as educational role training, customer consultation, and brand introductions.
Combining facial, full-body, and clothing movements into a single dialogue flow
Cleon's research scope extends from the face to the hands and body. 'AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars,' presented at CVPR 2026, is a technology that creates personalized 3D conversational avatars from a single image and generates movements of the face, hands, and entire body in response to voice.
Existing methods first predict posture information from voice and convert it into avatar video. If posture estimation and retargeting errors accumulate during this process, fine lip movements or hand gestures may be lost.
AudioAvatar reduces the intermediate pose prediction step and directly generates avatar movements from speech. It utilizes a particle-based deformation structure based on 3D Gaussian splatting to control detailed movements of the face, hands, and body while maintaining consistency in overall movement. The paper evaluated the performance of lip-voice synchronization, detailed facial expressions, and conversation-matched gesture generation by comparing them with existing methods.
'SMAGA: Secondary Motion-Aware 3D Clothed Gaussian Avatars from Monocular Videos,' presented at ICLR 2026, is a technology that expresses secondary motion in non-rigid areas, such as clothing and hair that move along with the body. Both studies were conducted jointly with Professor Kyung-Moon Park's laboratory at Korea University.
When a person moves their body, the hem of the clothing does not move along the exact same trajectory as the joints. Depending on the body's speed and direction, as well as the shape of the material, it may sway slightly later or create separate deformations. Since existing 3D avatars often move clothing based on the body's skeletal structure, visual errors such as tearing or sharp afterimages may occur in loose clothing.
SMAGA organizes Gaussian elements extracted from a single image into a graph and predicts the next deformation by reflecting previous movement and velocity information. Through this, it expresses the silhouette and swaying of clothing that moves differently from the body, such as skirts.
Connecting the three studies, Cleon's development direction leads to lip synchronization, facial emotional expression, hand and body movements, and detailed movements of clothing and appearance. Integrating each of these technologies into a real-time conversation system enables the simultaneous delivery of the meaning and emotions of AI-generated responses through facial expressions and body language.
Cleon plans to apply the research results to its conversational AI product for corporate education, 'ROLEFIT', 'Cleon Studio SDK' which integrates digital humans into services and devices, and 'Event Promoter OS' which operates multilingual AI guides at exhibitions and events.
Rollfit supports the setup of consultation, sales, and customer interaction scenarios, enabling users to train by repeatedly conversing with AI humans. The Cleon Studio SDK is a development tool that allows companies to integrate digital humans into their own services, websites, apps, and kiosks. The Event Promoter OS, currently being prepared for launch, is being developed to provide multilingual explanations and guidance at brand events and exhibitions.
“For AI to play the role of responding, explaining, and training in front of real people, it is not enough to simply understand questions and generate answers,” said Kang Ji-soo, CTO of Cleon. “It must be able to move its mouth naturally, express facial expressions and emotions appropriate to the situation, and respond with body language.”
He added, “We will enhance the performance of individual technologies while simultaneously connecting them into a single real-time system to create an interface that enables AI to interact more naturally with humans.”
The research presented at the conference verified the performance of individual technologies that generate facial, full-body, and clothing movements. The actual competitiveness of the product is determined by the total response latency that occurs when these technologies are connected, the consistency of the person and facial expressions during long conversations, and the accuracy of the meaning and emotional expression contained in the voice.
As this is a technology that generates faces and voices, it is also necessary to secure the consent of the subjects, protect portrait rights, indicate that the product is AI-generated, and implement mechanisms to prevent impersonation and misuse. In environments involving repeated interaction with real people, such as corporate training or public guidance, it is crucial to design the system so that users clearly recognize that it is an AI, just as much as the technology's realism. If Cleon translates its research achievements into products equipped with low latency, stable operation, and safety mechanisms, the Human AI Interface can become a new point of contact that delivers LLM responses into real-world user experiences.
口の形を越えて感情・全身動作まで…クレオン、ヒューマンAIインターフェース技術の拡張
生成型AIが自然な音声で答えても顔と体の動きがぎこちないと、ユーザーはすぐに異質感を感じる。特に相談や教育、小売りのように画面の中のAIと繰り返し会話する環境では、回答内容だけでなく、口の形と表情、視線、ジェスチャーの一致がユーザー体験を左右する。これをリアルタイムで実現するには、言語・音声・映像生成技術を短い遅延時間内で連結しなければならない。クレオンが顔の感情表現から全身動作と衣装の動きまで研究範囲を拡張し、ヒューマンAIインターフェースを高度化する。
ヒューマンAIインターフェース企業クレオンは感情を制御できるリアルタイムリップシンク技術を開発し、関連研究をコンピュータビジョン学会BMVC（British Machine Vision Conference）2026に掲載した。今年、ICLRとCVPRで発表した研究に続く3番目の学会成果だ。
クレオンは巨大言語モデル(LLM)と音声認識(ASR)、音声合成(TTS)、検索拡張生成(RAG)にリアルタイム映像生成・ストリーミング技術を結合している。 AIが質問を理解し、答えを作る過程に顔と声、表情、ジェスチャーを加え、人と向き合い、会話する形のインターフェースを実装することが目標だ。
今回のBMVC論文のタイトルは「Emo-LiveSync: Real-Time Universal Lip Synchronization with Explicit Emotion Control」だ。既存のリップシンク技術が音声に合わせて唇の動きを生成することに集中した場合、Emo-LiveSyncは目と口、顔の輪郭などの顔全体の動きを1つのモーション空間で処理します。
ユーザーは喜びと悲しみ、怒りなど表現する感情を指定し、感情の強さと変化も調節することができる。同じ声でも状況に合わせて表情を異なって生成できる仕組みだ。実際の人物だけでなく、アニメや3Dキャラクターにも適用できるように設計された。
人の会話では、言葉の意味や感情によって唇だけでなく、目の光と顔の筋肉の動きも変わる。 AIヒューマンが音声と合わない表情を作ったり、すべての文章を同じ表情で伝えれば、情報のニュアンスが消え、相互作用の信頼度も低くなることがある。感情制御技術は教育用役割訓練と顧客相談、ブランド案内のように状況別表現が必要なサービスで活用度が高い。
顔・全身・衣装の動きを一つの会話の流れに
クレオンの研究範囲は顔から手と体につながります。 CVPR 2026で発表した「AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars」は、一枚のイメージでパーソナライズされた3Dインタラクティブアバターを作成し、音声に合わせて顔と手、体全体の動きを生成する技術だ。
既存の方式は、まず音声から姿勢情報を予測し、それをアバター映像に変換する過程を経る。この過程で姿勢推定とリターゲティングエラーが累積すると、唇の微妙な動きや手の動きが失われる可能性があります。
AudioAvatarは中間姿勢予測ステップを減らし、音声でアバターの動きを直接生成します。 3Dガウススプラッティングベースの粒子別変形構造を活用して、顔や手、体の細部の動作を制御しながら全体の動きの一貫性を維持する方式だ。論文は唇と音声の同期、顔の詳細表現、会話に合わせたジェスチャー生成性能を従来方式と比較して評価した。
ICLR 2026で発表した「SMAGA: Secondary Motion-Aware 3D Clothed Gaussian Avatars from Monocular Videos」は、身体に沿って動く服や髪など鼻腔体領域の二次動きを表現する技術だ。両研究は高麗大学パク・ギョンムン教授研究室と共同で行われた。
人が体を動かすと、裾は関節とまったく同じ軌道で動かない。体の速度と方向、素材の形に応じて少し遅く揺れたり、別の変形を作る。従来の3Dアバターは身体骨格を基準に服を動かすことが多く、ゆるい衣装で破れたり、先のとがった残像のような視覚的エラーが発生することがある。
SMAGAは、単一画像から抽出したガウス要素をグラフ形式で構成し、前の動きと速度情報を反映して次の変形を予測する。これにより、スカートのように身体とは異なる形で動く衣装のシルエットと揺れを表現する。
3つの研究を結ぶと、クレオンの開発方向は唇の同期、顔の感情表現、手と体の動き、衣装と外観の詳細な動きにつながります。それぞれの技術をリアルタイム対話システムに統合すれば、AIが生成した回答の意味と感情を顔と体に一緒に伝えることができる。
クレオンは研究結果を企業教育用対話型AI製品「ROLLFIT」、デジタルヒューマンをサービスと機器に搭載する「クレオンスタジオSDK」、展示・イベント現場で多言語AI案内者を運営する「イベントプロモーターOS」に適用する計画だ。
ロールフィットは、カウンセリング、セールス、顧客応対状況を設定し、ユーザーがAIヒューマンと繰り返し会話し、訓練することを支援します。クレオンスタジオSDKは、企業が独自のサービスとWeb、アプリ、キオスクなどにデジタルヒューマンを連動できるようにする開発ツールだ。発売を準備中のイベントプロモーターOSは、ブランドイベントや展示場で多言語の説明と案内を提供する目的で開発されている。
カン・ジス・クレオンCTOは「AIが実際の人の前で応対し、説明し、訓練させる役割をするには、質問を理解して答えを生成するだけでは十分ではない」とし「自然に口を動かし、状況に合った表情と感情を表現し、ジェスチャーで反応できるはずだ」と話した。
続いて「個々の技術の性能を高めると同時にこれを一つのリアルタイムシステムに接続し、AIが人とより自然に相互作用できるインターフェースを作る」と付け加えた。
学会に発表された研究は、顔と全身、衣装の動きを生成する個々の技術の性能を検証した結果だ。実際の製品競争力は、これらの技術を連結したときに発生する全体的な応答遅延時間と長時間対話中の人物・表情の一貫性、音声に込められた意味と感情表現の正確性から決定される。
顔と声を生成する技術であるだけに、当事者の同意と肖像権保護、AI製品表示、詐称と誤用を遮断する装置も必要だ。企業教育や公共案内のように、実際の人と繰り返し相互作用する環境では、技術の事実感ほどユーザーがAIという事実を明確に知ることができるようにする設計が重要である。クレオンが研究成果を低レイテンシ、安定した運用、安全装置を備えた製品につなげば、ヒューマンAIインターフェースはLLMの回答を現実空間のユーザー体験に伝える新たな接点になることができる。
从唇部动作到情感表达和全身动作……Cleon 扩展了人机交互技术
即使生成式人工智能能够发出自然流畅的语音，如果面部和身体动作生硬，用户也会立即感到不自在。尤其是在用户需要反复与屏幕人工智能互动的环境中——例如咨询、教育和零售——唇部动作、面部表情、眼神交流和手势的协调性，以及回复的内容，都直接影响着用户体验。为了实现实时互动，语言、语音和视频生成技术必须以极低的延迟进行集成。Cleon 正在通过拓展研究范围，从面部表情扩展到全身动作和服装动态，从而推进人机交互界面的发展。
人机交互公司 Cleon 开发了能够控制情绪的实时唇形同步技术，并在 2026 年英国机器视觉大会 (BMVC) 上发表了相关研究成果。这是该公司继今年早些时候在 ICLR 和 CVPR 上发表研究成果之后取得的第三项学术成就。
Cleon 结合了实时视频生成和流媒体技术，以及大型语言模型 (LLM)、自动语音识别 (ASR)、文本转语音 (TTS) 和增强型搜索生成 (RAG) 技术。其目标是实现一个模拟面对面对话的界面，通过在人工智能理解问题和生成答案的过程中添加面部特征、语音、面部表情和手势来实现这一目标。
这篇BMVC论文的标题是“Emo-LiveSync：具有明确情感控制的实时通用唇部同步”。现有的唇部同步技术侧重于生成与语音同步的唇部动作，而Emo-LiveSync则在一个单一的运动空间中处理整个面部的运动，包括眼睛、嘴巴和面部轮廓。
用户可以指定要表达的情绪，例如喜悦、悲伤和愤怒，并调整这些情绪的强度和变化。该结构允许根据不同的情况生成不同的面部表情，即使使用相同的声音。它的设计不仅适用于真人，也适用于动画和3D角色。
在人类对话中，不仅嘴唇会随着话语的含义和情感而变化，眼神和面部肌肉也会随之改变。如果人工智能人脸的表情与声音不符，或者每句话都用同样的表情，就会丢失信息的细微差别，降低交互的可靠性。情绪控制技术在需要特定情境下表情的服务中非常有用，例如教育角色培训、客户咨询和品牌介绍。
将面部、全身和服装动作融合到单一的对话流程中
克里昂的研究范围从面部延伸到手部和身体。“AudioAvatar：个性化音频驱动全身对话虚拟化身”在 2026 年 CVPR 大会上发表，这项技术能够从单张图像创建个性化的 3D 对话虚拟化身，并根据语音生成面部、手部和全身的动作。
现有方法首先从语音中预测姿态信息，并将其转换为虚拟形象视频。如果在此过程中姿态估计和重定向误差累积，则可能会丢失细微的唇部动作或手势。
AudioAvatar 减少了中间姿态预测步骤，直接根据语音生成虚拟形象动作。它采用基于 3D 高斯散射的粒子形变结构，在保持整体动作一致性的同时，精确控制面部、手部和身体的精细动作。本文通过与现有方法的比较，评估了 AudioAvatar 在唇音同步、精细面部表情生成和对话匹配手势生成方面的性能。
在2026年ICLR会议上发表的“SMAGA：基于单目视频的二次运动感知3D服装高斯化身”技术，能够表现非刚性区域（例如随身体运动的衣物和头发）的二次运动。这两项研究均与韩国高丽大学朴京文教授的实验室合作完成。
当人移动身体时，衣摆的运动轨迹与关节的运动轨迹并不完全相同。根据身体的速度和方向，以及衣物面料的形状，衣摆的摆动可能会稍晚一些，或者产生单独的形变。由于现有的3D虚拟形象通常根据人体骨骼结构来控制服装的运动，因此宽松的衣物可能会出现撕裂或清晰的残影等视觉错误。
SMAGA将从单幅图像中提取的高斯元素组织成一个图，并通过反映先前的运动和速度信息来预测下一个形变。通过这种方式，它可以表现与人体运动方式不同的服装（例如裙子）的轮廓和摆动。
结合这三项研究，Cleon 的研发方向是唇形同步、面部表情、手部和身体动作，以及服装和外貌的精细动作。将这些技术整合到实时对话系统中，能够通过面部表情和肢体语言同时传递人工智能生成的回复的含义和情感。
Cleon 计划将研究成果应用于其面向企业教育的对话式 AI 产品“ROLEFIT”、将数字人集成到服务和设备中的“Cleon Studio SDK”以及在展览和活动中运行多语言 AI 导览的“Event Promoter OS”。
Rollfit支持设置咨询、销售和客户互动场景，使用户能够通过与AI人反复对话进行训练。Cleon Studio SDK是一款开发工具，允许企业将数字人集成到自身的服务、网站、应用程序和自助服务终端中。目前正在筹备发布的Event Promoter OS旨在为品牌活动和展览提供多语言讲解和指导。
Cleon首席技术官康智秀表示：“要让人工智能在真人面前扮演回应、解释和训练的角色，仅仅理解问题并生成答案是不够的。它必须能够自然地张嘴，表达与情境相符的面部表情和情绪，并运用肢体语言做出回应。”
他补充道：“我们将提升各项技术的性能，同时将它们连接成一个单一的实时系统，从而创建一个能够让人工智能与人类进行更自然交互的界面。”
会议上发表的研究验证了各项面部、全身和服装动作生成技术的性能。产品的实际竞争力取决于这些技术连接后的总响应延迟、长时间对话中人物和面部表情的一致性，以及语音所包含的含义和情感表达的准确性。
由于这项技术能够生成人脸和声音，因此必须确保受试者的同意，保护肖像权，明确标示产品由人工智能生成，并实施防止冒用和滥用的机制。在需要与真人反复互动的环境中，例如企业培训或公共指导，系统设计至关重要，它不仅要确保技术的真实性，还要让用户清楚地识别出这是一个人工智能系统。如果Cleon能够将其研究成果转化为具备低延迟、稳定运行和安全机制的产品，那么人机交互界面（AI界面）将成为一种新的交互方式，将低延迟、高延迟（LLM）响应转化为真实的用户体验。
Au-delà des mouvements des lèvres, Cleon s'attaque aux émotions et aux mouvements du corps entier… Cleon développe la technologie d'interface homme-IA.
Même si l'IA générative répond par une parole naturelle, les utilisateurs ressentent immédiatement un sentiment d'étrangeté si les mouvements du visage et du corps sont maladroits. En particulier dans les environnements où les utilisateurs interagissent fréquemment avec une IA à l'écran – comme dans le conseil, l'éducation et le commerce de détail – la synchronisation des mouvements des lèvres, des expressions faciales, du contact visuel et des gestes – ainsi que le contenu de la réponse – déterminent l'expérience utilisateur. Pour y parvenir en temps réel, les technologies de génération de langage, de voix et de vidéo doivent être intégrées avec une latence minimale. Cleon fait progresser les interfaces homme-IA en élargissant son champ de recherche des expressions faciales émotionnelles aux mouvements du corps entier et aux mouvements des vêtements.
Cleon, une entreprise spécialisée dans les interfaces homme-IA, a développé une technologie de synchronisation labiale en temps réel capable de contrôler les émotions et a publié des recherches connexes lors de la British Machine Vision Conference (BMVC) 2026. Il s'agit de la troisième réussite académique de l'entreprise, après des recherches présentées à l'ICLR et à la CVPR plus tôt cette année.
Cleon combine la génération et la diffusion vidéo en temps réel avec des modèles de langage complexes (LLM), la reconnaissance vocale automatique (ASR), la synthèse vocale (TTS) et la recherche générative augmentée (RAG). L'objectif est de créer une interface simulant une conversation en face à face, en intégrant les traits du visage, la voix, les expressions faciales et les gestes au processus permettant à l'IA de comprendre les questions et de générer des réponses.
L'article présenté à la conférence BMVC s'intitule « Emo-LiveSync : Synchronisation labiale universelle en temps réel avec contrôle explicite des émotions ». Alors que les technologies de synchronisation labiale existantes se concentrent sur la génération de mouvements des lèvres en synchronisation avec la parole, Emo-LiveSync traite les mouvements de l'ensemble du visage, y compris les yeux, la bouche et les contours faciaux, dans un espace de mouvement unique.
Les utilisateurs peuvent spécifier les émotions à exprimer, telles que la joie, la tristesse et la colère, et ajuster leur intensité et leur variation. Le système permet de générer différentes expressions faciales selon la situation, même avec une même voix. Il est conçu pour être utilisé aussi bien avec des personnes réelles qu'avec des animations et des personnages 3D.
Lors d'une conversation humaine, les mouvements des lèvres, des yeux et des muscles du visage varient en fonction du sens et de l'émotion véhiculés par les mots. Si une IA affiche des expressions faciales incohérentes avec sa voix ou prononce chaque phrase avec la même expression, les nuances de l'information se perdent et la fiabilité de l'interaction peut s'en trouver compromise. La technologie de contrôle des émotions est particulièrement utile dans les services exigeant des expressions adaptées à chaque situation, comme la formation, le conseil client et la présentation de marques.
Combiner les mouvements du visage, du corps entier et des vêtements en un seul flux de dialogue
Les recherches de Cleon portent sur le visage, les mains et le corps entier. « AudioAvatar : Avatars parlants personnalisés pilotés par la voix », présenté à CVPR 2026, est une technologie qui crée des avatars conversationnels 3D personnalisés à partir d'une seule image et génère des mouvements du visage, des mains et du corps entier en réponse à la voix.
Les méthodes actuelles commencent par prédire les informations de posture à partir de la voix, puis les convertissent en vidéo d'avatar. Si des erreurs d'estimation et de réorientation de la posture s'accumulent durant ce processus, les mouvements fins des lèvres ou les gestes des mains risquent d'être perdus.
AudioAvatar réduit l'étape intermédiaire de prédiction de pose et génère directement les mouvements de l'avatar à partir de la parole. Il utilise une structure de déformation particulaire basée sur la projection gaussienne 3D pour contrôler les mouvements précis du visage, des mains et du corps, tout en assurant la cohérence du mouvement global. L'article évalue les performances de la synchronisation labiale-voix, des expressions faciales détaillées et de la génération de gestes adaptés à la conversation en les comparant aux méthodes existantes.
« SMAGA : Avatars gaussiens 3D habillés et sensibles au mouvement secondaire à partir de vidéos monoculaires », présenté à ICLR 2026, est une technologie qui exprime le mouvement secondaire dans les zones non rigides, comme les vêtements et les cheveux, qui suivent les mouvements du corps. Ces deux études ont été menées en collaboration avec le laboratoire du professeur Kyung-Moon Park à l'Université de Corée.
Lorsqu'une personne bouge, le bas de son vêtement ne suit pas exactement la même trajectoire que ses articulations. Selon la vitesse et la direction du mouvement, ainsi que la forme du tissu, le bas du vêtement peut se déformer légèrement en décalage ou présenter des déformations distinctes. Comme les avatars 3D actuels modélisent souvent le mouvement des vêtements en fonction de la structure osseuse du corps, des erreurs visuelles telles que des déchirures ou des rémanences marquées peuvent apparaître sur les vêtements amples.
SMAGA organise les éléments gaussiens extraits d'une image unique en un graphe et prédit la déformation suivante en tenant compte des mouvements et de la vitesse précédents. Il permet ainsi de restituer la silhouette et le balancement des vêtements qui ne suivent pas les mouvements du corps, comme les jupes.
En reliant ces trois études, l'axe de développement de Cleon s'oriente vers la synchronisation labiale, l'expression des émotions faciales, les mouvements des mains et du corps, ainsi que la modélisation précise des vêtements et de l'apparence. L'intégration de chacune de ces technologies dans un système de conversation en temps réel permet la transmission simultanée du sens et des émotions des réponses générées par l'IA, grâce aux expressions faciales et au langage corporel.
Cleon prévoit d'appliquer les résultats de la recherche à son produit d'IA conversationnelle pour la formation en entreprise, « ROLEFIT », à « Cleon Studio SDK » qui intègre des humains numériques dans les services et les appareils, et à « Event Promoter OS » qui gère des guides IA multilingues lors d'expositions et d'événements.
Rollfit facilite la mise en place de scénarios de consultation, de vente et d'interaction client, permettant aux utilisateurs de se former en conversant régulièrement avec des humains virtuels. Le kit de développement logiciel Cleon Studio (SDK) permet aux entreprises d'intégrer des humains numériques à leurs services, sites web, applications et bornes interactives. Le système d'exploitation Event Promoter, actuellement en préparation, vise à fournir des explications et un accompagnement multilingues lors d'événements et de salons professionnels.
« Pour que l'IA puisse répondre, expliquer et former des personnes réelles, il ne suffit pas de comprendre les questions et de générer des réponses », a déclaré Kang Ji-soo, directeur technique de Cleon. « Elle doit être capable de bouger les lèvres naturellement, d'exprimer des expressions faciales et des émotions appropriées à la situation et de répondre par le langage corporel. »
Il a ajouté : « Nous allons améliorer les performances des technologies individuelles tout en les connectant simultanément dans un système unique en temps réel afin de créer une interface qui permettra à l'IA d'interagir plus naturellement avec les humains. »
Les recherches présentées lors de la conférence ont validé les performances de différentes technologies générant des mouvements du visage, du corps et des vêtements. La compétitivité réelle du produit dépend du temps de réponse total lors de la connexion de ces technologies, de la cohérence des expressions faciales et vocales pendant les conversations prolongées, ainsi que de la justesse du sens et de l'expression émotionnelle de la voix.
Cette technologie générant des visages et des voix, il est indispensable d'obtenir le consentement des personnes concernées, de protéger leurs droits à l'image, d'indiquer clairement que le produit est généré par une IA et de mettre en place des mécanismes de prévention contre l'usurpation d'identité et les utilisations abusives. Dans les environnements impliquant des interactions répétées avec des personnes réelles, comme la formation en entreprise ou l'information du public, il est crucial de concevoir le système de manière à ce que les utilisateurs perçoivent clairement qu'il s'agit d'une IA, au même titre que le réalisme de la technologie. Si Cleon parvient à transposer ses résultats de recherche dans des produits dotés d'une faible latence, d'un fonctionnement stable et de mécanismes de sécurité, l'interface homme-IA pourrait devenir un nouveau point de contact permettant d'intégrer les réponses de l'IA dans des expériences utilisateur concrètes.