🔗 원문 전체 보기 → Venturesquare.net
요약
셀렉트스타와 더핑크퐁컴퍼니가 Try Everything 2026에서 아기상어 AI 전시의 제작과 신뢰성 검증 과정을 소개했다. 셀렉트스타는 4개 언어와 1만 개의 평가 시나리오를 활용해 대화 안전성, 세계관 일관성, 다국어 응답 품질을 점검했다. 역할극과 우회 표현을 ... The post 1만 개 시나리오로 아기상어 AI 검증…셀렉트스타가 설계한 ‘안전한 콘텐츠’ appeared first on 벤처스퀘어.
본문
- 한국어·영어·일본어·중국어 다회차 대화 평가…세계관 일관성과 응답 품질 점검
- 역할극·외국어·우회 표현까지 레드티밍…AI 성능 넘어 브랜드 신뢰 확보
생성형 AI가 캐릭터와 결합하면서 콘텐츠는 정해진 이야기를 전달하는 방식에서 관람객의 말과 행동에 실시간으로 반응하는 형태로 진화하고 있다. 이용자마다 다른 대화가 생성되는 만큼 제작자가 모든 결과를 공개 전에 확인하기는 어렵다. 특히 어린이에게 친숙한 캐릭터는 부적절한 답변 하나가 IP의 이미지와 브랜드 신뢰에 영향을 줄 수 있다. AI 데이터·신뢰성 평가 전문기업 셀렉트스타는 지난 10일 서울 동대문디자인플라자에서 열린 ‘Try Everything 2026’에서 더핑크퐁컴퍼니와 아기상어 AI 전시의 제작·검증 과정을 소개했다.
Try Everything 2026은 서울경제진흥원이 주관한 글로벌 스타트업 행사로 9일부터 이틀 동안 진행됐다. 정세엽 셀렉트스타 팀장과 박상원 더핑크퐁컴퍼니 본부장은 ‘AI를 만난 아기상어: IP 기업과 AI 기업이 만든 새로운 콘텐츠 경험’을 주제로 발표와 좌담회를 열었다.
양사는 DDP에서 운영 중인 AI 인터랙티브 체험 전시 ‘아기상어 비밀 초대장: 비커밍 샤크’를 사례로 다뤘다. 전시 기획 배경부터 아기상어 캐릭터에 AI를 적용한 방식, 관람객과의 실시간 상호작용, 콘텐츠 공개 전후의 신뢰성 평가 과정을 공유했다.
박상원 본부장은 영상 콘텐츠에서는 이용자가 완성된 이야기를 감상하지만 인터랙티브 전시에서는 관람객의 말과 행동에 따라 이야기가 달라진다고 설명했다. 관람객이 아기상어 세계관 안에 직접 참여해 선택하고 대화하면서 캐릭터를 보는 경험이 만나는 경험으로 전환된다는 것이다.
4개 언어·1만 개 시나리오로 검증…우회 질문까지 공격 관점에서 점검
셀렉트스타는 전시에 적용된 AI 캐릭터를 검증하기 위해 신뢰성 평가 플랫폼 ‘다투모 플랫폼’을 활용했다. 평가 항목에는 대화 안전성과 아기상어 세계관의 일관성, 다국어 응답 품질 등이 포함됐다.
한국어와 영어, 일본어, 중국어 등 4개 언어로 총 1만 개의 안전성 평가 시나리오를 구축했다. 실제 전시장을 방문할 수 있는 이용자의 연령과 발화 성향을 반영한 가상 AI 사용자를 설계하고, 아기상어 AI 캐릭터와 여러 차례 대화를 주고받도록 시뮬레이션했다.
인터랙티브 콘텐츠는 관람객이 어떤 질문을 할지 미리 정할 수 없어 공개 전 검수만으로 안전성을 확보하기 어렵다. 셀렉트스타는 전시 운영 이후에도 예상하지 못한 질문에 AI가 캐릭터의 설정과 안전 기준에 맞는 답변을 제공하는지 지속적으로 평가해야 한다고 설명했다.
공격자의 관점에서 취약점을 찾는 레드티밍도 적용했다. 직접적인 유해 질문에는 답변을 거부하더라도 역할극이나 외국어, 간접적인 표현을 이용하면 안전장치를 우회할 가능성이 있기 때문이다. 다양한 방식으로 공격을 반복해 취약한 응답을 찾고, 이를 보완한 뒤 다시 평가하는 과정을 거쳤다.
이어진 좌담회에서는 AI 기반 IP 콘텐츠를 구현하는 공간으로서 전시가 지닌 특성과 IP·AI 기업이 제작 단계에서 함께 결정해야 할 기준, AI와 콘텐츠 산업의 협업 방향을 논의했다. 양사는 콘텐츠의 재미와 몰입도뿐 아니라 캐릭터 정체성과 이용자 안전을 함께 관리해야 한다는 데 의견을 모았다.
셀렉트스타는 콘텐츠 분야에서 확보한 AI 데이터 구축과 신뢰성 평가 기술을 국가 AI 사업에도 적용하고 있다. 셀렉트스타가 참여한 SK텔레콤 컨소시엄은 과학기술정보통신부의 ‘독자 AI 파운데이션 모델’ 프로젝트 2차 평가를 통과했으며, 대국민 AI 서비스 구축을 위한 ‘모두의 AI’ 사업에서도 데이터 구축과 품질 검증을 지원하고 있다.
정세엽 팀장은 “AI를 잘 만들었다는 기준은 성능이 뛰어난지를 넘어 이용자가 얼마나 믿고 사용할 수 있는지까지 포함한다”며 “앞으로 더 많은 AI가 콘텐츠와 일상에서 사람을 직접 만나게 되는 만큼 공개 전 레드티밍과 운영 이후의 지속적인 응답 품질 검증이 중요해질 것”이라고 말했다.
Like this:
Like Loading...Related
Baby Shark AI verified with 10,000 scenarios… 'Safe content' designed by Selectstar
As generative AI combines with characters, content is evolving from a method of delivering fixed stories to a form that responds in real-time to the words and actions of the audience. Since different conversations are generated for each user, it is difficult for creators to verify all results before release. In particular, for characters familiar to children, a single inappropriate response can affect the IP's image and brand trust. Selectstar, a company specializing in AI data and reliability evaluation, introduced the production and verification process of the Baby Shark AI exhibition with The Pinkfong Company at 'Try Everything 2026,' held at the Dongdaemun Design Plaza in Seoul on the 10th.
Try Everything 2026 is a global startup event organized by the Seoul Economic Promotion Agency and took place over two days starting on the 9th. Jeong Se-yeop, Team Leader at Select Star, and Park Sang-won, Head of The Pinkfong Company, held a presentation and panel discussion under the theme "Baby Shark Meets AI: A New Content Experience Created by IP Companies and AI Companies."
The two companies discussed the AI interactive experience exhibition "Baby Shark Secret Invitation: Becoming Shark," currently operating at DDP, as a case study. They shared everything from the background of the exhibition's planning and the method of applying AI to the Baby Shark character to real-time interaction with visitors and the reliability evaluation process before and after the content's release.
Director Park Sang-won explained that while users appreciate a complete story in video content, the story in interactive exhibitions changes according to the visitors' words and actions. He stated that the experience of viewing characters as visitors directly participate in the Baby Shark worldview, make choices, and converse transforms into an experience of meeting them.
Verified across 4 languages and 10,000 scenarios… Even bypass questions checked from an attack perspective
Selectstar utilized the reliability evaluation platform 'Datumo Platform' to verify the AI characters applied to the exhibition. Evaluation criteria included conversational safety, consistency of the Baby Shark worldview, and multilingual response quality.
We developed a total of 10,000 safety evaluation scenarios in four languages, including Korean, English, Japanese, and Chinese. We designed a virtual AI user that reflects the age and speech patterns of users who might visit the actual exhibition hall, and simulated multiple conversations with the Baby Shark AI character.
Since it is impossible to predetermine what questions visitors will ask with interactive content, it is difficult to ensure safety through pre-release inspection alone. Selectstar explained that even after the exhibition is operational, it is necessary to continuously evaluate whether the AI provides answers to unexpected questions that comply with the character's settings and safety standards.
We also applied redteaming, which involves identifying vulnerabilities from an attacker's perspective. This is because even if direct malicious questions are rejected, there is a possibility of bypassing security measures by using role-playing, foreign languages, or indirect expressions. We went through a process of repeatedly attacking in various ways to find vulnerable responses, supplementing them, and then re-evaluating the results.
In the subsequent roundtable discussion, the characteristics of exhibitions as spaces for realizing AI-based IP content, the standards that IP and AI companies must decide together during the production phase, and the direction of collaboration between the AI and content industries were discussed. Both companies agreed that character identity and user safety must be managed alongside the entertainment and immersion of the content.
Selectstar is applying the AI data construction and reliability evaluation technologies it has secured in the content field to national AI projects. The SK Telecom consortium, in which Selectstar participated, passed the second evaluation of the Ministry of Science and ICT's 'Independent AI Foundation Model' project and is also supporting data construction and quality verification in the 'AI for All' project, which aims to build AI services for the public.
"Team Leader Jeong Se-yeop stated, 'The standard for a well-made AI goes beyond superior performance to include how much users can trust and use it.' He added, 'As more AIs interact directly with people in content and daily life, redteaming before launch and continuous verification of response quality after operation will become increasingly important.'"
1万シナリオで赤ちゃんサメAI検証… Select Starが設計した「安全なコンテンツ」
生成型AIがキャラクターと結合しながら、コンテンツは決まった話を伝える方式で観覧客の言葉や行動にリアルタイムで反応する形で進化している。利用者ごとに異なる会話が生成されるので、製作者がすべての結果を公開前に確認することは難しい。特に子供に馴染みのあるキャラクターは、不適切な答え一つがIPのイメージとブランド信頼に影響を与える可能性がある。 AIデータ・信頼性評価専門企業セレクトスターは去る10日ソウル東大門デザインプラザで開かれた「Try Everything 2026」でダーピンクフォンカンパニーとベビーサメAI展示の製作・検証過程を紹介した。
Try Everything 2026はソウル経済振興院が主管したグローバルスタートアップイベントで9日から2日間行われた。チョン・セヨプセレクトスターチーム長とパク・サンウォン・ダーピンク・フォン・カンパニー本部長は「AIに会った赤ちゃんサメ：IP企業とAI企業が作った新しいコンテンツ経験」をテーマに発表と座談会を開いた。
両社はDDPで運営中のAIインタラクティブ体験展示「赤ちゃんサメ秘密招待状：ビーカミングシャーク」を例に取り上げた。展示企画の背景から赤ちゃんサメキャラクターにAIを適用した方式、観覧客とのリアルタイム相互作用、コンテンツ公開前後の信頼性評価過程を共有した。
パク・サンウォン本部長は映像コンテンツでは利用者が完成した話を鑑賞するが、インタラクティブ展示では観覧客の言葉と行動によって話が変わると説明した。観覧客が赤ちゃんサメ世界観の中に直接参加して選択して会話しながらキャラクターを見る経験が出会う経験に転換されるということだ。
4つの言語・1万個のシナリオで検証…迂回質問まで攻撃の観点からチェック
セレクトスターは展示に適用されたAIキャラクターを検証するため、信頼性評価プラットフォーム「多投プラットフォーム」を活用した。評価項目には対話安全性と赤ちゃんサメ世界観の一貫性、多言語応答品質などが含まれた。
韓国語と英語、日本語、中国語など4つの言語で合計1万の安全性評価シナリオを構築した。実際の展示場を訪問できる利用者の年齢と発話性向を反映した仮想AIユーザーを設計し、赤ちゃんサメAIキャラクターと何度も会話をやりとりするようにシミュレートした。
インタラクティブコンテンツは、観覧客がどのような質問をするかを事前に決めることができず、公開前の検収だけで安全性を確保することが難しい。セレクトスターは、展示運営以降も予期しない質問に、AIがキャラクターの設定と安全基準に合った回答を提供するかを継続的に評価しなければならないと説明した。
攻撃者の観点から脆弱性を探すレッドティーミングも適用した。直接的な有害質問には回答を拒否しても、役割劇や外国語、間接的な表現を利用すれば安全装置を迂回する可能性があるからだ。さまざまな方法で攻撃を繰り返して脆弱な応答を探し、これを補完してから再評価する過程を経た。
続く座談会では、AIベースのIPコンテンツを実装する空間として展示が持つ特性と、IP・AI企業が制作段階で共に決定すべき基準、AIとコンテンツ産業のコラボレーション方向を議論した。両社はコンテンツの楽しさと没入度だけでなく、キャラクターアイデンティティと利用者安全を共に管理しなければならないという意見を集めた。
セレクトスターはコンテンツ分野で確保したAIデータ構築と信頼性評価技術を国家AI事業にも適用している。セレクトスターが参加したSKテレコムコンソーシアムは、科学技術情報通信部の「独自AIファンデーションモデル」プロジェクトの2次評価に合格し、大国民AIサービス構築のための「すべてのAI」事業でもデータ構築と品質検証を支援している。
チョン・セヨプチーム長は「AIを上手く作ったという基準は性能が優れているかを超えて利用者がどれだけ信じて使用できるかまで含む」とし「今後より多くのAIがコンテンツと日常で人に直接会うことになるだけに公開前レッドティーミングと運営以降の持続的な応答品質検証が重要になるだろう」と話した。
Baby Shark AI 已通过 10,000 个场景验证……由 Selectstar 设计的“安全内容”。
随着生成式人工智能与角色相结合，内容形式正从传递固定故事转变为实时响应观众言行举止。由于每个用户都会生成不同的对话，创作者很难在发布前验证所有结果。尤其对于儿童熟悉的卡通形象而言，一次不恰当的回应就可能影响其IP形象和品牌信任度。专注于人工智能数据和可靠性评估的Selectstar公司于10日在首尔东大门设计广场举办的“Try Everything 2026”活动上，介绍了与Pinkfong公司合作的“Baby Shark AI”展览的制作和验证过程。
Try Everything 2026 是由首尔经济振兴院主办的全球创业盛会，于 9 日开始，为期两天。Select Star 团队负责人 Jeong Se-yeop 和 The Pinkfong Company 负责人 Park Sang-won 以“Baby Shark Meets AI: A New Content Experience Created by IP Companies and AI Companies”为主题进行了演讲和小组讨论。
两家公司以目前正在东大门设计广场（DDP）展出的AI互动体验展“Baby Shark Secret Invitation: Becoming Shark”为例，进行了深入探讨。他们分享了展览策划的背景、AI在Baby Shark角色上的应用方法、与参观者的实时互动，以及内容发布前后可靠性评估流程等各个方面。
朴相元导演解释说，虽然用户在观看视频内容时更注重完整的故事，但在互动展览中，故事会根据参观者的言行而变化。他指出，参观者直接参与到“Baby Shark”的世界观中，做出选择并与角色互动，这种体验就变成了与角色“相遇”。
已在 4 种语言和 10,000 个场景下进行验证……甚至连绕过问题也从攻击角度进行了检查。
Selectstar 利用可靠性评估平台“Datumo Platform”对展览中使用的 AI 角色进行了验证。评估标准包括对话安全性、与 Baby Shark 世界观的一致性以及多语言响应质量。
我们开发了包括韩语、英语、日语和中文在内的四种语言的共计10000个安全评估场景。我们设计了一个虚拟AI用户，该用户能够反映可能参观实际展厅的用户的年龄和说话方式，并模拟了与“Baby Shark”AI角色的多次对话。
由于互动内容无法预先确定参观者会提出哪些问题，因此仅靠预发布检查难以确保安全。Selectstar解释说，即使展览正式运营后，也需要持续评估人工智能对意外问题的回答是否符合角色设定和安全标准。
我们还采用了红队演练，即从攻击者的角度识别漏洞。这是因为即使直接的恶意问题被拒绝，攻击者仍然有可能通过角色扮演、使用外语或间接表达方式绕过安全措施。我们反复尝试各种攻击方式，寻找易受攻击的响应，并不断完善这些响应，最后重新评估结果。
在随后的圆桌讨论中，双方探讨了展览作为实现人工智能IP内容空间的特点、IP公司和人工智能公司在制作阶段必须共同制定的标准，以及人工智能产业与内容产业的合作方向。两家公司一致认为，在保证内容娱乐性和沉浸感的同时，也必须兼顾角色身份和用户安全。
Selectstar正将其在内容领域积累的AI数据构建和可靠性评估技术应用于国家级AI项目。Selectstar参与的SK Telecom联盟已通过韩国科学技术信息通信部“独立AI基础模型”项目的第二次评估，并正在为旨在构建面向公众的AI服务的“AI for All”项目提供数据构建和质量验证支持。
团队负责人郑世烨表示：“优秀人工智能的标准不仅在于卓越的性能，还在于用户对其的信任度和使用率。” 他补充道：“随着越来越多的人工智能在内容创作和日常生活中直接与人互动，上线前的红队演练和运行后的持续响应质量验证将变得越来越重要。”
L'IA de Baby Shark a été testée avec 10 000 scénarios… Contenu sécurisé conçu par Selectstar.
Avec l'intégration de l'IA générative aux personnages, le contenu évolue : d'une narration figée, il devient interactif et réagit en temps réel aux paroles et aux actions du public. Chaque utilisateur recevant des conversations différentes, il est difficile pour les créateurs de vérifier l'ensemble des résultats avant leur diffusion. En particulier, pour les personnages familiers aux enfants, une seule réaction inappropriée peut nuire à l'image de la propriété intellectuelle et à la confiance envers la marque. Selectstar, entreprise spécialisée dans l'évaluation des données et de la fiabilité de l'IA, a présenté le processus de production et de vérification de l'exposition Baby Shark AI, réalisée en collaboration avec The Pinkfong Company, lors de l'événement « Try Everything 2026 », qui s'est tenu au Dongdaemun Design Plaza de Séoul le 10 juin.
Try Everything 2026 est un événement mondial pour startups organisé par l'Agence de promotion économique de Séoul et qui s'est déroulé sur deux jours à partir du 9. Jeong Se-yeop, chef d'équipe chez Select Star, et Park Sang-won, directeur de The Pinkfong Company, ont animé une présentation et une table ronde sur le thème « Baby Shark rencontre l'IA : une nouvelle expérience de contenu créée par des entreprises de propriété intellectuelle et des entreprises d'IA ».
Les deux entreprises ont discuté de l'exposition interactive d'intelligence artificielle « Baby Shark Secret Invitation : Becoming Shark », actuellement présentée au DDP, comme étude de cas. Elles ont abordé tous les aspects, depuis la planification de l'exposition et la méthode d'application de l'IA au personnage de Baby Shark jusqu'à l'interaction en temps réel avec les visiteurs et le processus d'évaluation de la fiabilité avant et après la diffusion du contenu.
Le directeur Park Sang-won a expliqué que si les utilisateurs apprécient une histoire complète dans les contenus vidéo, celle des expositions interactives évolue en fonction des paroles et des actions des visiteurs. Il a précisé que l'expérience de voir les personnages, grâce à une participation directe des visiteurs à l'univers de Baby Shark, à leurs choix et à leurs conversations, se transforme en une véritable rencontre avec eux.
Vérifié dans 4 langues et 10 000 scénarios… Même les questions de contournement sont vérifiées du point de vue d’une attaque.
Selectstar a utilisé la plateforme d'évaluation de fiabilité « Datumo Platform » pour vérifier les personnages d'IA utilisés dans l'exposition. Les critères d'évaluation comprenaient la sécurité des conversations, la cohérence de l'univers de Baby Shark et la qualité des réponses multilingues.
Nous avons élaboré 10 000 scénarios d’évaluation de la sécurité en quatre langues : coréen, anglais, japonais et chinois. Nous avons conçu un utilisateur virtuel doté d’une intelligence artificielle qui reflète l’âge et le langage des visiteurs potentiels du hall d’exposition et simulé plusieurs conversations avec le personnage virtuel Baby Shark.
Puisqu'il est impossible de prévoir les questions que les visiteurs poseront aux contenus interactifs, il est difficile de garantir la sécurité par la seule inspection préalable à l'ouverture. Selectstar a expliqué que même après la mise en service de l'exposition, il est nécessaire d'évaluer en permanence si l'IA répond aux questions inattendues conformément aux paramètres du personnage et aux normes de sécurité.
Nous avons également eu recours à la méthode d'entraînement au redteaming, qui consiste à identifier les vulnérabilités du point de vue d'un attaquant. En effet, même si les questions malveillantes directes sont rejetées, il est possible de contourner les mesures de sécurité en utilisant des jeux de rôle, des langues étrangères ou des expressions indirectes. Nous avons donc procédé à des attaques répétées de diverses manières afin de trouver des réponses vulnérables, de les compléter, puis de réévaluer les résultats.
Lors de la table ronde qui a suivi, les participants ont abordé les caractéristiques des expositions en tant qu'espaces de réalisation de contenus de propriété intellectuelle basés sur l'IA, les normes que les entreprises spécialisées en propriété intellectuelle et en IA doivent définir conjointement pendant la phase de production, ainsi que les perspectives de collaboration entre les secteurs de l'IA et des contenus. Les deux entreprises ont convenu que l'identité des personnages et la sécurité des utilisateurs doivent être gérées au même titre que le divertissement et l'immersion offerts par le contenu.
Selectstar applique les technologies de construction de données et d'évaluation de la fiabilité des données d'IA qu'elle a développées dans le domaine du contenu aux projets nationaux d'IA. Le consortium SK Telecom, auquel Selectstar a participé, a franchi avec succès la deuxième évaluation du projet « Modèle de fondation d'IA indépendante » du ministère des Sciences et des TIC et contribue également à la construction des données et à la vérification de leur qualité dans le cadre du projet « L'IA pour tous », qui vise à développer des services d'IA accessibles au public.
« Le chef d'équipe Jeong Se-yeop a déclaré : « Le critère d'une IA bien conçue va au-delà de performances supérieures et inclut également la confiance que les utilisateurs peuvent lui accorder et son utilisation. » Il a ajouté : « À mesure que les IA interagissent plus directement avec les gens dans les contenus et la vie quotidienne, les tests d'intrusion avant le lancement et la vérification continue de la qualité des réponses après la mise en service deviendront de plus en plus importants. »