🔗 원문 전체 보기 → Venturesquare.net
요약
최수연 대표가 이끄는 네이버가 자체 AI 안전성 체계 ‘ASF 2.0’의 실제 서비스 적용 사례를 담은 첫 ‘AI Safety Progress Report’를 발간했다. 네이버는 ‘N-ARTI’를 통해 AI 서비스에서 발생 가능한 위험을 110개 세부 항목으로 분류하고 서비스별 특성을 반영하면서 전사적으로 일관된 안전 기준을 적용한다. AI 답변은 ‘N-ASET’을 활용해 유해성뿐 아니라 질문에 적절하게 대응했는지를 판단하는 사용성까지 함께 평가한다. 해당 안…
본문
- 자체 AI 안전성 체계 ‘ASF 2.0’ 실제 적용 사례 담은 첫 ‘AI Safety Progress Report’ 발간
- AI 위험 110개 항목으로 분류하고 답변 유해성·사용성 함께 평가…AI탭·쇼핑·날씨 등에 적용
생성형 AI가 검색과 쇼핑, 콘텐츠 추천 등 일상적인 서비스 안으로 들어오면서 AI 안전성의 초점도 모델 자체에서 실제 이용자가 접하는 서비스로 이동하고 있다. 같은 AI 모델을 사용하더라도 서비스의 목적과 이용 환경에 따라 발생 가능한 위험이 달라질 수 있고, 지나친 차단은 서비스의 유용성을 떨어뜨릴 수 있다. 기업 입장에서는 위험을 얼마나 세밀하게 분류하고 서비스 설계부터 출시 이후 운영까지 일관된 기준으로 관리할지가 새로운 과제가 됐다. 네이버가 AI 서비스에서 발생할 수 있는 위험을 110개 세부 항목으로 분류하고 실제 서비스에 적용하는 안전성 관리 체계를 공개했다.
네이버(대표 최수연)는 자체 AI 안전성 체계 ‘ASF 2.0’의 실제 서비스 적용 과정과 실행 사례를 담은 ‘AI Safety Progress Report’를 처음 발간했다. ASF 2.0은 AI 모델의 성능과 위험 수준뿐 아니라 이용자와 서비스 보호까지 포괄하는 네이버의 AI 안전성 관리 체계다. 네이버의 ‘On-service AI’ 전략과 글로벌 AI 생태계, 정책·제도 환경의 변화를 반영해 AI 서비스의 설계·개발부터 출시와 운영까지 전 과정에서 안전성을 관리하도록 구성했다.
이번 리포트에는 ASF 2.0과 이를 실행하기 위한 ‘CHEC 2.0’이 실제 서비스에서 어떻게 작동하는지 구체적인 사례를 담았다.
핵심 가운데 하나는 AI 위험을 세분화한 ‘N-ARTI(NAVER AI Risk Taxonomy & Identification)’다. 네이버는 법률적·사회적·산업적 사례를 토대로 AI 서비스에서 발생할 수 있는 위험을 110개 세부 항목으로 나눴다.
N-ARTI를 활용하면 서비스마다 다른 특성을 고려하면서도 전사적으로 공통된 기준에 따라 위험을 식별하고 분류할 수 있다. 네이버는 이를 토대로 생성형 AI가 사전에 설정한 안전 기준을 벗어난 정보를 제공하지 않도록 관리하는 가드레일을 구축할 수 있다고 설명했다.
막기만 하는 AI 안전 넘어 ‘제대로 답했는지’까지 평가
AI 답변 자체의 안전성을 측정하기 위한 별도의 평가 도구도 마련했다. ‘N-ASET(NAVER AI Safety Evaluation Toolkit)’은 생성형 AI 서비스의 응답을 ‘유해성’과 ‘사용성’이라는 두 축으로 평가한다.
유해성은 답변에 사용자에게 해를 끼칠 수 있는 내용이 포함됐는지를 살펴보는 기준이다. 사용성은 이용자의 질문에 적절한 방식으로 답했는지, 필요한 경우 면책 문구나 전문가 안내와 같은 안전 요소를 갖췄는지를 확인한다.
단순히 위험한 답변을 차단하는 것만으로 AI 안전성을 판단하지 않고 위험을 관리하면서도 이용자의 질문에 필요한 정보를 적절하게 제공했는지 함께 평가하는 구조다. 안전장치를 강화하는 과정에서 AI 서비스의 유용성이 지나치게 떨어지는 문제까지 평가 범위에 포함한 셈이다.
실제 이용자가 접하는 서비스 화면에서 AI 활용 여부를 알리는 방식도 안전성 체계의 일부로 적용했다. 네이버는 AI 쇼핑 에이전트와 날씨 서비스 등에 AI가 활용됐다는 사실을 표시·고지한 사례를 이번 리포트에서 소개했다.
지난 6월 출시한 ‘AI탭’도 CHEC 2.0을 적용한 사례다. 네이버는 AI탭의 설계 단계부터 출시까지 전 과정에서 안전성 요소를 점검했다.
네이버는 향후 외부 연구기관과의 협력도 확대한다. KAIST, 서울대 인공지능 정책 이니셔티브(SAPI), 고려대 인공지능안전연구센터, 인공지능안전연구소(AISI) 등 학계·전문기관과 협력해 AI 서비스에서 발생 가능한 위험을 파악하고 예방·완화하기 위한 연구를 이어간다.
원성재 네이버 AI Safety 센터장은 “AI 기술이 이용자의 일상에 빠르게 스며들면서 AI 안전성 역시 이론적 논의를 넘어 실제 서비스 환경에서 구체적으로 다뤄야 하는 단계에 접어들고 있다”며 “AI의 개발과 이용 전 과정에서 인간 중심의 가치를 최우선으로 두고 AI 서비스에서 발생할 수 있는 위험을 예방하고 완화할 수 있도록 ASF 2.0을 지속적으로 고도화하고 적용해 나갈 것”이라고 말했다.
Like this:
Like Loading...Related
Naver Breaks AI Risks into 110 Categories for Management… Unveils Safety System for Entire Service Process
As generative AI integrates into everyday services such as search, shopping, and content recommendations, the focus of AI safety is shifting from the models themselves to the services that actual users interact with. Even when using the same AI model, potential risks can vary depending on the service's purpose and usage environment, and excessive blocking can diminish service utility. For companies, a new challenge has emerged regarding how finely to classify risks and manage them according to consistent standards from service design to post-launch operations. Naver has unveiled a safety management system that classifies potential risks in AI services into 110 detailed categories and applies them to actual services.
Naver (CEO Choi Soo-yeon) has published its first 'AI Safety Progress Report,' which details the actual service application process and implementation cases of its proprietary AI safety framework, 'ASF 2.0.' ASF 2.0 is Naver's AI safety management system that encompasses not only the performance and risk levels of AI models but also the protection of users and services. Reflecting Naver's 'On-service AI' strategy, the global AI ecosystem, and changes in the policy and institutional environment, it is structured to manage safety throughout the entire process of AI services, from design and development to launch and operation.
This report includes specific examples of how ASF 2.0 and 'CHEC 2.0' for implementing it work in actual services.
One of the key elements is 'N-ARTI (NAVER AI Risk Taxonomy & Identification),' which subdivides AI risks. Based on legal, social, and industrial cases, Naver has categorized potential risks arising from AI services into 110 detailed items.
By utilizing N-ARTI, risks can be identified and classified according to common standards across the entire organization, while still considering the unique characteristics of each service. Naver explained that based on this, it can establish guardrails to manage generative AI so that it does not provide information that deviates from pre-set safety standards.
Beyond AI safety that merely blocks, it evaluates even whether the 'answered correctly'
A separate evaluation tool has also been established to measure the safety of the AI responses themselves. 'N-ASET (NAVER AI Safety Evaluation Toolkit)' evaluates responses from generative AI services based on two axes: 'harmfulness' and 'usability.'
Harmfulness is a criterion that examines whether the response contains content that could cause harm to the user. Usability verifies whether the user's question was answered in an appropriate manner and, where necessary, whether safety elements such as disclaimers or expert guidance are included.
It is a structure that does not judge AI safety solely by blocking dangerous responses, but also evaluates whether the necessary information for user questions was appropriately provided while managing risks. In effect, the scope of evaluation includes the issue where the usefulness of the AI service is excessively diminished in the process of strengthening safety mechanisms.
Methods for disclosing the use of AI on service screens that actual users interact with have also been applied as part of the safety framework. In this report, Naver introduced examples of displaying and notifying users that AI was utilized in services such as the AI Shopping Agent and weather service.
'AI Tab,' launched last June, is also an example of applying CHEC 2.0. Naver checked safety elements throughout the entire process, from the design stage to the launch of AI Tab.
Naver will also expand cooperation with external research institutions in the future. It will continue research to identify, prevent, and mitigate potential risks in AI services by collaborating with academic and specialized institutions such as KAIST, Seoul National University’s Artificial Intelligence Policy Initiative (SAPI), Korea University’s Center for AI Safety, and the Artificial Intelligence Safety Institute (AISI).
"As AI technology rapidly permeates users' daily lives, AI safety is also moving beyond theoretical discussions and entering a stage where it must be addressed concretely in actual service environments," said Won Seong-jae, Head of Naver's AI Safety Center. "We will continue to advance and apply ASF 2.0 to prevent and mitigate risks that may arise in AI services by placing human-centered values as our top priority throughout the entire process of AI development and use."
ネイバー、AIリスク110個で分割管理する…サービス全過程の安全性体系の開示
生成型AIが検索やショッピング、コンテンツ推薦など日常的なサービスの中に入ってきて、AI安全性の焦点もモデル自体から実際の利用者が接するサービスに移動している。同じAIモデルを使用しても、サービスの目的と利用環境によって発生する可能性のあるリスクが異なる可能性があり、過度のブロックはサービスの有用性を低下させる可能性があります。企業の立場では、リスクをどれだけ細かく分類し、サービス設計から発売以後の運営まで一貫した基準で管理するかが新たな課題となった。ネイバーがAIサービスで発生する可能性のあるリスクを110の細部に分類し、実際のサービスに適用する安全性管理体系を公開した。
ネイバー（代表チェ・スヨン）は、自身のAI安全性体系「ASF 2.0」の実際のサービス適用過程と実行事例を盛り込んだ「AI Safety Progress Report」を初めて発刊した。 ASF 2.0は、AIモデルの性能とリスクレベルだけでなく、ユーザーとサービス保護まで包括するネイバーのAI安全性管理体系だ。ネイバーの「On-service AI」戦略とグローバルAIエコシステム、政策・制度環境の変化を反映し、AIサービスの設計・開発から発売と運営まで全過程で安全性を管理するように構成した。
今回のレポートには、ASF 2.0とこれを実行するための「CHEC 2.0」が実際のサービスでどのように動作するか具体的な事例を盛り込んだ。
中核の一つは、AIリスクを細分化した「N-ARTI(NAVER AI Risk Taxonomy & Identification)」だ。ネイバーは法律的・社会的・産業的事例に基づいてAIサービスで発生する可能性のあるリスクを110の細部に分けた。
N-ARTIを活用すると、サービスごとに異なる特性を考慮しながらも、全社的に共通の基準に基づいてリスクを識別して分類することができる。ネイバーはこれに基づいて、生成型AIが事前に設定した安全基準を超えた情報を提供しないように管理するガードレールを構築できると説明した。
防ぐだけのAI安全を超えて「きちんと答えたか」まで評価
AI回答自体の安全性を測定するための別途の評価ツールも用意した。 「N-ASET（NAVER AI Safety Evaluation Toolkit）」は、生成型AIサービスの応答を「有害性」と「使用性」の2軸で評価する。
有害性は、回答にユーザーに害を及ぼす可能性のある内容が含まれているかどうかを調べる基準だ。ユーザビリティは、利用者の質問に適切な方法で答えたのか、必要に応じて免責文句や専門家案内などの安全要素を備えているかを確認する。
単に危険な回答を遮断するだけでAIの安全性を判断せず、リスクを管理しながらも利用者の質問に必要な情報を適切に提供したかどうかを評価する仕組みだ。安全装置を強化する過程からAIサービスの有用性が過度に低下する問題まで評価範囲に含めたわけだ。
実際の利用者が接するサービス画面でAI活用の有無を知らせる方式も安全性体系の一部として適用した。ネイバーはAIショッピングエージェントや天気サービスなどにAIが活用されたという事実を表示・告知した事例を今回のレポートで紹介した。
6月に発売した「AIタブ」もCHEC 2.0を適用した事例だ。ネイバーはAIタブの設計段階から発売まで全過程で安全性要素をチェックした。
ネイバーは今後、外部研究機関との協力も拡大する。 KAIST、ソウル大学人工知能政策イニシアチブ（SAPI）、高麗大学人工知能安全研究センター、人工知能安全研究所（AISI）など、学界・専門機関と協力してAIサービスで発生する可能性のあるリスクを把握し、予防・緩和するための研究を続ける。
ウォン・ソンジェネイバーAI Safetyセンター長は「AI技術が利用者の日常に素早く浸透し、AI安全性も理論的議論を超えて実際のサービス環境で具体的に取り上げなければならない段階に入っている」とし「AIの開発と利用前の過程で人間中心の価値を最優先にしてAIサービスで発生することができる。継続的に高度化して適用していく」と話した。
Naver 将人工智能风险细分为 110 个管理类别……推出覆盖整个服务流程的安全系统
随着生成式人工智能融入搜索、购物和内容推荐等日常服务，人工智能安全的关注点正从模型本身转移到用户实际交互的服务。即使使用相同的人工智能模型，潜在风险也会因服务用途和使用环境的不同而有所差异，过度屏蔽反而会降低服务的效用。对于企业而言，如何从服务设计到上线后运营，根据一致的标准对风险进行精细分类和管理，已成为一项新的挑战。Naver 推出了一套安全管理系统，将人工智能服务中的潜在风险细分为 110 个详细类别，并将其应用于实际服务中。
Naver（CEO崔秀妍）发布了首份《AI安全进展报告》，详细介绍了其自主研发的AI安全框架“ASF 2.0”的实际服务应用流程和实施案例。ASF 2.0是Naver的AI安全管理系统，不仅涵盖AI模型的性能和风险等级，还包括用户和服务的安全保障。该系统体现了Naver的“服务中AI”战略、全球AI生态系统以及政策和制度环境的变化，旨在管理AI服务从设计开发到上线运营的整个流程中的安全问题。
本报告包含 ASF 2.0 和用于实施它的“CHEC 2.0”在实际服务中如何工作的具体示例。
其中一项关键要素是“N-ARTI（NAVER人工智能风险分类与识别）”，它将人工智能风险细分为多个类别。基于法律、社会和行业案例，Naver将人工智能服务可能产生的风险归纳为110个详细条目。
通过运用N-ARTI，可以在整个组织范围内根据通用标准识别和分类风险，同时还能兼顾每项服务的独特特性。Naver解释说，基于此，它可以建立管理生成式人工智能的防护措施，使其不会提供偏离预设安全标准的信息。
除了仅仅阻止之外，AI 安全措施还会评估“回答是否正确”。
此外，还建立了一个独立的评估工具来衡量人工智能响应本身的安全性。“N-ASET（NAVER AI 安全评估工具包）”基于“有害性”和“可用性”两个维度评估生成式人工智能服务的响应。
危害性标准考察的是回复内容是否可能对用户造成伤害。可用性标准则验证用户的问题是否得到了恰当的解答，并在必要时检查是否包含了免责声明或专家指导等安全要素。
这种评估体系不仅通过阻止危险响应来判断人工智能的安全性，还会评估在风险管理的同时，是否恰当地提供了用户问题所需的信息。实际上，评估范围涵盖了在加强安全机制的过程中，人工智能服务的实用性是否被过度削弱的问题。
在安全框架中，也采用了向用户披露实际交互服务屏幕上人工智能使用情况的方法。本报告中，Naver 列举了在人工智能购物助手和天气服务等服务中向用户展示和通知人工智能应用的案例。
去年六月推出的“AI Tab”也是应用 CHEC 2.0 的一个例子。Naver 对 AI Tab 的整个过程，从设计阶段到发布，都进行了安全要素检查。
未来，Naver还将扩大与外部研究机构的合作。它将继续与韩国科学技术院（KAIST）、首尔大学人工智能政策倡议（SAPI）、高丽大学人工智能安全中心和人工智能安全研究院（AISI）等学术和专业机构合作，开展研究，以识别、预防和减轻人工智能服务中的潜在风险。
“随着人工智能技术迅速渗透到用户日常生活的方方面面，人工智能安全也从理论探讨阶段进入到必须在实际服务环境中具体落实的阶段，”Naver人工智能安全中心负责人元成宰表示，“我们将继续推进和应用人工智能安全框架2.0，并将以人为本的价值观贯穿于人工智能开发和使用的整个过程，从而预防和降低人工智能服务中可能出现的风险。”
Naver décompose les risques liés à l'IA en 110 catégories pour faciliter la gestion… et dévoile un système de sécurité pour l'ensemble du processus de service.
À mesure que l'IA générative s'intègre aux services du quotidien tels que la recherche, le shopping et les recommandations de contenu, la sécurité de l'IA se concentre désormais moins sur les modèles eux-mêmes que sur les services avec lesquels les utilisateurs interagissent. Même avec un même modèle d'IA, les risques potentiels peuvent varier selon la finalité du service et son environnement d'utilisation, et un blocage excessif peut nuire à son utilité. Pour les entreprises, un nouveau défi se pose : comment classifier les risques avec précision et les gérer selon des normes cohérentes, de la conception du service à son exploitation après son lancement ? Naver a dévoilé un système de gestion de la sécurité qui classe les risques potentiels des services d'IA en 110 catégories détaillées et les applique aux services existants.
Naver (PDG Choi Soo-yeon) a publié son premier « Rapport d'étape sur la sécurité de l'IA », détaillant le processus d'application et les cas concrets de mise en œuvre de son cadre de sécurité propriétaire, « ASF 2.0 ». ASF 2.0 est le système de gestion de la sécurité de l'IA de Naver qui englobe non seulement les performances et les niveaux de risque des modèles d'IA, mais aussi la protection des utilisateurs et des services. Reflétant la stratégie « IA intégrée aux services » de Naver, l'écosystème mondial de l'IA et l'évolution du contexte politique et institutionnel, il est structuré pour gérer la sécurité tout au long du processus des services d'IA, de la conception et du développement au lancement et à l'exploitation.
Ce rapport comprend des exemples précis de la manière dont ASF 2.0 et « CHEC 2.0 » pour sa mise en œuvre fonctionnent dans des services réels.
L'un des éléments clés est « N-ARTI (NAVER AI Risk Taxonomy & Identification) », qui subdivise les risques liés à l'IA. S'appuyant sur des cas juridiques, sociaux et industriels, Naver a catégorisé les risques potentiels découlant des services d'IA en 110 éléments détaillés.
L'utilisation de N-ARTI permet d'identifier et de classer les risques selon des normes communes à l'ensemble de l'organisation, tout en tenant compte des spécificités de chaque service. Naver explique que, grâce à cette approche, il est possible de mettre en place des garde-fous pour encadrer l'IA générative et éviter qu'elle ne fournisse des informations non conformes aux normes de sécurité prédéfinies.
Au-delà de la simple sécurité de l'IA qui bloque les réponses, elle évalue même si la réponse a été « correcte ».
Un outil d'évaluation distinct a également été mis en place pour mesurer la sécurité des réponses de l'IA elles-mêmes. « N-ASET (NAVER AI Safety Evaluation Toolkit) » évalue les réponses des services d'IA générative selon deux axes : « nuisibilité » et « utilisabilité ».
Le critère de nocivité évalue si la réponse contient des éléments susceptibles de nuire à l'utilisateur. Le critère d'utilisabilité vérifie si la question de l'utilisateur a reçu une réponse appropriée et, le cas échéant, si des éléments de sécurité tels que des clauses de non-responsabilité ou des conseils d'experts sont inclus.
Il s'agit d'une structure qui ne se contente pas de bloquer les réponses dangereuses pour évaluer la sécurité de l'IA, mais qui vérifie également si les informations nécessaires aux questions des utilisateurs ont été correctement fournies tout en gérant les risques. De fait, le champ d'évaluation inclut le cas où l'utilité du service d'IA est excessivement réduite lors du renforcement des mécanismes de sécurité.
Des méthodes de communication de l'utilisation de l'IA sur les écrans de service avec lesquels les utilisateurs interagissent ont également été mises en œuvre dans le cadre du dispositif de sécurité. Dans ce rapport, Naver présente des exemples d'affichage et de notification aux utilisateurs de l'utilisation de l'IA dans des services tels que l'assistant shopping IA et le service météo.
La tablette « AI Tab », lancée en juin dernier, est également un exemple d'application de CHEC 2.0. Naver a vérifié les éléments de sécurité tout au long du processus, de la conception au lancement de l'AI Tab.
Naver prévoit également d'étendre sa coopération avec des institutions de recherche externes. L'entreprise poursuivra ses recherches afin d'identifier, de prévenir et d'atténuer les risques potentiels liés aux services d'IA, en collaborant avec des institutions académiques et spécialisées telles que KAIST, l'Initiative de politique en intelligence artificielle de l'Université nationale de Séoul (SAPI), le Centre pour la sécurité de l'IA de l'Université de Corée et l'Institut de sécurité de l'intelligence artificielle (AISI).
« Alors que l’intelligence artificielle s’intègre rapidement dans le quotidien des utilisateurs, sa sécurité dépasse le stade des discussions théoriques et entre dans une phase où elle doit être abordée concrètement dans les environnements de service réels », a déclaré Won Seong-jae, responsable du Centre de sécurité de l’IA de Naver. « Nous continuerons à développer et à appliquer l’ASF 2.0 afin de prévenir et d’atténuer les risques liés aux services d’IA, en plaçant les valeurs centrées sur l’humain au cœur de notre démarche tout au long du processus de développement et d’utilisation de l’IA. »