← 목록으로

포티투마루, AI 개발 ‘브레이크’보다 안전장치 먼저…국가AI전략위서 공공 AX 제언

포티투마루, AI 개발 ‘브레이크’보다 안전장치 먼저…국가AI전략위서 공공 AX 제언

요약

포티투마루가 국가인공지능전략위원회의 ‘AI 개발 속도조절론 관련 세미나’에서 AI 산업 육성과 안전장치 구축을 병행하는 대응 방향을 제안했다. 김동환 대표는 일률적인 개발 속도 제한보다 위험 수준에 따른 관리와 독립적인 검증·통제 체계를 마련해야 한다고 강조했다. 환각과 데이터 유출 등 생성형 AI의 위험을 관리하면서 공공·산업 현장의 AI 활용을 확대하고 국제 안전 규범 마련을 위한 다자 협력도 강화해야 한다는 의견을 냈다. 국가AI전략위 역시 이날 프런티어…

본문

  • 국가AI전략위 ‘AI 개발 속도조절론’ 세미나 참여…위험 기반 관리·독립적 검증 체계 필요성 제시
  • 환각·데이터 유출 등 위험 통제하며 AI 활용 병행…국제 안전 규범 마련 위한 다자 협력 강조

프런티어 AI의 성능이 빠르게 높아지면서 개발 속도를 늦춰야 하는지를 둘러싼 논쟁이 국제적으로 이어지고 있다. 한국에서는 기술 추격과 산업 경쟁력을 유지하면서 AI가 초래할 수 있는 위험을 어떻게 평가하고 통제할지가 주요 과제로 떠올랐다. 국가인공지능전략위원회도 1일 관련 세미나를 열고 프런티어 AI 역량 확보와 안전·보안 체계를 함께 구축하는 대응 방향을 논의했다. 포티투마루는 이 자리에서 일률적으로 개발 속도를 늦추기보다 위험 수준에 따른 안전장치와 검증 체계를 마련해야 한다는 의견을 제시했다.

에이전틱 AI 기업 포티투마루는 1일 서울 중구 서울스퀘어에서 열린 국가인공지능전략위원회 ‘AI 개발 속도조절론 관련 세미나’에 참석해 AI 안전과 공공 AX 대응 방향을 제안했다.

이번 세미나는 국가AI전략위 보안특별위원회가 글로벌 프런티어 AI 개발 속도조절론과 국내 대응 방향을 논의하기 위해 마련했다. 정부 자료에 따르면 세미나에서는 기술 경쟁력 확보와 안전장치, 첨단 AI 위험평가·통제, 기업 부담을 고려한 안전체계 등이 주요 의제로 다뤄졌다.

김동환 포티투마루 대표(왼쪽 첫 번째)가 1일 서울스퀘어에서 열린 국가인공지능전략위원회 ‘AI 개발 속도조절론 관련 세미나’에서 패널 토론을 하고 있다. 이날 참석자들은 프런티어 AI 역량과 안전·검증 체계를 함께 확보하는 방안을 논의했다. (사진 제공: 포티투마루)

하정우 국가AI전략위 상근 부위원장의 인사말에 이어 이원태 보안특별위원장이 ‘글로벌 프런티어 AI 개발 속도조절론과 대한민국 AI의 대응전략’을 주제로 기조발제를 진행했다. 최대선 숭실대 AI안전성연구센터 센터장, 김성훈 업스테이지 대표, 이한울 에임인텔리전스 부사장도 각각 AI 위험 통제와 기술 경쟁력, 보안 역량 등을 발표했다.

패널 토론에는 국가AI전략위 공공AX분과 위원으로 활동하는 김동환 포티투마루 대표와 김명주 AI안전연구소 소장, 최대선 센터장, 김성훈 대표, 이한울 부사장 등이 참여했다.

속도 일괄 규제보다 ‘위험별 관리’…안전·신뢰 체계 함께 구축

김 대표는 AI 기술 발전 속도와 사회적 제도·윤리적 합의 사이에 격차가 있다는 문제의식에는 공감하면서도 개발 속도를 일률적으로 조절하는 방식의 현실성에는 의문을 제기했다. AI 산업 육성과 안전장치 구축을 동시에 추진하고 특정 기업이나 국가의 이해에 치우치지 않도록 국제기구를 통한 다자 협력 체계를 마련해야 한다는 의견도 냈다.

특히 AI의 위험 수준과 활용 분야에 따라 대응하는 ‘위험 기반(Risk-based)’ 관리 체계를 제안했다. 환각과 데이터 유출 등 생성형 AI 활용 과정에서 발생할 수 있는 위험을 평가·통제할 기술적 안전장치를 공공과 산업 현장에 구축하고 검증 가능한 범위에서 에이전틱 AI 활용을 확대해야 한다는 설명이다.

이 같은 방향은 이날 세미나에서 논의된 큰 흐름과도 맞닿아 있다. 국가AI전략위는 프런티어 AI 역량을 확보하는 동시에 위험평가와 안전 검증, 통제 체계를 강화하는 방안을 논의했으며 참석 전문가들도 자체 기술과 독립적인 평가·통제 역량, 국제 공조의 필요성을 제시했다.

포티투마루는 AI 신뢰성 관련 인증을 확보하며 공공 AX 시장을 공략하고 있다. 회사의 ‘LLM42 v.1.1’과 ‘RAG42 v.1.3’은 지난 9월 정부의 ‘인공지능 제품·서비스 확인제’ 확인을 받았다.

김동환 대표는 “글로벌 프런티어 모델 속도조절론 논쟁에 휩쓸려 대한민국의 AI 혁신이 흔들려서는 안 된다”며 “지금 필요한 것은 속도 조절이 아니라 안전성과 신뢰성을 검증할 수 있는 안전장치를 강화하는 것”이라고 말했다. 이어 국제 AI 안전 규범을 만드는 과정에서도 한국이 적극적인 역할을 해야 한다고 강조했다.

Like this:

Like Loading...

FortyTwoMaru Prioritizes Safety Measures Over AI Development 'Brakes'… Proposes Public AX at National AI Strategy Committee

As the performance of frontier AI rapidly improves, an international debate is ongoing regarding whether the pace of development should be slowed down. In Korea, a major challenge has emerged as to how to assess and control the risks that AI may pose while maintaining technological catch-up and industrial competitiveness. The National Artificial Intelligence Strategy Committee also held a related seminar on the 1st to discuss response strategies aimed at securing frontier AI capabilities while simultaneously establishing safety and security systems. At the event, FortyTwoMaru suggested that rather than uniformly slowing down development, safeguards and verification systems should be established based on the level of risk.

Agentic AI company FortyTwoMaru attended the National Artificial Intelligence Strategy Committee's 'Seminar on AI Development Speed Control' held at Seoul Square in Jung-gu, Seoul on the 1st and proposed directions for AI safety and public AX response.

This seminar was organized by the Special Committee on Security of the National AI Strategy Committee to discuss the need to moderate the pace of global frontier AI development and directions for domestic response. According to government data, the main agenda items covered at the seminar included securing technological competitiveness, safeguards, risk assessment and control of advanced AI, and safety systems that consider the burden on companies.

Kim Dong-hwan, CEO of FortyTwoMaru (first from the left), is participating in a panel discussion at the National Artificial Intelligence Strategy Committee's "Seminar on Adjusting the Speed of AI Development," held at Seoul Square on the 1st. Attendees discussed ways to simultaneously secure frontier AI capabilities and safety and verification systems. (Photo courtesy of FortyTwoMaru)

Following opening remarks by Ha Jung-woo, Standing Vice Chairman of the National AI Strategy Committee, Lee Won-tae, Chairman of the Special Committee on Security, delivered a keynote address on the topic of "The Theory on Adjusting the Speed of Global Frontier AI Development and South Korea's AI Response Strategy." Choi Dae-seon, Director of the AI Safety Research Center at Soongsil University; Kim Sung-hoon, CEO of Upstage; and Lee Han-ul, Vice President of Aim Intelligence, also presented on AI risk control, technological competitiveness, and security capabilities, respectively.

The panel discussion was attended by Kim Dong-hwan, CEO of FortyTwoMaru and a member of the Public AX Subcommittee of the National AI Strategy Committee; Kim Myung-ju, Director of the AI Safety Research Institute; Choi Dae-seon, Center Director; Kim Seong-hoon, CEO; and Lee Han-ul, Vice President.

'Risk-based management' rather than blanket speed regulation… Establishing a system of safety and trust together

While CEO Kim shared the concern that there is a gap between the speed of AI technology development and social, institutional, and ethical consensus, he questioned the feasibility of uniformly controlling the pace of development. He also suggested that the nurturing of the AI industry and the establishment of safeguards should be pursued simultaneously, and that a multilateral cooperation framework through international organizations should be established to avoid favoring the interests of specific companies or countries.

In particular, a 'risk-based' management system was proposed to respond according to the risk level and application fields of AI. The explanation is that technical safeguards to evaluate and control risks that may arise during the use of generative AI, such as hallucinations and data leaks, must be established in the public and industrial sectors, and the use of agentic AI should be expanded within a verifiable scope.

This direction aligns with the major trends discussed at the seminar held on this day. The National AI Strategy Committee discussed measures to secure frontier AI capabilities while simultaneously strengthening risk assessment, safety verification, and control systems, while participating experts emphasized the need for proprietary technology, independent evaluation and control capabilities, and international cooperation.

FortyTwoMaru is targeting the public AX market by securing certifications related to AI reliability. The company's 'LLM42 v.1.1' and 'RAG42 v.1.3' received verification under the government's 'Artificial Intelligence Product and Service Verification System' last September.

CEO Kim Dong-hwan stated, “South Korea’s AI innovation must not be shaken by being swept up in the debate over slowing down the global frontier model,” adding, “What is needed now is not speed control, but strengthening safeguards to verify safety and reliability.” He further emphasized that Korea must play an active role in the process of establishing international AI safety standards.

フォーティトゥマル、AI開発「ブレーキ」より安全装置先…国家AI戦略危機公共AX提言

フロンティアAIの性能が急速に高まり、開発速度を遅らせるべきかをめぐる議論が国際的に続いている。韓国では技術追撃と産業競争力を維持しつつ、AIがもたらすリスクをどのように評価して統制するかが主要課題として浮上した。国家人工知能戦略委員会も1日、関連セミナーを開き、フロンティアAI力量確保と安全・セキュリティ体系を共に構築する対応方向を議論した。ポチトゥマルは、この場で一律に開発速度を遅くするよりも、リスクレベルに応じた安全装置と検証体系を設けるべきだという意見を提示した。

エージェンティックAI企業ポティトマルは1日、ソウル中区ソウルスクエアで開かれた国家人工知能戦略委員会「AI開発速度調節論関連セミナー」に参加し、AI安全と公共AX対応方向を提案した。

今回のセミナーは、国家AI戦略委セキュリティ特別委員会がグローバルフロンティアAI開発速度調整論と国内対応方向を議論するために設けた。政府資料によると、セミナーでは技術競争力確保と安全装置、先端AIリスク評価・統制、企業負担を考慮した安全体系などが主要な議題として取り上げられた。

キム・ドンファンのポチトゥマル代表(左最初)が1日、ソウルスクエアで開かれた国家人工知能戦略委員会「AI開発速度調節論関連セミナー」でパネル討論をしている。この日、参加者はフロンティアAIの能力と安全・検証体系を共に確保する方案を議論した。 (写真提供:ポティトゥマル)

ハ・ジョンウ国家AI戦略委常勤副委員長の挨拶に続き、イ・ウォンテセキュリティ特別委員長が「グローバルフロンティアAI開発スピードコントロール論と大韓民国AIの対応戦略」をテーマに基調発題を進行した。最大線崇実大AI安全省研究センターセンター長、キム・ソンフンアップステージ代表、イ・ハンウルエイムインテリジェンス副社長もそれぞれAIリスク制御と技術競争力、セキュリティ能力などを発表した。

パネルディスカッションには、国家AI戦略委公共AX分と委員として活動するキム・ドンファンポチトゥマル代表とキム・ミョンジュAI安全研究所所長、最大線センター長、キム・ソンフン代表、イ・ハンウル副社長などが参加した。

速度一括規制より「リスク別管理」…安全・信頼システムと一緒に構築

金代表はAI技術の発展速度と社会的制度・倫理的合意の間に格差があるという問題意識には共感しながらも開発速度を一律に調節する方式の現実性には疑問を提起した。 AI産業の育成と安全装置の構築を同時に推進し、特定企業や国家の理解に偏らないように、国際機関を通じた多国間協力体系を設けなければならないという意見も出した。

特にAIのリスクレベルと活用分野に応じて対応する「リスクベース(Risk-based)」管理体系を提案した。幻覚やデータ流出など、生成型AI活用過程で発生する可能性のあるリスクを評価・統制する技術的安全装置を公共と産業現場に構築し、検証可能な範囲でエージェンティックAI活用を拡大しなければならないという説明だ。

このような方向はこの日セミナーで議論された大きな流れとも触れている。国家AI戦略委は、フロンティアAI能力を確保するとともに、リスク評価と安全検証、統制体系を強化する方案を議論し、出席専門家たちも自ら技術と独立した評価・統制力量、国際空調の必要性を提示した。

フォーティトゥマルはAI信頼性関連認証を確保し、公共AX市場を攻略している。会社の「LLM42 v.1.1」と「RAG42 v.1.3」は去る9月、政府の「人工知能製品・サービス確認制」の確認を受けた。

キム・ドンファン代表は「グローバルフロンティアモデル速度調節論論争に巻き込まれ、大韓民国のAI革新が揺れてはならない」とし「今必要なのは速度調節ではなく安全性と信頼性を検証できる安全装置を強化すること」と話した。続いて国際AI安全規範を作る過程でも韓国が積極的な役割を果たさなければならないと強調した。

FortyTwoMaru 将安全措施置于人工智能开发“刹车”之上……向国家人工智能战略委员会提议公开人工智能应用

随着前沿人工智能性能的快速提升,国际社会就其发展速度是否应该放缓展开了激烈的讨论。在韩国,如何评估和控制人工智能可能带来的风险,同时保持技术追赶和产业竞争力,已成为一项重大挑战。韩国国家人工智能战略委员会于1日举办了一场相关研讨会,探讨旨在保障前沿人工智能能力并同时建立安全保障体系的应对策略。会上,FortyTwoMaru公司建议,与其一概放缓发展速度,不如根据风险等级建立相应的保障和验证体系。

人工智能公司 FortyTwoMaru 于 1 日在首尔中区首尔广场参加了国家人工智能战略委员会举办的“人工智能发展速度控制研讨会”,并提出了人工智能安全和公众人工智能响应的方向。

本次研讨会由国家人工智能战略委员会安全特别委员会组织,旨在探讨放缓全球前沿人工智能发展步伐的必要性以及国内应对方向。据政府数据显示,研讨会的主要议题包括确保技术竞争力、保障措施、先进人工智能的风险评估与管控,以及兼顾企业负担的安全体系。

FortyTwoMaru首席执行官金东焕(左一)于1日在首尔广场参加了由国家人工智能战略委员会举办的“调整人工智能发展速度研讨会”的小组讨论。与会者探讨了如何同时保障前沿人工智能能力和安全验证体系。(图片由FortyTwoMaru提供)

在国家人工智能战略委员会常务副委员长河正宇致开幕词后,安全特别委员会委员长李元泰发表了题为“调整全球前沿人工智能发展速度的理论及韩国人工智能应对战略”的主题演讲。崇实大学人工智能安全研究中心主任崔大善、Upstage首席执行官金成勋和Aim Intelligence副总裁李汉蔚也分别就人工智能风险控制、技术竞争力和安全能力作了报告。

出席小组讨论的有:FortyTwoMaru 首席执行官兼国家人工智能战略委员会公共人工智能小组委员会成员金东焕;人工智能安全研究所所长金明柱;中心主任崔大善;首席执行官金成勋;以及副总裁李汉蔚。

与其一刀切地实行速度管制,不如采用“基于风险的管理”……共同建立安全信任的体系。

金正恩首席执行官虽然也表达了对人工智能技术发展速度与社会、制度和伦理共识之间存在差距的担忧,但他质疑能否统一控制发展速度。他还建议,应同时推进人工智能产业的培育和保障机制的建立,并应通过国际组织建立多边合作框架,以避免偏袒特定公司或国家的利益。

具体而言,本文提出了一种“基于风险”的管理系统,以根据人工智能的风险等级和应用领域做出相应应对。其解释是,必须在公共和工业领域建立技术保障措施,以评估和控制在使用生成式人工智能过程中可能出现的风险,例如幻觉和数据泄露;同时,应在可验证的范围内扩展智能体人工智能的使用。

这一方向与当天研讨会上讨论的主要趋势相符。国家人工智能战略委员会探讨了在确保前沿人工智能能力的同时,加强风险评估、安全验证和控制系统的措施,与会专家强调了自主技术、独立评估和控制能力以及国际合作的必要性。

FortyTwoMaru正通过获得与人工智能可靠性相关的认证来瞄准公共人工智能市场。该公司开发的“LLM42 v.1.1”和“RAG42 v.1.3”已于去年9月通过了政府“人工智能产品和服务验证系统”的验证。

金东焕首席执行官表示:“韩国的人工智能创新不应被全球前沿模式放缓的争论所动摇。”他补充道:“现在需要的不是控制速度,而是加强保障措施,以确保安全性和可靠性。”他还强调,韩国必须在制定国际人工智能安全标准的过程中发挥积极作用。

FortyTwoMaru privilégie les mesures de sécurité aux freins au développement de l'IA… Propose un AX public au Comité national de stratégie en matière d'IA

Face à l'amélioration rapide des performances de l'IA de pointe, un débat international se poursuit quant à l'opportunité de ralentir son développement. En Corée, un défi majeur se pose : comment évaluer et maîtriser les risques que l'IA peut engendrer tout en préservant le rattrapage technologique et la compétitivité industrielle ? Le Comité national de stratégie en intelligence artificielle a d'ailleurs organisé un séminaire le 1er juillet afin d'examiner les stratégies de réponse visant à sécuriser les capacités de l'IA de pointe tout en mettant en place des systèmes de sûreté et de sécurité. Lors de cet événement, FortyTwoMaru a suggéré, plutôt que de ralentir uniformément le développement, d'établir des mécanismes de protection et de vérification adaptés au niveau de risque.

La société d'IA agentique FortyTwoMaru a participé au « Séminaire sur le contrôle de la vitesse de développement de l'IA » du Comité national de stratégie en intelligence artificielle, qui s'est tenu à Seoul Square dans le quartier de Jung-gu à Séoul le 1er, et a proposé des orientations pour la sécurité de l'IA et la réponse du public aux risques liés à l'IA.

Ce séminaire, organisé par le Comité spécial sur la sécurité du Comité national de stratégie en matière d'IA, visait à examiner la nécessité de modérer le rythme de développement des technologies de pointe en IA à l'échelle mondiale et les orientations à adopter au niveau national. Selon les données gouvernementales, les principaux points abordés lors du séminaire portaient sur la garantie de la compétitivité technologique, les mesures de protection, l'évaluation et le contrôle des risques liés à l'IA avancée, ainsi que les systèmes de sécurité prenant en compte les contraintes pesant sur les entreprises.

Kim Dong-hwan, PDG de FortyTwoMaru (premier à gauche), participe à une table ronde lors du séminaire du Comité national de stratégie en intelligence artificielle intitulé « Ajuster le rythme de développement de l'IA », qui s'est tenu à Seoul Square le 1er. Les participants ont discuté des moyens de garantir simultanément la sécurité des capacités d'IA de pointe et celle des systèmes de sûreté et de vérification. (Photo : FortyTwoMaru)

Après l'allocution d'ouverture de Ha Jung-woo, vice-président permanent du Comité national de stratégie en IA, Lee Won-tae, président du Comité spécial sur la sécurité, a prononcé un discours d'ouverture sur le thème « Théorie de l'ajustement du rythme de développement de l'IA de pointe à l'échelle mondiale et stratégie de réponse de la Corée du Sud en matière d'IA ». Choi Dae-seon, directeur du Centre de recherche sur la sécurité de l'IA de l'Université Soongsil ; Kim Sung-hoon, PDG d'Upstage ; et Lee Han-ul, vice-président d'Aim Intelligence, ont également présenté des exposés sur le contrôle des risques liés à l'IA, la compétitivité technologique et les capacités de sécurité, respectivement.

La table ronde a réuni Kim Dong-hwan, PDG de FortyTwoMaru et membre du sous-comité Public AX du Comité national de stratégie en IA ; Kim Myung-ju, directrice de l'Institut de recherche sur la sécurité de l'IA ; Choi Dae-seon, directeur du centre ; Kim Seong-hoon, PDG ; et Lee Han-ul, vice-président.

Une « gestion fondée sur les risques » plutôt qu’une réglementation uniforme de la vitesse… Établir ensemble un système de sécurité et de confiance

Tout en partageant l'inquiétude du PDG Kim quant au décalage entre le rythme de développement de l'IA et le consensus social, institutionnel et éthique, il a mis en doute la possibilité de contrôler uniformément ce rythme. Il a également suggéré de mener de front le développement de l'industrie de l'IA et la mise en place de garde-fous, et d'établir un cadre de coopération multilatérale par le biais d'organisations internationales afin d'éviter de privilégier les intérêts de certaines entreprises ou de certains pays.

Plus précisément, un système de gestion fondé sur les risques a été proposé afin de répondre en fonction du niveau de risque et des domaines d'application de l'IA. Il s'agit notamment de mettre en place, dans les secteurs public et industriel, des garanties techniques permettant d'évaluer et de maîtriser les risques pouvant survenir lors de l'utilisation de l'IA générative, tels que les hallucinations et les fuites de données. Par ailleurs, l'utilisation de l'IA agentielle devrait être étendue à un cadre vérifiable.

Cette orientation s'inscrit dans les grandes tendances abordées lors du séminaire qui s'est tenu ce jour-là. Le Comité national de stratégie en IA a examiné les mesures à prendre pour sécuriser les capacités de pointe en IA tout en renforçant l'évaluation des risques, la vérification de la sécurité et les systèmes de contrôle. Les experts participants ont quant à eux souligné la nécessité de technologies propriétaires, de capacités d'évaluation et de contrôle indépendantes, ainsi que d'une coopération internationale.

FortyTwoMaru vise le marché public de l'IA en obtenant des certifications relatives à la fiabilité de ses solutions. Ses produits « LLM42 v.1.1 » et « RAG42 v.1.3 » ont été validés en septembre dernier par le système gouvernemental de vérification des produits et services d'intelligence artificielle.

Le PDG Kim Dong-hwan a déclaré : « L’innovation sud-coréenne en matière d’IA ne doit pas être freinée par le débat sur le ralentissement du modèle mondial de pointe », ajoutant : « Ce dont nous avons besoin maintenant, ce n’est pas de contrôler la vitesse, mais de renforcer les garanties pour assurer la sécurité et la fiabilité. » Il a également souligné que la Corée doit jouer un rôle actif dans l’élaboration de normes internationales de sécurité pour l’IA.

Like this:

Like Loading...
← 목록으로