🔗 원문 전체 보기 → Venturesquare.net
요약
베슬AI가 업스테이지의 대규모언어모델 ‘솔라 프로4’에 글로벌 추론 인프라를 제공하며 해외 서비스 운영을 지원했다. 솔라 프로4는 지난 9월 오픈라우터 사용량 순위에서 3위를 기록했으며, 베슬AI는 일일 토큰 처리량이 80억 개에서 1550억 개로 증가하는 과정에서 글로벌 서빙을 담당했다. 캐시 최적화와 모델 양자화 등을 적용해 추론 처리 속도를 평균 2배에서 최대 3배 높이고 토큰당 비용을 최대 50% 절감했다. 베슬AI는 GPU 인프라 공급과 함께 AI 모…
본문
- 오픈라우터 9월 사용량 3위 기록한 국산 LLM 글로벌 서빙 지원…한국·미국
- 유럽 GPU 인프라 활용 · 캐시 최적화·모델 양자화로 추론 처리 속도 최대 3배 향상…토큰당 비용 최대 50% 절감
인공지능(AI) 모델의 경쟁력은 개발 단계의 성능뿐 아니라 실제 이용자의 요청을 얼마나 빠르고 안정적으로 처리하는지에 따라서도 달라진다. 특히 글로벌 서비스에서는 국가별로 이용량이 다르고 신규 모델 출시나 프로모션에 따라 트래픽이 급증할 수 있어 이를 감당할 추론 인프라가 중요하다. 국내에서 개발한 대규모언어모델(LLM)이 해외 이용자를 확보하려면 모델 개발 역량과 함께 글로벌 GPU 자원과 추론 운영 기술이 뒷받침돼야 한다. 네오클라우드 기업 베슬AI는 업스테이지의 ‘솔라 프로4’에 글로벌 추론 인프라를 제공하며 국산 AI 모델의 해외 서비스 운영을 지원했다.
베슬AI(VESSL AI, 대표 안재만)는 업스테이지의 LLM ‘솔라 프로4(Solar Pro 4)’에 글로벌 인퍼런스(Inference·추론) 인프라를 제공하고, 자체 최적화 기술을 통해 처리 속도와 운영 비용을 개선했다.
솔라 프로4는 지난 9월 글로벌 LLM 마켓플레이스 오픈라우터(OpenRouter)에서 사용량 3위에 올랐다. 해당 순위는 오픈라우터 플랫폼에서 집계한 실제 이용량을 기준으로 한 것으로, 전체 글로벌 LLM 시장의 점유율이나 모델 성능 순위를 의미하지는 않는다.
베슬AI는 해당 기간 솔라 프로4의 글로벌 서빙을 담당하며 전 세계 이용자들의 추론 요청을 처리했다. 회사가 공개한 자료에 따르면 솔라 프로4의 일일 토큰 처리량이 80억 개에서 1550억 개로 증가하는 과정에서 글로벌 추론 인프라를 제공했다.
토큰은 AI 모델이 텍스트를 처리하는 기본 단위다. 일일 처리 토큰 수가 증가한다는 것은 모델에 입력되거나 생성되는 텍스트의 처리 규모가 커졌다는 의미다. 다만 토큰 처리량은 실제 이용자 수나 요청 건수와 동일한 지표는 아니다.
AI 인퍼런스는 학습을 마친 모델이 실제 서비스 환경에서 이용자의 입력을 받아 결과를 생성하는 과정이다. 모델의 크기와 요청량, 응답 길이 등에 따라 필요한 GPU 자원과 처리 시간이 달라진다.
특히 글로벌 서비스에서는 여러 지역의 이용자가 동시에 요청을 보내기 때문에 수요 변화에 맞춰 연산 자원을 확보하고 운영하는 능력이 중요하다.
베슬AI는 이를 위해 업스테이지와 모델 출시 및 프로모션 일정, 예상 이용량을 공유하고 필요한 추론 용량을 사전에 설계했다.
캐시·양자화 최적화로 처리 속도 개선…토큰당 비용 최대 절반으로
베슬AI가 솔라 프로4의 글로벌 서비스를 지원하는 데 활용한 기반은 한국과 유럽, 미국 등 여러 지역에 구축한 GPU 클러스터와 자체 인퍼런스 엔진 최적화 기술이다.
회사는 모델 특성과 실제 이용 패턴에 맞춰 GPU 자원을 구성하고 추론 엔진을 조정했다. 이를 통해 동일한 인프라에서 더 많은 요청을 처리하면서 토큰당 운영 비용을 낮추는 데 집중했다.
주요 최적화 기술에는 캐시 히트율 개선과 모델 양자화, 추론 속도 향상 기술이 포함됐다.
캐시 히트율은 이전에 처리한 연산 결과 등을 재사용할 수 있는 비율을 의미한다. 반복되는 연산을 줄이면 GPU 자원 사용량을 낮추고 응답 처리 효율을 높이는 데 도움이 된다.
모델 양자화는 AI 모델의 연산에 사용하는 수치의 정밀도를 조정해 메모리 사용량과 연산 부담을 줄이는 기술이다. 모델의 특성과 적용 방식에 따라 추론 성능과 자원 효율을 개선할 수 있다.
베슬AI에 따르면 이러한 기술을 적용한 결과 엔드포인트 도입 전후 비교에서 추론 처리 속도가 평균 2배, 최대 3배 향상됐다.
또한 캐시 활용 효율을 높여 토큰당 비용을 최대 50% 절감했다. 해당 수치는 회사가 제시한 최적화 결과로, 모든 모델이나 서비스 환경에서 동일한 개선 폭이 보장되는 것은 아니다.
이번 협력에서 베슬AI는 GPU 자원을 공급하는 역할을 넘어 예상 수요에 따른 용량 설계와 추론 엔진 최적화, 글로벌 서빙 운영까지 담당했다.
이를 통해 업스테이지는 모델 개발과 서비스 확대에 집중하고 베슬AI는 실제 이용량 변화에 대응하는 인프라 운영을 맡는 협력 구조를 구축했다.
안재만 베슬AI 대표는 “이번 협력은 한국에서 개발한 모델의 글로벌 성과를 한국 네오클라우드의 인프라로 뒷받침했다는 점에서 의미가 크다”며 “축적한 인퍼런스 운영 경험을 바탕으로 모델 제공자가 연구와 제품 개발에 집중할 수 있는 환경을 제공하고, 기업의 안정적인 오픈소스 모델 도입을 지원하는 인퍼런스 프로바이더로서 역량을 강화하겠다”고 말했다.
한편 베슬AI는 최근 SK바이오팜에 AI 연구개발용 GPU 인프라를 공급했으며 네오AI와 포항 AI데이터센터의 GPU 플랫폼 구축·운영을 위한 협약을 체결했다.
베슬AI는 이러한 기업용 GPU 인프라 사업에 솔라 프로4의 글로벌 추론 운영 경험을 더해 AI 모델 제공사를 대상으로 한 인퍼런스 서비스 사업을 강화할 방침이다.
Like this:
Like Loading...Related
Vessel AI Takes Charge of Upstage 'Solar Pro 4' Global Inference… Supporting Daily Processing of 155 Billion Tokens
The competitiveness of an artificial intelligence (AI) model depends not only on performance during the development phase but also on how quickly and reliably it processes actual user requests. Particularly in global services, where usage varies by country and traffic can surge due to new model launches or promotions, an inference infrastructure capable of handling this is crucial. For domestically developed Large-Scale Language Models (LLMs) to secure overseas users, they must be backed by global GPU resources and inference operation technology alongside their model development capabilities. NeoCloud company VesselAI supported the overseas service operations of domestic AI models by providing global inference infrastructure for Upstage's 'Solar Pro 4'.
VESSL AI (CEO Jae-Man Ahn) provided global inference infrastructure to Upstage's LLM 'Solar Pro 4' and improved processing speed and operating costs through its own optimization technology.
Last September, the Solar Pro 4 ranked third in usage on the global LLM marketplace OpenRouter. This ranking is based on actual usage data collected by the OpenRouter platform and does not represent market share or model performance rankings in the overall global LLM market.
Vessel AI was responsible for the global serving of Solar Pro 4 during that period and processed inference requests from users worldwide. According to data released by the company, it provided global inference infrastructure as Solar Pro 4's daily token throughput increased from 8 billion to 155 billion.
A token is the basic unit in which an AI model processes text. An increase in the daily number of processed tokens signifies that the scale of text processing input into or generated by the model has grown. However, token throughput is not the same metric as the actual number of users or requests.
AI inference is the process in which a trained model receives user input in a real service environment and generates results. The required GPU resources and processing time vary depending on the model size, request volume, response length, and other factors.
Especially in global services, the ability to secure and manage computing resources in response to changes in demand is crucial because users from various regions send requests simultaneously.
To this end, Vessel AI shared model launch and promotion schedules, as well as projected usage, with Upstage and designed the necessary inference capacity in advance.
Processing speed improved with cache and quantization optimization… Cost per token reduced by up to half
The foundation Vessel AI utilized to support Solar Pro 4's global services is GPU clusters established in various regions, including Korea, Europe, and the United States, along with its proprietary inference engine optimization technology.
The company configured GPU resources and tuned the inference engine to align with model characteristics and actual usage patterns. Through this, they focused on lowering operating costs per token while handling more requests on the same infrastructure.
Key optimization techniques included cache hit rate improvement, model quantization, and inference speed enhancement.
The cache hit rate refers to the percentage of previously processed computation results that can be reused. Reducing repetitive computations helps lower GPU resource usage and improve response processing efficiency.
Model quantization is a technique that reduces memory usage and computational burden by adjusting the precision of the numerical values used in AI model computations. Depending on the model's characteristics and application method, it can improve inference performance and resource efficiency.
According to Vessel AI, as a result of applying this technology, inference processing speed improved by an average of 2 times and up to 3 times in comparisons before and after endpoint adoption.
In addition, the cost per token was reduced by up to 50% by increasing cache utilization efficiency. These figures represent the optimization results presented by the company and do not guarantee the same level of improvement across all models or service environments.
In this collaboration, Vessel AI went beyond simply supplying GPU resources to handle capacity design based on projected demand, inference engine optimization, and global serving operations.
Through this, they established a collaborative structure in which Upstage focuses on model development and service expansion, while Vessel AI is responsible for infrastructure operations that respond to changes in actual usage.
"This collaboration is highly significant in that it backs the global achievements of models developed in Korea with the infrastructure of Korea's NeoCloud," said Ahn Jae-man, CEO of Vessel AI. "Based on our accumulated experience in operating inference, we will strengthen our capabilities as an inference provider that offers an environment where model providers can focus on research and product development, and supports the stable adoption of open-source models by enterprises."
Meanwhile, Vessel AI recently supplied GPU infrastructure for AI research and development to SK Biopharmaceuticals and signed an agreement with NeoAI for the construction and operation of a GPU platform at the Pohang AI Data Center.
Vessel AI plans to strengthen its inference service business targeting AI model providers by adding Solar Pro4's global inference operation experience to this enterprise GPU infrastructure business.
ベッスルAI、アップステージ「ソーラープロ4」グローバル推論引き受けた… 1日1550億トークン処理の裏付け
人工知能（AI）モデルの競争力は、開発段階の性能だけでなく、実際のユーザーの要求をどれだけ迅速かつ安定的に処理するかによっても異なります。特にグローバルサービスでは国別で利用量が異なり、新規モデルの発売やプロモーションによってトラフィックが急増することができ、これを余儀なくされる推論インフラが重要だ。国内で開発した大規模言語モデル（LLM）が海外利用者を確保するためには、モデル開発能力とともにグローバルGPUリソースと推論運用技術が支えられなければならない。ネオクラウド企業ベッスルAIは、アップステージの「ソーラープロ4」にグローバル推論インフラを提供し、国産AIモデルの海外サービス運営を支援した。
ベッスルAI（VESSL AI、代表アンジェマン）は、アップステージのLLM「Solar Pro 4（Solar Pro 4）」にグローバルインファレンス（Inference・推論）インフラを提供し、自己最適化技術を通じて処理速度と運用コストを改善した。
Solar Pro 4は去る9月、グローバルLLMマーケットプレイスオープンルーター(OpenRouter)で使用量3位に上がった。当該順位はオープンルータープラットフォームで集計した実際の利用量を基準としたものであり、全グローバルLLM市場のシェアやモデル性能順位を意味するものではない。
ベッスルAIは、その期間ソーラープロ4のグローバルサービングを担当し、世界中のユーザーの推論要求を処理した。同社が公開した資料によると、Sola Pro 4の毎日のトークンスループットが80億個から1550億個に増加する過程でグローバル推論インフラを提供した。
トークンは、AIモデルがテキストを処理する基本単位です。毎日の処理トークンの数が増加するとは、モデルに入力または生成されるテキストの処理規模が大きくなったことを意味します。ただし、トークンスループットは実際のユーザー数や要求件数と同じ指標ではない。
AIインファレンスは、学習を終えたモデルが実際のサービス環境でユーザーの入力を受けて結果を生成する過程である。モデルのサイズと要求量、応答長などによって必要なGPUリソースと処理時間が異なる。
特にグローバルサービスでは、様々な地域の利用者が同時に要請を送るため、需要変化に合わせて演算資源を確保し運営する能力が重要である。
ベッスルAIはこのためにアップステージとモデル発売およびプロモーションスケジュール、予想利用量を共有し、必要な推論容量を事前に設計した。
キャッシュ・量子化最適化で処理速度改善…トークンあたりのコストの最大半分
ベッスルAIがソーラープロ4のグローバルサービスを支援するために活用した基盤は、韓国やヨーロッパ、アメリカなど様々な地域に構築したGPUクラスターと独自のインファレンスエンジン最適化技術だ。
同社はモデル特性と実際の利用パターンに合わせてGPUリソースを構成し、推論エンジンを調整した。これにより、同じインフラストラクチャでより多くの要求を処理しながら、トークンあたりの運用コストを削減することに集中しました。
主な最適化技術にはキャッシュヒット率改善とモデル量子化、推論速度向上技術が含まれた。
キャッシュヒット率とは、以前に処理した演算結果などを再利用できる割合を意味する。繰り返される操作を減らすことで、GPUリソースの使用量を減らし、応答処理効率を向上させるのに役立ちます。
モデル量子化は、AIモデルの演算に使用する数値の精度を調整し、メモリ使用量と演算負担を減らす技術だ。モデルの特性と適用方法によって推論性能と資源効率を改善することができる。
ベッスルAIによると、これらの技術を適用した結果、エンドポイント導入前後の比較で推論処理速度が平均2倍、最大3倍向上した。
また、キャッシュ活用効率を高め、トークン当たりのコストを最大50％削減した。この数値は会社が提示した最適化の結果であり、すべてのモデルやサービス環境で同じ改善幅が保証されるわけではありません。
今回の協力でベッスルAIはGPU資源を供給する役割を超え、予想需要に応じた容量設計と推論エンジン最適化、グローバルサービング運営まで担当した。
これにより、アップステージはモデル開発とサービス拡大に集中し、ベッスルAIは実際の利用量の変化に対応するインフラ運営を引き受ける協力構造を構築した。
アン・ジェマン・ベッスルAI代表は「今回の協力は韓国で開発したモデルのグローバル成果を韓国ネオクラウドのインフラとして支えたという点で意味が大きい」とし「蓄積したインファレンス運営経験をもとに、モデル提供者が研究や製品開発に集中できる環境を提供し、企業の安定的なオープンソースモデル導入を支援する」と語った。
一方、ベッスルAIは最近SKバイオファームにAI研究開発用GPUインフラを供給し、ネオAIと浦項AIデータセンターのGPUプラットフォーム構築・運営のための条約を締結した。
ベッスルAIはこのような企業向けGPUインフラ事業にソーラープロ4のグローバル推論運営経験を加え、AIモデルプロバイダーを対象としたインファレンスサービス事業を強化する方針だ。
Vessel AI 主导 Upstage 'Solar Pro 4' 全球推理……支持每日 1550 亿个代币的处理
人工智能（AI）模型的竞争力不仅取决于开发阶段的性能，还取决于其处理实际用户请求的速度和可靠性。尤其是在全球服务领域，由于各国使用情况各异，且新模型发布或推广活动可能导致流量激增，因此能够应对这种情况的推理基础设施至关重要。对于国产大规模语言模型（LLM）而言，要想获得海外用户，除了模型开发能力之外，还必须有全球GPU资源和推理运算技术的支持。NeoCloud旗下公司VesselAI通过为Upstage的“Solar Pro 4”提供全球推理基础设施，助力国产AI模型的海外服务运营。
VESSL AI（CEO Jae-Man Ahn）为 Upstage 的 LLM“Solar Pro 4”提供了全球推理基础设施，并通过其自身的优化技术提高了处理速度并降低了运营成本。
去年九月，Solar Pro 4 在全球 LLM 市场 OpenRouter 的使用率排名第三。该排名基于 OpenRouter 平台收集的实际使用数据，并不代表其在全球 LLM 市场整体的市场份额或性能排名。
在此期间，Vessel AI负责Solar Pro 4的全球服务，并处理来自世界各地用户的推理请求。根据该公司发布的数据，随着Solar Pro 4的日代币吞吐量从80亿增长到1550亿，Vessel AI提供了全球推理基础设施。
令牌（token）是人工智能模型处理文本的基本单元。每日处理的令牌数量的增加表明模型输入或生成的文本处理规模扩大了。然而，令牌吞吐量并不等同于实际用户数量或请求数量。
人工智能推理是指训练好的模型在真实服务环境中接收用户输入并生成结果的过程。所需的GPU资源和处理时间取决于模型大小、请求量、响应长度和其他因素。
尤其是在全球服务领域，根据需求变化保护和管理计算资源的能力至关重要，因为来自不同地区的用户会同时发送请求。
为此，Vessel AI 与 Upstage 分享了模型发布和推广计划以及预计使用情况，并提前设计了必要的推理能力。
通过缓存和量化优化，处理速度得到提升……每个令牌的成本降低了近一半。
Vessel AI 为支持 Solar Pro 4 的全球服务而采用的基础是在包括韩国、欧洲和美国在内的各个地区建立的 GPU 集群，以及其专有的推理引擎优化技术。
该公司配置了GPU资源并调整了推理引擎，使其与模型特性和实际使用模式相匹配。通过这种方式，他们致力于降低每个令牌的运营成本，同时在相同的基础设施上处理更多请求。
关键优化技术包括提高缓存命中率、模型量化和提高推理速度。
缓存命中率是指先前已处理过的计算结果可以被重用的百分比。减少重复计算有助于降低GPU资源占用，提高响应处理效率。
模型量化是一种通过调整人工智能模型计算中使用的数值精度来降低内存占用和计算负担的技术。根据模型的特性和应用方式，它可以提高推理性能和资源利用效率。
据 Vessel AI 称，应用该技术后，与采用终端设备前后相比，推理处理速度平均提高了 2 倍，最高可达 3 倍。
此外，通过提高缓存利用率，每个令牌的成本最多降低了 50%。这些数据代表了公司提供的优化结果，并不保证在所有模型或服务环境中都能获得相同程度的改进。
在此次合作中，Vessel AI 不仅限于提供 GPU 资源，还根据预测需求进行容量设计、推理引擎优化和全球服务运营。
通过这种方式，他们建立了一种协作结构，其中 Upstage 专注于模型开发和服务扩展，而 Vessel AI 负责响应实际使用变化的基础设施运营。
Vessel AI首席执行官安宰万表示：“此次合作意义重大，它将韩国开发的模型与韩国NeoCloud的基础设施相结合，为全球应用提供支持。基于我们积累的推理运营经验，我们将增强自身作为推理服务提供商的能力，为模型提供商提供一个能够专注于研究和产品开发的环境，并支持企业稳定采用开源模型。”
与此同时，Vessel AI 近期向 SK Biopharmaceuticals 提供了用于人工智能研发的 GPU 基础设施，并与 NeoAI 签署了一项协议，在浦项人工智能数据中心建设和运营 GPU 平台。
Vessel AI 计划将 Solar Pro4 的全球推理运营经验添加到其企业级 GPU 基础设施业务中，从而加强其面向 AI 模型提供商的推理服务业务。
Vessel AI prend le relais pour l'inférence mondiale de « Solar Pro 4 »… prenant en charge le traitement quotidien de 155 milliards de jetons
La compétitivité d'un modèle d'intelligence artificielle (IA) dépend non seulement de ses performances lors de la phase de développement, mais aussi de sa capacité à traiter rapidement et de manière fiable les requêtes des utilisateurs. Dans le cadre des services internationaux, où l'utilisation varie selon les pays et où le trafic peut connaître des pics lors du lancement de nouveaux modèles ou de promotions, une infrastructure d'inférence capable de gérer ces variations est cruciale. Pour que les modèles de langage à grande échelle (LLM) développés localement puissent séduire les utilisateurs étrangers, ils doivent s'appuyer sur des ressources GPU et une technologie d'inférence globales, en complément de leurs capacités de développement. La société VesselAI, spécialisée dans le cloud (NeoCloud), a accompagné les opérations de service à l'international des modèles d'IA nationaux en fournissant une infrastructure d'inférence globale pour « Solar Pro 4 » d'Upstage.
VESSL AI (PDG Jae-Man Ahn) a fourni une infrastructure d'inférence globale au LLM « Solar Pro 4 » d'Upstage et a amélioré la vitesse de traitement et les coûts d'exploitation grâce à sa propre technologie d'optimisation.
En septembre dernier, le Solar Pro 4 occupait la troisième place en termes d'utilisation sur la plateforme OpenRouter, un marché mondial dédié aux solutions LLM. Ce classement est basé sur les données d'utilisation réelles collectées par la plateforme OpenRouter et ne reflète pas les parts de marché ni les performances globales des modèles sur le marché mondial des solutions LLM.
Durant cette période, Vessel AI était responsable du déploiement mondial de Solar Pro 4 et traitait les requêtes d'inférence des utilisateurs du monde entier. D'après les données publiées par l'entreprise, elle a fourni l'infrastructure d'inférence globale alors que le débit quotidien de jetons de Solar Pro 4 passait de 8 milliards à 155 milliards.
Un jeton est l'unité de base utilisée par un modèle d'IA pour traiter du texte. Une augmentation du nombre quotidien de jetons traités indique une augmentation du volume de données textuelles traitées par le modèle. Cependant, le débit de jetons ne reflète pas nécessairement le nombre réel d'utilisateurs ou de requêtes.
L'inférence en IA est le processus par lequel un modèle entraîné reçoit des données d'entrée utilisateur dans un environnement de service réel et génère des résultats. Les ressources GPU requises et le temps de traitement varient en fonction de la taille du modèle, du volume de requêtes, de la longueur des réponses et d'autres facteurs.
Dans le domaine des services mondiaux notamment, la capacité à sécuriser et à gérer les ressources informatiques en fonction des variations de la demande est cruciale, car des utilisateurs de différentes régions envoient des requêtes simultanément.
À cette fin, Vessel AI a partagé avec Upstage les calendriers de lancement et de promotion des modèles, ainsi que leur utilisation prévue, et a conçu à l'avance la capacité d'inférence nécessaire.
Amélioration de la vitesse de traitement grâce à l'optimisation du cache et de la quantification… Coût par jeton réduit de moitié
L'infrastructure sur laquelle Vessel AI s'appuie pour soutenir les services mondiaux de Solar Pro 4 repose sur des clusters GPU établis dans différentes régions, notamment en Corée, en Europe et aux États-Unis, ainsi que sur sa technologie d'optimisation de moteur d'inférence propriétaire.
L'entreprise a configuré les ressources GPU et optimisé le moteur d'inférence en fonction des caractéristiques du modèle et des habitudes d'utilisation réelles. Ce faisant, elle s'est concentrée sur la réduction des coûts d'exploitation par jeton tout en traitant un plus grand nombre de requêtes sur la même infrastructure.
Les principales techniques d'optimisation comprenaient l'amélioration du taux d'accès au cache, la quantification du modèle et l'amélioration de la vitesse d'inférence.
Le taux d'accès au cache correspond au pourcentage de résultats de calculs précédemment traités qui peuvent être réutilisés. La réduction des calculs répétitifs contribue à diminuer l'utilisation des ressources du GPU et à améliorer l'efficacité du traitement des réponses.
La quantification de modèles est une technique qui réduit l'utilisation de la mémoire et la charge de calcul en ajustant la précision des valeurs numériques utilisées dans les calculs des modèles d'IA. Selon les caractéristiques du modèle et sa méthode d'application, elle peut améliorer les performances d'inférence et l'efficacité des ressources.
Selon Vessel AI, l'application de cette technologie a permis d'améliorer la vitesse de traitement des inférences de 2 fois en moyenne, et jusqu'à 3 fois, par rapport à la période précédant et suivant son adoption.
De plus, le coût par jeton a été réduit jusqu'à 50 % grâce à une meilleure utilisation du cache. Ces chiffres correspondent aux résultats d'optimisation présentés par l'entreprise et ne garantissent pas un niveau d'amélioration identique pour tous les modèles ou environnements de service.
Dans le cadre de cette collaboration, Vessel AI est allé au-delà de la simple fourniture de ressources GPU pour gérer la conception des capacités en fonction de la demande prévue, l'optimisation du moteur d'inférence et les opérations de service mondiales.
Grâce à cela, ils ont établi une structure collaborative dans laquelle Upstage se concentre sur le développement de modèles et l'expansion des services, tandis que Vessel AI est responsable des opérations d'infrastructure qui répondent aux changements d'utilisation réelle.
« Cette collaboration est d'une importance capitale car elle soutient les succès mondiaux des modèles développés en Corée grâce à l'infrastructure de NeoCloud », a déclaré Ahn Jae-man, PDG de Vessel AI. « Forts de notre expérience en matière d'inférence, nous renforcerons nos capacités en tant que fournisseur de solutions d'inférence offrant un environnement où les fournisseurs de modèles peuvent se concentrer sur la recherche et le développement de produits, et favorisant l'adoption durable des modèles open source par les entreprises. »
Parallèlement, Vessel AI a récemment fourni une infrastructure GPU pour la recherche et le développement en IA à SK Biopharmaceuticals et a signé un accord avec NeoAI pour la construction et l'exploitation d'une plateforme GPU au centre de données d'IA de Pohang.
Vessel AI prévoit de renforcer son activité de services d'inférence ciblant les fournisseurs de modèles d'IA en ajoutant l'expérience mondiale de Solar Pro4 en matière d'opérations d'inférence à son activité d'infrastructure GPU d'entreprise.