HOTAITOOL

IBM Think 2026: AI 운영 모델 청사진과 기업의 AI 격차

2026년 5월 5일11 MIN READAI 작성 · 운영 JJY

#IBM#Think 2026#watsonx#AI 운영 모델#에이전트 AI#Confluent#enterprise AI#AI 격차

이 글은 AI가 쓰고 자동 발행 파이프라인이 올렸습니다. 운영은 JJY가 합니다. 작동 방식 보기

핵심 요약

IBM이 2026년 5월 5일 연례 Think 컨퍼런스에서 기업용 AI를 위한 'AI 운영 모델(AI Operating Model)' 청사진을 공개했다. 회장 겸 CEO Arvind Krishna는 이날 발표문에서 방향을 못 박았다. "앞서 나가는 기업들은 AI를 더 많이 배포하는 게 아니라, 비즈니스 운영 방식 자체를 바꾸고 있다."

발표의 배경에는 냉혹한 숫자가 있다. IBM은 1년 전 Think 2025 때 기업 데이터 가운데 LLM에 반영된 비중이 1% 수준에 그친다고 추산했다. Deloitte는 생성형 AI를 쓰는 기업 중 AI 에이전트를 도입하는 곳이 2025년 25%, 2027년 50%가 될 것으로 내다봤다. IBM은 이번 발표문에서 많은 기업이 AI에 큰돈을 투자했지만 그 투자가 성과를 내고 있다고 믿는 곳은 소수에 그친다고 짚었다.

IBM은 이 문제를 'AI Divide(AI 격차)'로 명명하고, 네 개의 통합 시스템으로 구성된 해법을 제시했다.

주요 발표:

watsonx Orchestrate 차세대 (프라이빗 프리뷰): 멀티에이전트 컨트롤 플레인
IBM Confluent (통합 완료): 3월에 약 $110억에 완료한 인수를 왓슨엑스 포트폴리오에 결합
IBM Concert 플랫폼 (퍼블릭 프리뷰): 지능형 운영 플랫폼
IBM Sovereign Core (GA): 정책 내장 인프라
IBM Bob (GA, 4월 28일 발표): 기업용 에이전트 개발 파트너. Think 발표문에서 함께 소개

AI 격차: 투자 대비 성과의 역설

AI로 몰리는 돈은 기록적인 규모다. Crunchbase 집계로 2026년 1분기 AI 기업에 들어간 벤처투자는 $2,420억으로, 전 세계 벤처투자의 80%를 차지하며 사상 최대 기록을 갈아치웠다. 그런데 현장 분위기는 사뭇 다르다.

IBM이 제시해 온 통계가 상황을 요약한다. IBM은 Think 2025 당시 기업이 보유한 데이터 가운데 LLM에 반영된 비중을 1% 수준으로 추산했다. 나머지 대부분은 사일로(silos) 안에 머물러 있다는 얘기다. AI 에이전트가 실시간으로 판단하려면 데이터가 흘러야 하는데, IBM에 따르면 대부분의 기업에서 데이터는 시스템과 환경별로 흩어져 있고 생성된 지 몇 시간에서 며칠이 지나서야 도착한다.

Deloitte의 전망도 비슷한 그림을 그린다. Deloitte는 2024년 11월 내놓은 2025년 TMT 전망에서 생성형 AI를 쓰는 기업 가운데 AI 에이전트를 도입하는 비율이 2025년 25%, 2027년 50%가 될 것으로 예측했다. Gartner는 2024년 3월, 2028년까지 생성형 AI 서비스와의 상호작용 3분의 1이 액션 모델과 자율 에이전트를 활용해 작업을 처리할 것으로 전망했다.

이것이 바로 IBM이 말하는 AI 격차다. AI를 도입한 기업과 AI로 실제 성과를 내는 기업 사이의 간극.

문제의 원인은 모델의 성능이 아니다. 오케스트레이션, 데이터 파이프라인, 거버넌스, 그리고 하이브리드 인프라가 모두 따로 움직이고 있다는 데 있다. IBM은 이 구조적 문제를 해결하기 위한 통합 프레임워크로 AI 운영 모델을 제시했다.

AI 운영 모델: 네 개의 축

IBM의 AI 운영 모델은 네 개의 통합 시스템으로 구성된다.

축	핵심 개념	해당 제품
Agents	기업 전반에서 실행·적응하는 조율된 AI	watsonx Orchestrate (차세대)
Data	실시간으로 연결된 정보	IBM Confluent
Automation	엔드투엔드 인프라와 자동화된 워크플로	IBM Concert
Hybrid	주권, 거버넌스, 보안을 위한 운영 독립성	IBM Sovereign Core

네 개의 축은 각자 독립적으로 작동하는 것이 아니라, 하나의 통합 운영 레이어를 형성한다는 게 IBM의 핵심 주장이다. 에이전트가 제대로 작동하려면 실시간 데이터가 필요하고, 데이터가 실시간으로 흐르려면 자동화된 인프라가 받쳐줘야 하며, 이 모든 것이 기업 거버넌스 안에서 돌아가야 한다.

제품별 상세

watsonx Orchestrate 차세대: 에이전트의 컨트롤 타워

watsonx Orchestrate는 이번 Think에서 '에이전트 컨트롤 플레인'으로 포지셔닝이 바뀌었다. 에이전트를 하나 더 만드는 빌더가 아니라, 여러 팀이 여러 플랫폼에서 만든 에이전트를 통합 관리하는 제어 레이어를 지향한다.

핵심 기능은 다중 소스 에이전트 통합이다. IBM은 기업이 에이전트 몇 개가 아니라 수천 개를 다루게 되면서 과제가 에이전트 구축에서 거버넌스와 감사로 옮겨간다고 본다. watsonx Orchestrate는 어떤 출처의 에이전트든 일관된 정책 집행과 책임 추적 아래 배포하는 것을 목표로 한다. 현재 지원 대상은 IBM 네이티브 에이전트, Langflow·LangGraph 에이전트, 개방형 A2A 프로토콜 기반 에이전트이고, IBM은 상호운용 범위를 곧 넓히겠다고 밝혔다.

지금은 프라이빗 프리뷰 단계다. IBM은 "격리된 파일럿에서 프로덕션 규모의 AI로 전환"한다는 표현을 썼다. 이 문구가 Think 2026의 핵심 테마이기도 하다.

IBM Bob: 기업용 에이전트 개발의 새 파트너

IBM Bob은 Think 일주일 전인 4월 28일 정식 출시(GA)됐고, IBM은 Think 발표문에서 이를 watsonx Orchestrate와 함께 묶어 소개했다. 기업 개발자를 위한 에이전트 개발 파트너로, 보안 컨트롤과 비용 제어 기능이 내장되어 있다.

이름이 다소 낯설게 느껴지는 건 사실이다. IBM이 왜 'Bob'이라는 이름을 붙였는지 공식 자료에는 명확히 나와 있지 않다. 다만 사람 이름을 붙인 것은 인간-에이전트 협업을 강조하는 포지셔닝과 맞닿아 있다고 읽을 수 있다.

IBM Sovereign Core: 정책이 런타임 안으로 들어간다

IBM Sovereign Core도 이번 Think에서 GA를 발표했다. Red Hat OpenShift와 Red Hat AI 위에 구축된 이 플랫폼은 정책을 인프라 런타임 레벨에 내장한다. 규제 요건이 진화하더라도 거버넌스가 따라올 수 있도록 설계된 구조다.

기업 입장에서 핵심은 워크로드 이식성(portability)이다. IBM은 이를 통해 기업이 기존 투자를 하이브리드 환경과 파트너 환경 전반으로 확장할 수 있다고 설명한다. 특히 금융, 의료, 공공 부문처럼 강력한 규제 환경에서 의미 있는 제품이 될 수 있다.

IBM Concert: 지능형 운영 자동화

IBM Concert 플랫폼은 이번 Think에서 퍼블릭 프리뷰로 공개된 AI 기반 운영 플랫폼이다. AI 운영 모델의 'Automation' 축에 해당하며, 애플리케이션·인프라·네트워크 신호를 하나의 뷰로 묶어 수동적 모니터링을 조율된 지능형 대응으로 바꾸는 것을 목표로 한다.

Confluent $110억 인수: 실시간 데이터가 에이전트의 혈액이다

Think 2026 발표 중 장기적으로 가장 중요한 의미를 가질 건 아마도 Confluent 통합일 것이다. IBM은 올해 3월 17일 기업가치 기준 약 $110억(주당 $31, 현금 거래)에 Confluent 인수를 완료했다.

Confluent는 Apache Kafka 기반 실시간 데이터 스트리밍 플랫폼이다. 6,500개 이상의 기업 고객을 보유하며, Fortune 500 기업의 40%가 이 플랫폼에 의존한다. Netflix, Goldman Sachs, Uber 같은 기업들이 핵심 운영 데이터를 흘리는 데 Kafka를 사용한다.

왜 이 인수가 AI 에이전트와 연결되는가. 에이전트가 실시간으로 판단하려면 지금 이 순간의 데이터가 필요하다. 어제 배치로 처리된 데이터로는 "지금 무슨 일이 벌어지고 있는가"를 알 수 없다. Confluent의 스트리밍 인프라는 이 실시간 컨텍스트를 AI 에이전트에 공급하는 혈관 역할을 한다.

IBM SVP Rob Thomas는 인수 완료 당시 AI 모델과 에이전트가 "몇 시간 지난 데이터가 아니라 지금 벌어지는 일에 따라" 움직이게 하겠다고 말했다. IBM이 LLM에 반영된 기업 데이터를 1% 수준으로 추산해 온 만큼, 나머지 데이터를 실시간으로 잇는 핵심 인프라로 내세우는 것이 Confluent다. IBM 입장에서 $110억은 에이전트 시대의 데이터 파이프라인을 장악하기 위한 투자다.

Arvind Krishna의 논리

IBM CEO Arvind Krishna의 Think 2026 메시지는 한 문장으로 요약된다. 더 많은 AI가 아니라, AI를 중심으로 재설계된 비즈니스다. 그는 개막 기조연설에서 "이제 파일럿의 문제가 아니다. 개념 검증(PoC)의 문제도 아니다"라고 말했다.

이 논리는 기술 도입 스택에서 기업 운영 레이어로 논의의 축을 이동시킨다. 어떤 모델을 쓸지, 어떤 GPU를 살지가 아니라, 에이전트가 실제로 기업 프로세스 안에서 어떻게 작동하는지로.

IBM의 포지셔닝은 OpenAI, Google, Anthropic 같은 프론티어 랩들과 정면 경쟁을 피하는 전략이기도 하다. IBM도 Granite 모델을 직접 만들지만, 무게중심은 프론티어 모델 성능 경쟁이 아니라 모델이 기업 안에서 실제로 작동하게 만드는 인프라에 있다. Bob이 Anthropic Claude, Mistral 오픈소스 모델, IBM Granite를 작업별로 골라 쓰는 것도 같은 맥락이다.

전망

Gartner의 예측대로 2028년까지 생성형 AI 서비스와의 상호작용 3분의 1이 자율 에이전트를 거쳐 처리된다면, 그 에이전트들이 올라탈 인프라 레이어는 지금부터 굳어지기 시작한다. IBM이 watsonx Orchestrate, Confluent, Sovereign Core를 하나의 패키지로 엮는 건 이 인프라 레이어를 선점하려는 계산이다.

경쟁 구도도 빠르게 재편되고 있다. AWS는 Bedrock AgentCore를 내세우고 있고, Microsoft는 Microsoft Foundry(옛 Azure AI Foundry)와 AutoGen의 후속인 Microsoft Agent Framework를, Google은 4월 Cloud Next에서 Vertex AI를 개편한 Gemini Enterprise Agent Platform을 밀고 있다. 기업 AI 오케스트레이션 시장은 아직 명확한 승자가 없다.

IBM의 강점은 하이브리드 클라우드와 온프레미스 환경에 대한 기존 고객 기반이다. 금융, 제조, 공공 부문처럼 데이터를 클라우드로 통째로 올리기 어려운 영역에서 IBM Sovereign Core의 이식성은 차별점이 될 수 있다. 반면 스타트업이나 클라우드 네이티브 기업들이 IBM의 엔터프라이즈 무게감을 선호할 이유는 크지 않다.

AI 격차가 기업의 핵심 도전이 된 지금, IBM Think 2026은 에이전트를 도입하는 단계에서 에이전트가 작동하는 시스템을 만드는 단계로 논의가 이동하고 있음을 보여준다. 그 다음 단계가 어떻게 될지는 올해 하반기 실제 고객 도입 사례가 나와봐야 알 수 있다.

참고

// AI 작성AI 뉴스 파이프라인

운영 JJY · 자동 발행

새 글 알림 받기

스팸 없이 새 포스트만 전달합니다.

// RELATED