IBM Think 2026: AI 운영 모델 청사진과 기업의 AI 격차
핵심 요약
IBM이 2026년 5월 5일 연례 Think 컨퍼런스에서 기업용 AI를 위한 'AI 운영 모델(AI Operating Model)' 청사진을 공개했다. CEO Arvind Krishna는 개막 기조연설에서 방향을 못 박았다. "앞서 나가는 기업들은 AI를 더 많이 배포하는 게 아니라, 비즈니스 운영 방식 자체를 바꾸고 있다."
발표의 배경에는 냉혹한 숫자가 있다. IBM SVP Rob Thomas에 따르면 기업 데이터의 1% 미만만이 현재 AI 모델에 연결되어 있다. Deloitte 조사에서는 2025년 에이전트 시스템을 실제로 시범 운영한 기업이 전체의 25%에 불과했다. 대부분의 기업이 AI에 막대한 예산을 쏟아부었지만, 성과를 체감하는 곳은 극소수다.
IBM은 이 문제를 'AI Divide(AI 격차)'로 명명하고, 네 개의 통합 시스템으로 구성된 해법을 제시했다.
주요 발표:
- watsonx Orchestrate 차세대 (프라이빗 프리뷰): 멀티에이전트 컨트롤 플레인
- IBM Confluent (통합 완료): 3월에 $110억에 완료한 인수를 왓슨엑스 포트폴리오에 결합
- IBM Concert: 지능형 운영 플랫폼
- IBM Sovereign Core (GA): 정책 내장 인프라
- IBM Bob (GA): 기업용 에이전트 개발 파트너
AI 격차: 투자 대비 성과의 역설
기업들이 AI에 쏟아붓는 자금은 전례 없는 규모다. 2026년 1분기 글로벌 AI 벤처투자는 $2,420억에 달했고, 이 숫자는 계속 커지고 있다. 그런데 현장 분위기는 사뭇 다르다.
IBM이 제시한 통계가 상황을 요약한다. 기업이 보유한 데이터의 1% 미만만이 현재 AI 모델에 실제로 연결되어 있다. 나머지 99%는 사일로(silos) 안에 갇혀 있다. AI 에이전트가 실시간으로 판단하려면 데이터가 흘러야 하는데, 대부분의 기업 IT 환경은 배치(batch) 처리 방식에 묶여 있다.
Deloitte의 2025년 조사 결과도 비슷하다. 에이전트 시스템을 실제 환경에서 시범 운영해본 기업은 전체의 25%에 그쳤다. Gartner는 2028년까지 AI 에이전트가 전체 생성형 AI 상호작용의 40%를 차지할 것으로 전망하지만, 현재 대다수의 CIO들은 자사 방화벽 안에서 운영 중인 에이전트를 단 하나도 명확하게 지목하지 못한다.
이것이 바로 IBM이 말하는 AI 격차다. AI를 도입한 기업과 AI로 실제 성과를 내는 기업 사이의 간극.
문제의 원인은 모델의 성능이 아니다. 오케스트레이션, 데이터 파이프라인, 거버넌스, 그리고 하이브리드 인프라가 모두 따로 움직이고 있다는 데 있다. IBM은 이 구조적 문제를 해결하기 위한 통합 프레임워크로 AI 운영 모델을 제시했다.
AI 운영 모델: 네 개의 축
IBM의 AI 운영 모델은 네 개의 통합 시스템으로 구성된다.
| 축 | 핵심 개념 | 해당 제품 |
|---|---|---|
| Agents | 기업 전반에서 실행·적응하는 조율된 AI | watsonx Orchestrate (차세대) |
| Data | 실시간으로 연결된 정보 | IBM Confluent |
| Automation | 엔드투엔드 인프라와 자동화된 워크플로 | IBM Concert |
| Hybrid | 주권, 거버넌스, 보안을 위한 운영 독립성 | IBM Sovereign Core |
네 개의 축은 각자 독립적으로 작동하는 것이 아니라, 하나의 통합 운영 레이어를 형성한다는 게 IBM의 핵심 주장이다. 에이전트가 제대로 작동하려면 실시간 데이터가 필요하고, 데이터가 실시간으로 흐르려면 자동화된 인프라가 받쳐줘야 하며, 이 모든 것이 기업 거버넌스 안에서 돌아가야 한다.
제품별 상세
watsonx Orchestrate 차세대: 에이전트의 컨트롤 타워
watsonx Orchestrate는 이번 Think에서 '에이전트 컨트롤 플레인'으로 포지셔닝이 바뀌었다. 이전 버전이 단순한 AI 워크플로 도구였다면, 차세대 버전은 기업 전체의 AI 에코시스템을 통합 관리하는 제어 레이어를 지향한다.
핵심 기능은 다중 소스 에이전트 통합이다. 기업들은 현재 AWS Bedrock, Google Vertex, 자체 개발 등 다양한 출처의 에이전트를 혼용하고 있다. watsonx Orchestrate는 이들을 하나의 플레인에서 관리하면서 일관된 정책 집행과 책임 추적을 가능하게 한다.
지금은 프라이빗 프리뷰 단계다. IBM은 "격리된 파일럿에서 프로덕션 규모의 AI로 전환"한다는 표현을 썼다. 이 문구가 Think 2026의 핵심 테마이기도 하다.
IBM Bob: 기업용 에이전트 개발의 새 파트너
IBM Bob은 이번 Think에서 정식 출시(GA)됐다. 기업 개발자를 위한 에이전트 개발 파트너로, 보안 컨트롤과 비용 제어 기능이 내장되어 있다.
이름이 다소 낯설게 느껴지는 건 사실이다. IBM이 왜 'Bob'이라는 이름을 붙였는지 공식 자료에는 명확히 나와 있지 않다. 다만 실제 사람 이름을 차용한 것이 인간-에이전트 협업을 강조하는 포지셔닝과 맞닿아 있다는 해석이 나온다.
IBM Sovereign Core: 정책이 런타임 안으로 들어간다
IBM Sovereign Core도 이번 Think에서 GA를 발표했다. Red Hat OpenShift와 Red Hat AI 위에 구축된 이 플랫폼은 정책을 인프라 런타임 레벨에 내장한다. 규제 요건이 진화하더라도 거버넌스가 따라올 수 있도록 설계된 구조다.
기업 입장에서 핵심은 **워크로드 이식성(portability)**이다. 온프레미스, 하이브리드 클라우드, 파트너 환경 어디서든 동일한 정책 레이어가 작동한다. 특히 금융, 의료, 공공 부문처럼 강력한 규제 환경에서 의미 있는 제품이 될 수 있다.
IBM Concert: 지능형 운영 자동화
IBM Concert는 엔드투엔드 인프라 자동화를 담당하는 플랫폼이다. AI 운영 모델의 'Automation' 축에 해당하며, 기업 전반의 워크플로를 자동화하고 지능형 운영을 지원한다.
Confluent $110억 인수: 실시간 데이터가 에이전트의 혈액이다
Think 2026 발표 중 장기적으로 가장 중요한 의미를 가질 건 아마도 Confluent 통합일 것이다. IBM은 올해 3월 17일 약 $110억(주당 $31, 현금 거래)에 Confluent 인수를 완료했다.
Confluent는 Apache Kafka 기반 실시간 데이터 스트리밍 플랫폼이다. 6,500개 이상의 기업 고객을 보유하며, Fortune 500 기업의 40%가 이 플랫폼에 의존한다. Netflix, Goldman Sachs, Uber 같은 기업들이 핵심 운영 데이터를 흘리는 데 Kafka를 사용한다.
왜 이 인수가 AI 에이전트와 연결되는가. 에이전트가 실시간으로 판단하려면 지금 이 순간의 데이터가 필요하다. 어제 배치로 처리된 데이터로는 "지금 무슨 일이 벌어지고 있는가"를 알 수 없다. Confluent의 스트리밍 인프라는 이 실시간 컨텍스트를 AI 에이전트에 공급하는 혈관 역할을 한다.
IBM SVP Rob Thomas가 "기업 데이터의 1%만 AI에 연결되어 있다"고 말할 때, 그 99%를 연결하는 핵심 인프라가 바로 Confluent다. IBM 입장에서 $110억은 에이전트 시대의 데이터 파이프라인을 장악하기 위한 투자다.
Arvind Krishna의 논리
IBM CEO Arvind Krishna의 Think 2026 기조연설은 한 문장으로 요약된다. "더 많은 AI가 아니라, AI를 중심으로 재설계된 비즈니스."
이 논리는 기술 도입 스택에서 기업 운영 레이어로 논의의 축을 이동시킨다. 어떤 모델을 쓸지, 어떤 GPU를 살지가 아니라, 에이전트가 실제로 기업 프로세스 안에서 어떻게 작동하는지로.
IBM의 포지셔닝은 OpenAI, Google, Anthropic 같은 프론티어 랩들과 정면 경쟁을 피하는 전략이기도 하다. IBM은 모델을 만들지 않는다. IBM은 모델이 기업 안에서 실제로 작동하게 만드는 인프라를 판다.
전망
Gartner의 예측대로 2028년까지 AI 에이전트가 전체 생성형 AI 상호작용의 40%를 차지한다면, 그 에이전트들이 올라탈 인프라 레이어는 지금부터 굳어지기 시작한다. IBM이 watsonx Orchestrate, Confluent, Sovereign Core를 하나의 패키지로 엮는 건 이 인프라 레이어를 선점하려는 계산이다.
경쟁 구도도 빠르게 재편되고 있다. AWS는 Bedrock AgentCore를 내세우고 있고, Microsoft는 Azure AI Foundry와 AutoGen을, Google은 Vertex AI Agent Builder를 밀고 있다. 기업 AI 오케스트레이션 시장은 아직 명확한 승자가 없다.
IBM의 강점은 하이브리드 클라우드와 온프레미스 환경에 대한 기존 고객 기반이다. 금융, 제조, 공공 부문처럼 데이터를 클라우드로 통째로 올리기 어려운 영역에서 IBM Sovereign Core의 이식성은 차별점이 될 수 있다. 반면 스타트업이나 클라우드 네이티브 기업들이 IBM의 엔터프라이즈 무게감을 선호할 이유는 크지 않다.
AI 격차가 기업의 핵심 도전이 된 지금, IBM Think 2026은 "에이전트를 도입하는 것"에서 "에이전트가 작동하는 시스템을 만드는 것"으로 논의가 이동하고 있음을 보여준다. 그 다음 단계가 어떻게 될지는 올해 하반기 실제 고객 도입 사례가 나와봐야 알 수 있다.
참고
