AI 도입한 기업 88%, 성과를 못 보는 이유

전 세계 기업의 88%가 AI를 도입했지만, 실제 성과를 내는 기업은 5.5%에 불과합니다. McKinsey 2,000명, BCG 1,250명 조사에서 드러난 성과 격차의 원인과, 제조업이 가져갈 수 있는 시사점을 정리했습니다.

Jun 12, 2026

Contents

AI는 도입했는데, 성과가 안 보이는 구조 AI 도입 성과를 가르는 건 기술이 아닌 구조 제조업 AI 도입에서 이 격차가 의미하는 것 AI 도입의 순서, 디지털 전환은 도구보다 데이터 구조가 먼저

전 세계 기업의 88%가 AI를 도입했습니다. 그런데 실제로 실적에 의미 있는 변화를 만들어 낸 기업은 5.5%에 불과합니다. McKinsey가 105개국 약 2,000명의 기업 리더를 조사한 결과입니다.

도입률은 높은데 성과율은 낮은 이 격차는 좁혀지고 있을까요. BCG가 1,250명의 경영진을 대상으로 실시한 조사에 따르면, 오히려 벌어지고 있습니다. 88%와 5.5% 사이에서 무슨 일이 벌어지고 있는지, 두 조사의 결과를 함께 따라가 봅니다.

AI는 도입했는데, 성과가 안 보이는 구조

숫자를 좀 더 들여다보면 상황이 분명해집니다.

McKinsey 조사에서 AI를 도입했다고 응답한 기업은 88%였지만, 실적(EBIT)에 의미 있는 영향을 보고한 기업은 39%에 그쳤습니다. 그중에서도 EBIT 5% 이상의 변화를 만들어 낸 기업은 전체의 5.5%, 약 1,933명 중 109명이었거든요. AI 도입과 성과 사이의 거리가 생각보다 멀다는 뜻이죠.

BCG 조사는 이 격차를 더 구체적으로 보여줍니다. 기업을 AI 성숙도에 따라 네 단계로 나눴는데, 실질적인 성과를 내고 있는 "Future-built" 기업은 전체의 5%에 불과했거든요. 35%는 확대 중이지만 충분히 빠르지 않다고 인정했고, 나머지 60%는 상당한 투자에도 불구하고 매출이나 원가에서 의미 있는 성과를 거의 보지 못하고 있었습니다.

AI 도입 성과에서 더 주목할 점은 이 격차가 좁혀지는 게 아니라 벌어지고 있다는 겁니다. 실제 AI 도입 사례를 살펴봐도 이 패턴은 반복됩니다.

AI 도입에 성공한 5%는 그 수익을 재투자해서 역량을 더 키우고, 60%는 투자 대비 성과가 없으니 다음 단계로 넘어가지 못하는 구조가 반복되고 있거든요. BCG는 이걸 "선순환 vs 악순환"이라고 표현합니다.

AI 도입 성과를 가르는 건 기술이 아닌 구조

그렇다면 5%는 뭐가 다를까요. 더 좋은 AI 모델을 쓰고 있을까요, 예산이 더 많을까요?

McKinsey가 25개 변수를 분석한 결과, 기업의 AI 도입 성과에 가장 큰 영향을 준 요인은 "워크플로우 재설계"였습니다. AI 모델의 성능도, 인재 확보도, 투자 규모도 아닌, 일하는 방식을 근본적으로 다시 짠 기업이 가장 높은 성과를 보인 겁니다.

이건 생각해 보면 당연한 결과이기도 합니다. 기존 업무 방식을 그대로 두고 AI를 위에 얹으면, AI가 하는 일은 기존의 비효율을 더 빠르게 반복하는 것에 가까우니까요. 반대로 업무 흐름 자체를 AI가 작동할 수 있는 구조로 바꾸면, 같은 도구라도 결과가 달라집니다.

BCG도 같은 결론에 도달했습니다. BCG는 AI 성공의 비중을 "10-20-70"으로 정리하는데, 70%는 사람과 프로세스, 20%는 기술 아키텍처, 10%만 알고리즘이라는 겁니다. AI 도입에서 기술보다 구조와 사람이 성과의 대부분을 결정한다는 뜻이죠.

성과를 내는 5%가 공통적으로 하는 일도 여기에 있었습니다. 이들은 AI 워크플로우를 5배 더 많이 배포했고, 가치 측정 체계를 2.5배 더 갖추고 있었고, 워크플로우 재설계에 집중하는 비율이 2.5배 높았습니다. 기술을 바꾼 게 아니라 일하는 방식을 바꾼 거예요.

제조업 AI 도입에서 이 격차가 의미하는 것

McKinsey 조사에서 제조업은 AI 도입 시 10~20%의 원가 절감 효과가 보고된 영역입니다. 비부가가치 업무의 20~30%를 줄인 사례도 있었고요. 그런데 제조업에서 AI 도입을 실제로 확대 적용하고 있는 기업은 10% 미만이었습니다.

잠재력과 실행 사이의 이 간극은 어디서 올까요.

BCG 조사에서 기업들이 꼽은 가장 큰 과제가 힌트를 줍니다. "비정형 데이터를 관리할 역량이 없다"는 응답이 79%로 가장 높았거든요. 그다음이 "직원들이 변화에 적응하기 어려워한다(77%)", "AI 인재 부족(74%)" 순이었습니다.

비정형 데이터란 정해진 형식 없이 들어오는 문서, 이메일, 이미지 같은 자료를 말합니다. 이 비정형 데이터 문제야말로 AI 활용 사례에서 반복적으로 등장하는 핵심 병목이기도 하죠. 제조업 현장에서는 견적서, 거래명세서, 발주서, 원가계산서, 작업일보가 여기에 해당하죠. 거래처마다 양식이 다르고, 종이와 PDF와 엑셀이 섞여 있고, 시스템에 입력되기 전까지는 사람의 머릿속에만 존재하는 정보들입니다.

McKinsey도 비슷한 지적을 합니다. AI 스케일링의 핵심 병목 중 하나로 "대부분의 기업 프로세스가 경험 많은 직원의 머릿속에 있지, 문서화되거나 표준화되어 있지 않다"는 점을 꼽았거든요. AI가 일을 하려면 읽을 수 있는 데이터가 있어야 하는데, 그 데이터가 아직 만들어지지 않은 거예요.

정리하면 이렇습니다. 제조업에서 AI 도입 성과가 안 나오는 이유는 AI가 부족해서가 아니라, AI가 읽을 수 있는 형태로 비정형 데이터가 정리되어 있지 않기 때문일 가능성이 높습니다.

실제로 AI를 도입해 성과를 만들고 있는 기업들의 AI 활용 사례 역시 동일했습니다. AI 성능에 집중하기 보단, AI가 제대로 작동할 수 있는 시스템과 기반을 먼저 마련했죠.

AI 도입의 순서, 디지털 전환은 도구보다 데이터 구조가 먼저

두 조사가 공통으로 가리키는 방향은 분명합니다. AI 도입에서 가장 먼저 해야 할 일은 더 좋은 AI를 찾는 게 아니라, AI가 작동할 수 있는 데이터 구조를 만드는 것입니다. 성공적인 AI 활용 사례들이 보여주는 디지털 전환의 출발점이기도 하죠. 제조업이라면, 거래처에서 오가는 견적서, 거래명세서, 발주서 같은 문서가 시스템이 읽을 수 있는 데이터로 전환되는 흐름을 먼저 갖추는 일이 그 시작점이 될 수 있습니다.

AI 도입에서 88%에 머무를 것인지, 5%로 넘어갈 것인지. 그 갈림길은 AI 모델이 아니라, 지금 우리 회사의 문서가 어떤 상태인지에서 시작됩니다. 무료 문서 현황 진단으로 우리 회사의 AI 준비도를 확인해 보세요.