AI 도입 전에 확인해야 할 데이터 문제 7가지

AI 도입을 했는데 기대만큼 성과가 안 나온다면, AI 모델보다 데이터 관리를 먼저 살펴봐야 할 수 있습니다. 전 세계 기업의 88%가 AI를 도입했지만 실제 성과를 내는 기업은 5.5%에 불과하다는 조사 결과가 있는데, 그 격차의 상당 부분이 데이터 관리 구조에서 비롯된다는 지적이 나오고 있거든요.

CIO.com이 EY, Capital One, ISG 등 글로벌 기업과 대학의 AI 전문가 7명에게 물었습니다. AI 도입을 막는 데이터 관리 문제, 어떤 징후로 나타나는지, 제조업 관점에서 하나씩 짚어 봅니다.

1. 데이터가 보고용으로만 설계되어 있다

EY의 세무 기술 리더 대런 캠벨은 대부분의 기업 데이터가 규제 준수와 정적 보고 목적으로 설계되어 있다고 지적합니다. 다시 말하면 데이터가 의사결정이나 업무 자동화를 위한 구조가 아니라는 거예요.

제조업 현장에서 이 징후는 익숙합니다. 거래명세서는 세금계산서 발행을 위해 보관하고, 견적서는 감사 대비용으로 파일링하고, 입출고 기록은 월말 재고 실사용으로만 쓰이고 있죠. 비정형 데이터로 쌓여 있을 뿐, 의사결정에 쓸 수 있는 형태가 아닌 겁니다.

하지만 AI는 보관된 문서가 아니라 구조화된 데이터를 읽을 수 있습니다. 즉, 비정형 데이터가 보고용으로만 쌓여 있다면 AI 도입을 해도 읽을 재료가 없는 상황이 벌어지는 거죠.

2. 데이터가 어디에 있는지 모른다

Capital One의 수석 엔지니어 데이비드 하모니는 "데이터의 위치와 내용을 비즈니스 리더가 항상 명확히 알고 있어야 한다"고 말하는데, 제조업에서 이 문제는 특히 흔합니다. 견적서는 이메일에, 거래명세서는 엑셀에, 발주서는 ERP에, 통화 내용은 담당자 머릿속에 있는 상황이 흔하다보니 리더가 상세한 내용을 파악하기 어렵잖아요.

이러다 보면 같은 거래처 정보가 여러 곳에 흩어져 있는데, 어디에 최신 버전이 있는지 아무도 정확히 모르는 상황이 반복됩니다. 이렇듯 데이터 관리가 안 되는 상태에서 AI를 도입하면, AI도 같은 혼란을 겪을 수밖에 없습니다.

3. 데이터의 주인이 정해져 있지 않다

테네시대학교 AI 책임자 바실레이오스 마롤라스는 이렇게 경고합니다. "모든 분석 과정에서 수작업으로 데이터를 맞춰야 한다면, AI는 오히려 불일치를 더 확대할 것."

제조업에서 이 징후는 부서 간 사일로로 나타납니다. 구매팀은 구매팀의 엑셀을, 영업팀은 영업팀의 시스템을 쓰고, 같은 거래처에 대한 데이터가 부서마다 다른 형식으로 존재하죠. 데이터 표준도 없고, 누가 정확한 버전을 관리하는지도 불분명합니다.

따라서 AI 도입 전에 데이터 관리의 소유권과 표준부터 정리하지 않으면, AI 도입 이후에도 부서마다 다른 답을 내놓는 상황이 생길 수 있습니다.

4. 직원들이 시스템 대신 엑셀을 쓴다

ISG의 AI 기술 책임자 올가 쿠프리야노바는 직원들이 중앙 시스템을 외면하고 데이터를 외부로 추출해서 자체 스프레드시트를 만드는 현상을 데이터 문제의 신호로 봅니다.

제조업에서 이건 거의 보편적인 현상이에요. ERP에 데이터가 있긴 한데 찾기 어렵거나 신뢰가 안 되니까, 담당자마다 자기만의 엑셀 파일을 따로 관리하는 거죠. 구매 단가를 엑셀에, 거래처 히스토리를 개인 파일에, 납기 일정을 수기 메모에 적어두는 식입니다.

문제는 이 우회 데이터가 중앙 시스템에 반영되지 않는다는 점입니다. AI가 중앙 시스템을 읽으면 현실과 다른 데이터를 보게 되고, 직원들의 엑셀을 읽으려 해도 사람마다 양식이 다르니 업무 자동화가 어렵죠.

5. AI가 엉뚱한 답을 내놓기 시작한다

Concentrix의 에이전틱 솔루션 책임자 가이 부르고는 "AI가 일관성 없거나 오래된 정보, 기대와 어긋나는 답변을 내놓기 시작한다면 데이터가 AI와 맞지 않는다는 명확한 신호"라고 말합니다.

이 징후가 위험한 이유는, 데이터 관리 문제가 아니라 AI 모델의 문제로 오해하기 쉽다는 점이에요. AI 도입 후 모델을 바꾸거나 프롬프트를 수정해도 근본 원인인 비정형 데이터가 그대로면 같은 문제가 반복됩니다.

제조업에서는 사람 중심으로 작성된 문서가 특히 많습니다. 견적서의 항목명이 거래처마다 다르고, 같은 품목을 다른 이름으로 부르고, 단위도 제각각이죠. 이런 비정형 데이터를 그대로 AI에 넣으면 오래되거나 모순된 정보를 학습해서 엉뚱한 결과를 내놓게 됩니다.

6. 데이터 정리에 손대기 어렵다

뉴욕시립대학교 데이터사이언스 책임자 아서 오코너는 핵심을 찌릅니다. "AI는 매력적이고 흥미로운 기술이지만, 데이터 정리는 반복적이고 지루하며 고통스러운 작업으로 인식되는 것이 근본적인 문제."라는 거죠.

일관성 없는 데이터 형식, 누락된 값, 충돌하는 비즈니스 규칙. 이런 문제들이 오랜 시간 쌓여 온 게 데이터 부채입니다. 정리해야 한다는 건 모두 알지만, 당장 시간도 없고 예산도 없고 누가 책임질지도 불분명하니 계속 미뤄지는 거죠.

제조업에서 이 부채는 특히 깊습니다. 수십 년간 쌓인 거래 문서, 담당자가 바뀔 때마다 달라진 양식, 시스템 교체 과정에서 유실된 이력. 이 부채를 한꺼번에 정리하려면 부담이 크지만, AI 도입을 성공시키려면 피할 수 없는 단계이기도 합니다. 업무 자동화의 기반이 되는 데이터 품질은 결국 이 정리 작업에서 결정되니까요.

7. 기본적인 현황 파악조차 힘들다

Eisner Advisory Group의 AI 자문 책임자 젠 클라크는 가장 근본적인 질문을 던집니다. "표준 보고서나 분석 작업이 어렵고, 조직 간 협업과 자원을 동원해야만 전체 상황을 파악할 수 있다면, AI는 문제를 해결하기보다 오히려 더 키울 것."이라고요.

거래처별 매출 현황을 보려면 영업팀, 회계팀, 물류팀 데이터를 각각 요청해서 수작업으로 합쳐야 하는 상황. 이 달 입출고 실적을 보려면 엑셀 파일 여러 개를 열어서 직접 대조해야 하는 환경. 이런 상태에서 AI 도입을 하면 혼란이 더 빨라질 뿐이에요.

다만 클라크는 "중요한 건 데이터가 완벽한지 여부가 아니라, 불완전성을 고려하면서도 의미 있는 결과를 만들어낼 수 있도록 범위를 설정하는 것"이라고 조언합니다. 전부 정리한 뒤에 AI 도입을 하는 게 아니라, 가장 효과가 큰 곳부터 데이터 구조를 갖추고 업무 자동화를 시작하는 접근이 현실적이라는 거죠.

AI 도입의 시작, 결국 데이터 구조

7가지 징후의 공통점은 하나입니다. AI 도입의 문제가 아니라, AI가 읽을 수 있는 데이터가 준비되어 있지 않다는 점이에요. BCG 조사에서도 기업들이 꼽은 AI 도입 과제 1위가 "비정형 데이터 관리 역량 부재(79%)"였던 것과 같은 맥락입니다.

제조업이라면 이 7가지 징후가 가장 선명하게 드러나는 곳이 거래 문서입니다. 견적서, 거래명세서, 발주서가 이메일과 엑셀에 흩어져 있고, 거래처마다 양식이 다르고, 시스템에 입력되기 전까지 활용할 수 없는 상태. 이 비정형 데이터가 구조화된 데이터로 바뀌는 순간, 7가지 징후 중 상당수가 함께 해소되면서 업무 자동화의 기반이 만들어지기 시작합니다.

우리 회사에 이 7가지 징후가 몇 개나 해당하는지, 무료 문서 현황 진단으로 확인해 보세요.