데이터는 끊임없이 생성되고 변경되며, 타시스템으로 전환되고 분산되고 통합되는 과정을 거치게 된다. 하지만 대부분의 기업들은 이러한 데이터의 속성을 이해하고 데이터의 생성부터 데이터의 최종 목적지인 사용자 또는 의사결정자에게 ‘정보(인포메이션)’라는 형태의 가치로 서비스되기까지의 전과정을 연계하고 품질을 관리하는 시스템을 갖추지 못하고 있는 상황이다.
데이터가 정보로서 가치를 가지기 위해서는 필수적으로 ‘로우 데이터(RAW DATA)’ 로서 존재하는 데이터가 정보의 형태 또는 수요자(또는 새로운 시스템)에게 서비스되는 형태로 변환되어야 한다. 이 과정에서 필수적으로 데이터 간의 형태를 일치시키기 위한 ‘맵핑 규칙(Mapping Rule)’이 생성되어야 한다. 현재도 수많은 차세대 프로젝트와 시스템 전환 프로젝트에서 ‘데이터 맵핑’ 데이터가 생성되고 있다.
문제는 이러한 맵핑 데이터가 가지고 있는 가치와 활용성이 간과되고 있다는 것이다.
맵핑 데이터는 아래 2가지의 중요한 가치를 가지고 있다.
첫째, 기업 내외부의 데이터의 흐름을 파악하고 이해할 수 있는 중요 데이터이다. 데이터가 어디로부터 어디로 어떠한 형태로 변환되고, 이동되었고, 이동되고 있는지를 파악할 수 있는 데이터로서 활용될 수 있다. 어떠한 정보의 원천 데이터가 무엇인지를 파악할 수 있는 지도이며, 데이터의 경로를 보여주는 네비게이션 같은 역할을 할 수 있는 데이터인 것이다.
둘째, 데이터의 생성부터 변환과 마이그레이션, 품질검증 및 유지관리에 이르는 과정들을 자동화할 수 있는 핵심데이터로 활용될 수 있다.
기업의 의사결정시스템을 예로 든다면 기업의 정형 및 비정형 데이터들은 기업의 레거시 시스템들에서 DB 또는 파일 등의 형태로 생성된다. 이 데이터들은 맵핑 데이터를 기반으로 관계형DB의 테이블 또는 NoSQL DB의 도규멘트 형태로 저장되고 축적된다. 이 과정에서 맵핑 데이터는 데이터 변환과 이동을 수행하는 버킷과 컨베이어 벨트의 동작 알고리즘을 자동으로 생성할 수 있는 핵심 데이터로 사용될 수 있다.
또한 축적된 데이터의 정합성과 품질을 검증하고 데이터 오류 시에 데이터 이슈의 원인을 즉각적으로 파악하고 조치할 수 있는 추적 알고리즘의 입력데이터로 사용될 수 있다.
기업들 특히 중소규모 기업의 구조적인 문제점은 데이터의 생산부터 전환 및 활용시스템에 이르는 전과정을 연계하고 관리하는 시스템을 갖추기에 자본과 역량 측면에서의 한계를 가지고 있다는 것이다. 현재도 매핑 데이터를 파일로 관리하며 프로젝트 이후에는 산출물로만 관리되고 있는 실정이다.
이러한 문제점을 해결하기 위해서 위에서 언급한 데이터 흐름의 전과정을 지원하고 자동으로 연계하는 솔루션이 도입된다면 기업들에게는 큰 비용을 지출하지 않고도 기업의 데이터 흐름을 효율적으로 수행하고 데이터의 품질과 활용성을 높일 수 기회가 될 수 있을 것이다.
비플컨설팅의 EzMig V2.0(이지마이그 버전 2.0) 은 위에서 설명한 기업의 데이터의 생성부터 시스템 간의 변환 및 이관, 그리고 품질검증을 자동화하고 데이터의 흐름을 추적 및 관리할 수 있는 최적의 솔루션이다.
EzMig 솔루션은 1) 데이터 표준화 2) 데이터 매핑 3) 마이그레이션 4) 데이터 검증 등 4개의 기능별 모듈을 포함하고 있으며, 각각의 모듈은 메타관리솔루션, ETL, DQ(Data Quality)솔루션을 개별 도입하는 것과 같은 수준의 기능들을 제공하고 있다. 또한 개별적인 기능을 효과적으로 연계하고 자동화하기 위해서 자체의 최적 알고리즘을 적용하여 운영자의 수작업을 최소화 할 수 있도록 구현되었다. 추가로 다수의 프로젝트 수행 경험을 바탕으로 실제 프로젝트와 운영과정에서 불필요한 기능들은 과감하게 제외함으로써 솔루션의 복잡성을 최소화하고 사용성을 극대화하였다.
실제 기업의 데이터를 운영하거나 시스템 전환 프로젝트 또는 데이터 연계 프로젝트를 수행했던 기업의 구성원들은 ETL 한가지만 예로 들어도 ETL을 사용해서 마이그레이션이나 데이터 연계작업을 수행하는 것이 얼마나 많은 인력 투입과 비용을 수반하는 작업인가를 알고 있을 것이다.
EzMig v2.0 은 기업들의 이러한 문제를 효과적으로 해결하고 비용 효율적인 데이터품질관리 시스템을 구축할 수 있는 최적의 솔루션이 될 수 있다.
특히, 위에 나열한 솔루션들을 개별적으로 도입하기 어렵고 효과적으로 운영하기 위한 인력도 부족한 기업과 기관에는 데이터 품질을 획기적으로 높이고 기업의 경쟁력을 높일 수 있는 확실한 대안으로 제공될 수 있다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
