On-Premises 또는 Cloud 환경의 오픈소스 기반의 빅데이터 플랫폼을
활용한 데이터 레이크 아키텍처 구현을 위한 서비스 제공

Horton Works 또는 Cloudera와 같은 다양한 빅데이터 플랫폼의 활용이 가능합니다.
또한, 데이터 수집,저장,가공,분석까지 Apache Hadoop Echo System의 기술을 활용하여 데이터 분석 및 활용에 필요한 구성을 제공합니다.
빅데이터 플랫폼 기반에서의 효율적인 데이터 레이크 구축과 고객의 니즈에 최적화된 데이터 분석 및 활용을 위한 전문 컨설팅을 제공합니다.

표준 API와 모듈형 아키텍처로 고객의 니즈에 최적화된 데이터 분석과 활용 환경 구축

• 01

  모듈형 아키텍처

• 02

  Front/Back-end De-coupling

• 03

  스마트시티를 위한 표준 API

• 04

  도시 인프라 관제

• 05

  다양한 데이터 분석 기능 제공

• 06

  데이터 마켓플레이스

• 07

  데이터 모델 표준

데이터 레이크 구축을 위한 유기적 프로세스

데이터 레이크를 구성하고 있는 HDFS 개선 및 DLM 구축

• 기업명J연구원
• 프로젝트명스마트시티 개방형 데이터 허브 아키텍처 및 핵심 기술 개발
• 기간2018.08.31~2022.12.31

• 추진 목적 및 배경

  데이터의 분석을 위해 분석가의 요구를 수용할 수 있는 전처리 ETL 과정을 정의하고 데이터를 검증하며, 생성된 데이터 생명 주기를 관리하는 시스템 구축
  * ETL : 데이터추출(Extract), 변환(Transform), 적재(Load)

• 사업의 특징
  1. 1

     수집 영역 확대 적용으로 용.복합 데이터 모델 분석 처리

  2. 2

     데이터 처리 프로세스 유연성 및 분석 모델 도출 성능 향상

  3. 3

     다중 사용자의 ETL 프로세스 공유를 통해 중복 작업 최소화

• 적용기술

  ▪  Data Lake를 구성하고 있는 HDFS(Hadoop Dstributed File Systems)에 저장되는 데이터 스키마 개선
  ▪  Ingest 데이터 처리를 위한 ETL 모듈 개발(Apache NiFi Template 작성)
  ▪  Hive를 통한 데이터 마트 및 분석의 효율성 증대
  ▪  데이터의 생명 주기 관리를 위한 DLM(Data Lifecycle Manager) 구축
  ▪  데이터 품질 관리를 위하여 데이터 품질 관리 솔루션 DQ# 활용

• 스마트 시티 데이터 포털에서 빅데이터 활용을 위한 시스템 개발