4차 산업 혁명에 들어서면서 현대 사회에 축적된 많은 데이터가 다양한 분야에서 혁신적 변화를 가져오고 있습니다.
이렇게 축적된 많은 데이터를 ‘빅 데이터’라고 부릅니다.
과연 빅 데이터 가 4차 산업 혁명에 어떠한 영향을 줄지 빅 데이터 뜻과 특정을 정확하게 알아보고 현대 사회에 어떻게 활용이 되는지 활용 사례를 들어 알아보도록 하겠습니다.
빅 데이터 뜻
빅 데이터는 말 그대로 대용량 데이터로 그 양이 너무 방대해서 수집, 저장, 분석, 처리하기 어려운 데이터를 의미합니다.
즉, 소프트웨어의 수용 한계를 넘어선 ‘거대한 데이터’로 생각하시면 됩니다.
빅 데이터 역사
빅 데이터라는 말은 최근에 많이 얘기가 되고 있지만, 그 시작은 1960년대입니다.
1960년대 관계형 데이터 베이스 개발로 빅 데이터의 시작이 되었습니다.
그 이후 본격적으로 커지게 된 것은 2005년 많은 사용자들이 You Tube 및 Facebook 등 커뮤니케이션을 사용하게 되면서입니다.
하지만 빅 데이터 활용은 이제 초기 단계입니다.
앞으로 클라우드 컴퓨팅 및 그래프 데이터 베이스를 통해 빅 데이터의 가능성은 더욱 발전할 것이고 확장이 될 것입니다.
빅 데이터 특징
빅 데이터 특징은 크게 3개로 분류할 수 있습니다.
1) 방대한 양(Volume)
가장 큰 특징은 데이터의 양입니다.
빅 데이터는 데이터 양이 매우 방대하여 기존 데이터베이스로 처리가 불가능하여, 현재는 Hadoop, Spark 등 새로운 데이터 처리 기술이 나오고 있습니다.
또한, 빅 데이터를 저장, 분석, 처리할 수 있도록 클라우드 컴퓨팅 활용 증가 및 데이터 분석 전문가들이 증가하고 있습니다.
2) 빠른 속도(Velocity)
빅 데이터를 활용을 하기 위해서는 데이터의 흐름이 끊임없이 변화될 수 있도록 즉각적인 분석이 요구가 되기 때문에 실시간 또는 그에 준하는 속도로 생성되고 처리가 되어야 합니다.
3) 다양성 (Variety)
빅 데이터는 비정형 데이터, 정형 데이터, 반정형 데이터 등 다양한 데이터를 포함하고 있습니다.
그렇기 때문에 다양한 데이터 유형으로 처리를 해야 합니다.
빅 데이터의 작동 원리
빅 데이터는 3가지의 특징을 가지고 있고 4개의 작동 원리를 가지고 있습니다. 데이터 수집, 전처리, 분석, 활용 순으로 작동을 합니다.
1) 데이터 수집
데이터를 모으기 위해서는 수집이 기본이 되어야 합니다.
수집은 웹 스크래핑, API, 데이터베이스 덤프 등으로 데이터를 수집하여 데이터 웨어 하우스 또는 데이터 레이크에 저장을 합니다.
2) 데이터 전처리
데이터를 수집, 저장을 하고 나면 누락된 값, 오류 등을 제거를 하고 다양한 소스의 타입의 데이터를 하나의 형식으로 통합 후 분석이 가능하도록 변환을 합니다.
3) 데이터 분석
전처리된 데이터를 평균, 중앙값, 표준 편차 등을 계산하여 그래프, 차트 등으로 표현하여 정보를 추출합니다.
4) 데이터 활용
분석 결과를 기반으로 결정을 내리고, 새로운 서비스로 개발 및 운영 효율성을 개선합니다.
빅 데이터 문제점
빅 데이터는 초기 단계입니다.
아직 빅 데이터를 활용을 하기에는 기술이 부족합니다.
세상이 발전을 할수록 데이터 양은 2년마다 2배로 증가를 하고 있습니다.
이 많은 양을 제대로 활용하기 위해서는 데이터 저장 공간 확보 및 분석, 처리 기술 발전이 되어야 합니다.
빅 데이터 활용 사례
1. 제품 개발
대표적으로 빅 데이터를 활용한 회사는 Netflix 및 Procter & Gamble 등이 있습니다.
이 회사들은 빅 데이터를 활용하여 고객 수요를 예측하고 그에 맞게 새로운 콘텐츠와 기존 콘텐츠 방향을 개선을 하였습니다.
즉 빅 데이터에 있는 과거 구입 데이터, 소셜 미디어 트렌드, 시장 조사 등의 데이터를 기반으로 고객이 원하는 제품 및 서비스를 파악하고, 새로운 제품 및 서비스를 개발하여 고객 선호도를 향상하는 것입니다.
2. 고객 경험 향상
‘적을 알고 나를 알면 백전백승’이라고 하였습니다.
빅 데이터에는 다양한 고객의 데이터가 존재하고 있어 고객 데이터를 분석하고 개인 맞춤형 서비스를 제공할 수 있습니다.
고객의 구입 데이터 및 소셜 미디어 데이터 등을 분석하여 고객의 행동을 파악하고 선호도를 파악을 하면 고객이 무엇을 원하는지는 쉽게 파악할 수 있습니다.
아마존과 스타벅스는 이러한 구입 데이터를 분석하여 개인 맞춤형 상품 추천 시스템을 구축하여 신뢰도를 높이고 있습니다.
3. 예측 유지 보수
유지 보수 비용 절감 및 생산성을 향상할 수 있는 가장 좋은 방법은 장비 고장을 예측하고 사전에 예방 조치를 하는 것입니다.
기존 장비 데이터, 센서 데이터, 환경 데이터 등을 분석하여 고장 가능성이 높은 장비를 파악하고, 사전 예방 조치를 하게 되면, 고장으로 인한 Downtime을 줄이고, 생산성을 향상할 수 있습니다.
항공사는 빅 데이터를 활용하여 예측 유지 보수에 활용을 하여 항공기 고장을 예측하고 사전에 예방 조치를 취하여 고객의 안전에 노력을 기하고 있습니다.
마치며
빅 데이터는 엄청남 잠재력을 가진 기술이지만, 다양한 위험 및 윤리적 문제가 있습니다.
빅 데이터의 빛과 그림자를 함께 살펴보고, 책임감 있는 활용을 위해 노력이 필요합니다.
오늘은 빅 데이터 뜻과 특징, 활용 사례를 알아보았습니다.
끝까지 읽어주어 감사합니다.