빅데이터

빅데이터

big data

기존의 관리 방법이나 분석 체계로는 처리하기 어려운 방대한 양의 정형, 반정형, 비정형 데이터 집합. 또는 이러한 데이터 집합을 수집, 저장, 관리, 분석, 시각화하는 정보통신 기술 분야이다.

빅데이터에서 데이터는 컴퓨터 및 디바이스를 통해 생성되거나 저장된 정보를 의미한다. 빅데이터는 폭발적으로 증가하고(Volume), 시간에 따라 빠른 속도로 변화하며(Velocity), 포맷과 형식이 다양(Variety)하다는 특징이 있다.

일반적으로 데이터는 구조에 따라 데이터베이스에 테이블 형태로 저장되는 정형 데이터(structured data), 확장성 마크업 언어(XML: eXtensible Markup Language)와 같이 데이터의 구조를 포함하여 파일로 저장하는 반정형 데이터(semi-structured data), 텍스트, 그림 또는 사진과 같이 전혀 구조화되지 않은 비정형 데이터(unstructured data)로 분류한다. 빅데이터를 효과적으로 분석하고 처리하면 미래를 예측하거나, 의사 결정에 활용하여 새로운 가치를 창출할 수 있지만 반면에 입력 데이터에 대한 의존성이 매우 높아 부정확하거나 편향적인 데이터를 사용할 경우 처리한 결과의 품질을 보장하기 어렵다.

빅데이터 분석방법에는 통계분석(Statistical Analysis), 기계학습(Machine Learning), 딥러닝(Deep Learning)이 있다. 통계분석은 추론을 기계학습은 예측을 강조한다.

빅테이터는 데이터의 수집, 저장, 처리, 분석, 표현의 프로세스를 거친다.

그라파나 등을 활용하여 데이터를 시각화할 수 있다.

https://play.grafana.org/d/000000012/grafana-play-home

Grafana

https://github.com/grafana/grafana

GitHub - grafana/grafana: The open and composable observability and data visualization platform. Visualize metrics, logs, and tr