빅데이터 정의

위키백과

- 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술

 

오라클

- 거대한 규모(Volume), 빠른속도(velocity), 높은 다양성(variety)을 특징으로 하는 데이터

 

SAP

- 우리가 매일 사용하는 컴퓨터, 모바일 기기, 기계 센서에서 흐르는 방대한 제타바이트급 데이터로 구성된 정보의 바다

 

구글

- 규모와 복잡성으로 인해 많은 비즈니스 인텔리전스 도구에서 관리하거나 분석하기 힘든 조직에서 사용할 수 있는 방대한 데이터

 

마이크로소프트

- 다양하고 방대하며 빠르게 변화하는 데이터 세트

 

빅데이터

- 대량의 정형화 및 비정형화 데이터를 분석하여 유의미한 가치를 추출하고 결과를 분석하는 기술

- 많은 양의 데이터 + 사용하는 기술

- 대량 : 목적을 달성할 만큼의 크기 (일반적 수치로는 수십 테라바이트에서 수 페타바이트)

- 정형화 : 직관적으로 보면 알만한 규칙과 패턴, 그리고 의미를 갖는 데이터

- 비정형화 : 정해진 규칙과 패턴 등이 없는 데이터 ex) 이미지, 오디오, 자연어

 

빅데이터 특징

 

초기

- 규모(Volume) : 가장 기본적인 단순 저장되는 물리적인 데이터 크기 속성

- 빠른속도(velocity) : 정형과 비정형 등의 다양한 종류의 데이터를 포함하는 속성

                                 반정형데이터 - 정형도 비정형도 아닌 ex) HTML, XML, LOG

- 높은 다양성(variety) : 데이터가 얼마나 빠르게 생성, 저장, 시각화 등이 되는지에 대한 속성

 

중기

- 정확성(Veracity) : 데이터가 사용할 만한 것인지에 대한 속성

- 가치(Value) : 비즈니스나 연구 등에서 유용한 가치를 가지는지에 대한 속성

 

현재( 데이터 자체 이해도 )

- 정확성(Validity) : Veracity와 비슷한 개념이나 물리적 오류보다 논리적 오류에 대한 속성

- 휘발성(Volatility) : 장기적인 관점에서의 데이터로서의 유지력

 

미래

- 가변성(Variability) : 동일한 문장이 SNS 확산에 따라 다른 문맥으로 정의되는 속성

- 시각화(Visualization) : 중요 정보를 쉽게 이해할 수 있는 시각적 속성

 

 

---

빅데이터와 인공지능

 

단계별 기법

1. 데이터 수집 : IOT 센서 데이터, 스프레드 쉬트, 스크래핑, 크롤링

2. 데이터 저장 : 파일, DBMS, 하둡/( 정형, 반정형, 비정형 )

3. 데이터 처리 : 배치, 실시간, 분산

4. 데이터 분석 : 데이터마이닝, 기계학습, 예측분석, 시계열 분석

5. 시각화 : 정보 시각화, 데이터 요약

 

활용관계

빅데이터 : 분석과 가치 창출의 대상 / 인공지능이 학습하는 데이터

                  데이터분석, 시각화 재료, 저장, 관리, 유통

인공지능 : 데이터의 패턴을 확인하고 예측하여 미래를 대비하는 기술 ( 사람처럼 )

                  기계학습, 신경망 학습(이해와 생성)

 

빅데이터와 인공지능 : 인공지능의 예측력을 높이기 위한 학습 정보

- 데이터 생성, 보관 유통 등의 데이터 관리와 접근성 제고 영역 담당

- 빅데이터를 이용하여 향상된 인공지능을 만들고 다양한 분야의 서비스로 탄생

 

카카오페이 자산관리

- 사용자의 결제이력, 관심사, 소비 성향 등을 분석하여 맞춤형 카드 추천 서비스

- 다양한 자산의 증강 현황 시각화

서비스 구현 기획

- 서비스 정의 : 사용자의 결제 이력, 관심사, 소비 성향 정보를 이용한 카드 추천

- 데이터셋 : 결제 데이터, 후기글 및 질문답변글, 지불 업체정보, 지불카드 종류

- 데이터셋 수집 : 내부 데이터

 

당근마켓 품목관리

- 주류, 담배, 동물, 가품 등 거래 금지 품목 설명 게시글 비노출 필터링

- 문제 게시글을 자동 인식 및 처리

 

서비스 발전 방안

- 인공지능을 완성하고 보다 예측력이 높은 모델을 위한 빅데이터

- 빅데이터 기반 기술의 발전 : 자원활용의 한계를 벗어나기 위한 병렬처리 기술/ 데이터 전송 기술/ 데이터 분산처리

- 인공지능 윤리 발전

 

느낀점

빅데이터와 인공지능의 관계에 대해 알아봤다. 인공지능의 학습의 방향으로는 빅데이터가 필수이며 빅데이터와 인공지능은 밀접한 관련이 있다고 생각한다. 데이터와 인공지능의 학습을 통한 데이터분석가, AI 엔지니어로 성장