빅데이터분석기사-part 01 빅데이터 분석기획-

chapter 03

section 01

데이터 수집 및 전환

데이터 수집 시스템 구축 절차,수집데이터 유형파악,수집기술 결정,아키텍처 수립,하드웨어 구축,실행환경 구축,비즈니스 도메인 정보 습득,비즈니스 모델,비즈니스 용어집,비즈니스 프로세스,원천 데이터 습득 필요한 정보,데이터 수집 가능성,데이터의 보안,데이터의 정확성,수집 난이도,수집 비용 항목,내부 데이터,서비스 시스템 데이터,네트워크 및 서버 장비 데이터,마케팅 데이터,외부 데이터,소셜 데이터,반정형 데이터,웹로그,센서 데이터,JSON파일,정형 데이터,스키마 정형화 데이터,반정형 데이터,메타 구조,정형 데이터,반정형 데이터,비정형 데이터,이미지 동영상 데이터,외부 데이터,반정형 데이터,비정형 데이터,추가적인 데이터 가공 작업 필요,비용 및 데이터 수집 난이도 높음,데이터 확보 비용 산정 비용 요소,데이터의 크기 및 보관주기,데이터의 수집 방식,데이터의 종류

데이터 저장 방식,파일 시스템,분산처리 데이터베이스,관계형 데이터베이스,데이터 적절성 검증을 위한 방법,소스 데이터와 비교,보안 사항 점검,저작권 점검,대량 트래픽 발생 여부 점검,데이터 변환 방식의 종류,비정형 데이터를 정형 데이터 형태로 저장하는 방식,수집 데이터를 분산파일시스템으로 저장하는 방식,주제별,시계열적으로 저장하는 방식,가명처리 주요 식별요소를 다른 값으로 대체하는 방법,총계처리 데이터의 총합 값을 보여 주고 개별값을 보여주지 않는 방법,데이터 범주화,데이터 마스킹,개인정보 비식별화,가명처리 기법 세부기술,휴리스틱 가명화,암호화,교환방법,k익명성,개인정보의 재식별 기능성 검토 기법,l다양성,t근접성,비정형 데이터의 품질 진단 기법,메타데이터 수집 및 분석,값의 허용 범위 분석,문자열 패턴 분석,정형 데이터 수집 기술,DBToDB,ETL,FTP,크롤링

비정형 데이터수집,정형 데이터 수집 아파치 스쿱,관계형 데이터 스토어,HDFS,맵리듀스,관계형 데이터베이스,MySQL,Oracle,MS SQL,병렬처리,장애에 강한 특징,휴리스틱 가명화,비식별화 데이터 삭제,분석의 다양성과 분석 결과의 유효성과 신뢰성이 저하,정형 데이터 품질 기준 중 정확성의 세부 품질 기준항목,선후 관계 정확성,최신성,업무 규칙 정확성