반응형

hadoop 2

면접 준비하기 - 데이터 플랫폼 개발자

안녕하세요. 이번 포스트에서는 지금까지와는 조금 다른 주제인 커리어와 관련된 포스트 입니다. '데이터 플랫폼 개발자' 직무로 면접을 준비하면서 나올 수 있을만한 면접질문 내용을 적고자 합니다. 저는 원티드를 통해 한 스타트업에서 면접 제의를 받게 되어 지원하였습니다. 1. 데이터 플랫폼 개발자의 역할 관련 내용을 시작하기 전에 가장 중요한 역할 또는 직무에 대한 이해입니다. 카카오에서는 이 직무에 대한 내용을 다음과 같이 정의하고 있습니다. ◆ 조직소개 카카오 내에서 발생하는 다양한 로그를 모아서 가치 있는 데이터를 만들고 있습니다. 서비스에서 발생하는 다양한 로그를 모아 실시간 및 다차원 분석 플랫폼을 만듭니다. 다양한 오픈소스와 대용량 데이터를 다루실 수 있는 경험을 쌓으실 수 있습니다. ◆ 업무내용..

Carrers 2020.07.19

hive partition에 대한 고찰

hive partition이란? 일자별로 데이터를 만드는 테이블이 있다고 가정해보자. 이 테이블에서 특정날짜의 데이터를 찾는다면, 전체 테이블을 다 탐색해야만 원하는 결과를 얻을 수 있을 것이다. 여기서 전체를 찾지 않고 날짜별로 Directory를 만든다고 생각해보자, 원하는 날짜가 아니면 파일이 아닌 Directory 단위로 지나칠 수 있다. 즉 위와 같은 파티셔닝의 개념을 적용하면, 같은 쿼리를 수행해도 훨씬 빠른 결과를 얻을 수 있다. 파티셔닝은 물리적 구조를 바꾸는 개념으로 전체 탐색이 아닌 hierarchical 구조로 탐색이 가능하다. CREATE Partitioning Table (파티션 테이블 만들기) Partitioning Table을 간단하게 만들자면 아래와 같이 'CREATE TAB..

Big Data/Hive 2019.06.22
반응형