kono

안녕하세요. '빅데이터를 지탱하는 기술'이라는 책에 대해서 이어서 정리해보겠습니다. 오늘은 데이터 엔지니어로서 정말 중요한 역할인 데이터 파이프라인에 대해서 다뤄보겠습니다. chapter 1 빅데이터의 기초 지식 1-2 빅데이터 시대의 데이터 분석 기반 빅데이터 기술 여기서 '빅데이터 기술' = '데이터를 순차적으로 가공해 나가는 일련의 구조'를 의미합니다. 데이터를 차례대로 차례대로 전달해 나가는 구성된 시스템을 흔히 'Data Pipeline(데이터 파이프라인)'이라고 합니다. 데이터를 모으는 데이터 수집부터 최종 목적지(시각화를 위한 마트 등)로의 과정을 일컫습니다. 지금부터 대표적인 단계를 나열하여 설명하도록 하겠습니다. 1) 데이터 수집 데이터 파이프라인이라 함은 데이터를 모으는 것에서부터 시작..

prologue 2월 1일부터 새로운 회사를 다니면서, 적응하기에 정신없었네요. 한 달간 회사를 다니면서 블로그 운영이 쉽지 않았는데요. 특히 앞으로 어떤 내용의 지속 가능한 컨텐츠를 올려야 할까 고민이 많았습니다. 생각하다 지금까지의 경험을 정리 함과 동시에 앞으로의 방향까지 고려해볼 수 있는 컨텐츠를 작성해보는게 좋다는 결론을 내렸습니다. 그 과정에서 좋은 책이라고 추천받았던 '빅데이터를 지탱하는 기술'이라는 책에 대해 정리와 동시에 나름의 정리를 하며 올려보는게 좋을 것 같다 생각했습니다. 가장 큰 목표는 내용이 조금 부실해도 꾸준하게 올리는 것입니다. chapter 1 빅데이터의 기초 지식 chapter1에서는 빅데이터와 연관된 기술이 생겨난 히스토리를 돌아보고 그 기본에 대한 사고와 용어를 정리..

안녕하세요. 오늘은 회고록으로 인사를 드리게 되었습니다. 저는 작년 10월 12일부터 근무를 시작해 어느덧 만 3개월이 넘게 되었습니다. 수습기간이 종료된 것이죠. 이 기간에 느꼈던 생각들 그리고 앞으로의 방향에 대해서 이야기해보도록 하겠습니다. 1. 스타트업은 처음이라 스타트업으로 새로운 도전 길지 않은 커리어지만, 두 회사를 다니면서 규모에 따른 장단점을 파악 했었습니다. 여기서 느낀 것이 있다면 '기업의 규모가 크고 작거나에 상관없이 결국 업무는 혼자 해나가는 것이며 쉽게 얻어지는 것은 없다는 것'입니다. 물론 제가 아직 전형적인 대기업의 프로세스를 경험해보지는 못 해서 확신할 수는 없습니다. 그럼에도 위 문장은 어디서나 비슷한 기조일 것이라 생각합니다. 그래서 스타트업에서 개발자 커리어를 다시 시..

안녕하세요. 2021년의 새해가 밝았습니다! 시간이 너무 빠르네요. 올해에도 작년처럼 자주는 아니더라도 꾸준한 포스트를 작성하는게 목표 중 하나입니다. 이번에는 GraphQL에서 이미지를 업로드하고 S3에 저장해 보는 과정을 소개드리도록 하겠습니다. 전에 Python 언어의 Flask를 활용해 S3로의 이미지 업로드를 소개한 적이 있는데, 비슷하면서도 Node.js & GraphQL만의 특징이 느껴졌습니다. 1. GraphQL에서 업로드하기 위한 설정(Apollo Server를 활용하기) 먼저 GraphQL과 같이 활용되는 Apollo Server에는 파일을 업로드 하기 위한 별도의 라이브러리가 내장되어 있습니다. 저의 경우에는 GraphQL Yoga를 활용하기 때문에 Apollo Server가 Defa..

안녕하세요! 한 달이 지나서야 포스트를 올리게 되었습니다.. 꾸준히 올리고자 하는 마음을 다 잡고 이번 포스트를 작성해보겠습니다. 이번 포스트 제목과 같이 MySQL에서 'ALTER TABLE'과 같은 특정 테이블에 대해 변형을 일으키는 DDL(Data Definiton Language)이 적용되지 않는 상황에 대해 두 가지로 접근해보겠습니다. 포스트의 방향은 이슈를 처리하는 과정으로 봐주시면 될 것 같습니다. 1. ALTER TABLE이 적용되지 않는 것을 확인 먼저 처음에 언급한 것과 같이 ALTER TABLE이 적용되지 않았습니다. 저의 경우 MySQL Workbench의 EER Diagram을 활용하여 변경한 다이어그램에 대해 적용을 하거나 마찬가지로 Workbench에서 스키마에서 수정버튼을 눌..

안녕하세요! 오늘은 개발 이야기 대신 상품리뷰를 진행하는 포스트를 작성 하고자 합니다. 제가 리뷰할 제품은 '스코코(Skoko)'의 '맥북프로 2020 13인치 터치바 고급형 제품의 전신보호필름 5종' 입니다. 👨🏻‍💻 이 제품은 네이버 카페 '맥 쓰는 사람들'의 체험단에 추첨되어 작성하는 후기 입니다. 좋은 체험단 정보를 제공해 주신 맥 쓰는 사람들 카페 담당자 분과 좋은 상품을 체험단으로 제공 해주신 스코코에 감사드립니다! 😃 1. 제품 구성 제품은 아래 사진과 같이 안전하게 배송됩니다. 하드보드지 같이 딱딱한 커버 안에 내용물이 다시 포장되어 있어요. (아래 사진) 그리고 구성품 사진 입니다. 먼저 필름 부터 보여 드리겠습니다. 위에 있는 필름이 맥북의 측면에 붙이는 용도이고 아래가 맥북을 열었을 ..

안녕하세요. 이번 포스트는 Python으로 크롤링을 준비하기 위해 필요한 과정을 기술해보도록 하겠습니다. 이 전에 Beautifulsoup과 Selenium으로 크롤링 하는 과정을 예시로 설명하였는데요. 다시 포스트를 보니 정작 중요한 초기설정 및 설치가 빠져 있었습니다. 하나씩 설명 드리도록 하겠습니다. + 현재 개발중인 회사에서도 크롤링을 많이 활용할 것 같아 크롤링에 대한 포스트가 조금 더 다양하게 올라오지 않을까 하는 생각입니다. 1. miniconda로 크롤링 가상환경 생성하기 먼저 conda 또는 miniconda(미니콘다)를 생성 해주도록 하겠습니다. Python을 Server 또는 개인 PC에 바닐라로 설치해 사용해도 좋지만, 다양한 프로젝트를 하다보니 각각 가상화된 환경을 만들어 사용할 ..

다음주 월요일(20.10.12) 부터 개발자로 새로 시작하는 곳의 기술 스택은 Node.js, GraphQL, Apollo, Prisma 입니다. 기존에 JavaScript 같은 경우 코딩테스트와 같은 특정상황에서만 사용하였고, 위 기술스택은 들어만 본 상황입니다. 시작하기도 전에 겁을 먹으면 안 되겠지만, 현재는 위 기술 스택에 대해 지식이나 경험이 부족한 상황입니다. 그렇지만, 새로운 기술 그것도 GraphQL이라는 지금 까지와는 사뭇 다른 형태의 API를 생성 해주는 기술 스택을 배운다는 것이 기대됩니다. GraphQL에 대한 몇 가지 특징을 짚어보겠습니다. 이 내용은 GraphQL 공식 튜토리얼 사이트 how to graphql에서 확인한 내용에 제 주관적인 생각을 더 해봤습니다. 1. Graph..

안녕하세요! 이번 포스트에서는 위코드(Wecode)의 수료를 마치고 총정리하는 후기를 작성해보겠습니다. 간단하게 느낀 점을 적자면, 12주가 정말 빨리 갔다고 느껴집니다. 그리고 몸은 많이 지쳤으나 너무 즐거웠습니다. 제가 이전에 각 과정별로 적었기 때문에, 과정의 흐름을 주제로 하기보다는 테마 별로 적어가겠습니다. 선정한 테마는 배움, 커리큘럼, 분위기, 멘토님, 환경, 제가 생각한 위코드 또는 개발자가 맞는 사람 그리고 회고 입니다. 1. 배움(어떤 것을 배우나요?) 아마 가장 중요시 여기는 부분일 것입니다. 누구와 함께 할지 모르기 때문에 처음 등록하려는 분은 이 부분을 제일 중요하게 생각하실 것 같습니다. 배움의 수준(Level) 먼저 드리고 싶은 말씀은 위코드가 정말 짧은 기간에 집중적으로 개발..

안녕하세요. 이번 포스트는 위코드 기업협업에 대한 후기를 적고자 합니다. 참고하실 점은 이 글은 제 기수인 10기의 수료 이후에 적는 글 입니다. 프로젝트에 대한 회고 보다는 위코드 기업협업을 통한 인턴으로의 과정 위주로 적겠습니다. 1. 기업협업(인턴쉽) 선정 과정 위코드 교육 과정은 [첫 4주는 Django 또는 React 기초 학습하기] 이후, [두 차례의 2주짜리 클론 프로젝트]를 진행하였습니다. 그리고 이 두 번째 클론 프로젝트에서 2주차 월요일에 저녁(즉, 8주차)에 선정된 기업을 알려주셨습니다. 저희 기수는 브랜디를 포함한 8개의 기업이 있었습니다. 규모만 보았을 때, 브랜디가 선정 기업중 가장 큰 규모였습니다. 그리고 기업협업을 하기 전, 제가 생각한 베스트 시나리오를 생각했을 때는 다음과..