이 글은, 프로그래머스에서 진행되는 실리콘밸리에서 날아온 데이터 엔지니어링 키트 with Python에서 배운 내용을 바탕으로 이루어져 있습니다. 비구조화된 데이터 처리 비구조화된 데이터는 AWS에서 제공하는 S3라는 클라우드 스토리지에 저장합니다. S3외에 다른 스토리지를 선택할 수도 있습니다. 다만, S3는 가격이 싸면서도 로그파일같...

이 글은, 프로그래머스에서 진행되는 실리콘밸리에서 날아온 데이터 엔지니어링 키트 with Python에서 배운 내용을 바탕으로 이루어져 있습니다. 이번 글에서는 기본적인 SQL 쿼리문들을 정리해보겠습니다. 먼저 DDL입니다. DDL - 테이블 구조 정의 언어 CREATE TABLE Primary key 속성을 지정...

이 글은, 프로그래머스에서 진행되는 실리콘밸리에서 날아온 데이터 엔지니어링 키트 with Python에서 배운 내용을 바탕으로 이루어져 있습니다. Redshift는 클라우드에서 관리되는 데이터 웨어하우스 서비스입니다. 그 용량은 작게 수백 기가 바이트부터 페타바이트 이상까지 데이터를 확보할 수 있습니다. 그렇다면 데이터 웨어하우스는 무엇일...

이 글은, 프로그래머스에서 진행되는 실리콘밸리에서 날아온 데이터 엔지니어링 키트 with Python에서 배운 내용을 바탕으로 이루어져 있습니다. 그리고 Airflow을 사용한다는 전제 하에 글을 적어내린다는 점을 참고해주세요. (데이터베이스 : PostgreSQL) Incremental Update는 왜 필요한가요? 데이터 파이프라인을...

잠시… 상상을 해봅시다. 어떤 데이터를 만들기 위해선 다른 테이블을 JOIN해야하는 상황이 찾아왔습니다. 근데 JOIN 키가 눌리면서 쿼리는 이미 날라갔고 DB가 막 일을 하고 있는데 Primary Key가 문제가 있는게 보였어요, 혹은 다른 문제가 보인거죠. 중복 데이터 보인다던지 말이죠. 그럼 JOIN된 결과는 어떨까요? 그려지시나요? 맞아...

이 글은, 프로그래머스에서 진행되는 실리콘밸리에서 날아온 데이터 엔지니어링 키트 with Python에서 배운 내용을 바탕으로 이루어져 있습니다. 데이터 엔지니어에게 SQL이란? 데이터 엔지니어라는 직군을 떠올렸을 때 ‘아무래도 엔지니어니까 SQL보다 다른 언어를 많이 쓰지 않을까?’ 생각하기 쉽지만, 누구보다 SQL을 많이 사용하고 잘 다룰...

SQL이란? SQL은 Structured Query Language (구조적 질의 언어)의 줄임말로, 관계형 데이터베이스 관리 시스템(RDBMS)의 데이터를 처리하고 저장하기 위해 설계된 특수 목적의 프로그래밍 언어입니다. 관계형 데이터베이스는 정보를 표 형식으로 저장하며, 행과 열은 데이터 속성과 데이터 값 간의 다양한 관계를 나타냅니다. S...

wsl 을 사용하시다가 systemctl 명령어를 사용할 때 와 연관된 에러가 발생하고, 에러를 해결하고 싶다면 아래 command 를 차례로 실행해주세요. sudo -b unshare --pid --fork --mount-proc /lib/systemd/systemd --system-unit=basic.target sudo -E nsent...

Git bash 혹은 CLI 로 git을 사용 시 한글 내용이 깨지는 현상이 발생합니다. 아주 자연스러운 현상이에요. 이렇게 git 에서 알려줘도 당황하지 않으셔도 됩니다. Git config 를 조금만 만져주면 해결이 되거든요. git config --global core.quotepath false 한글이 깨지는 이유는, 큰 바이트를 가...

Jekyll 이란? 지금 제가 글을 적고 있는 이 블로그는 Jekyll 을 사용해서 만들었습니다. Jekyll 은 정적 사이트 생성기로 깃헙 설립자 중 한 분이 Ruby 언어를 이용해 만든 프레임워크인데요. 깃헙 자체적으로 Jekyll Contents Management System을 내장하고 있어서 깃헙을 이용해 호스팅하기 적합합니다. Jekyl...