이 글은, 프로그래머스에서 진행되는 실리콘밸리에서 날아온 데이터 엔지니어링 키트 with Python에서 배운 내용을 바탕으로 이루어져 있습니다. Redshift는 클라우드에서 관리되는 데이터 웨어하우스 서비스입니다. 그 용량은 작게 수백 기가 바이트부터 페타바이트 이상까지 데이터를 확보할 수 있습니다. 그렇다면 데이터 웨어하우스는 무엇일...

이 글은, 프로그래머스에서 진행되는 실리콘밸리에서 날아온 데이터 엔지니어링 키트 with Python에서 배운 내용을 바탕으로 이루어져 있습니다. 그리고 Airflow을 사용한다는 전제 하에 글을 적어내린다는 점을 참고해주세요. (데이터베이스 : PostgreSQL) Incremental Update는 왜 필요한가요? 데이터 파이프라인을...

잠시… 상상을 해봅시다. 어떤 데이터를 만들기 위해선 다른 테이블을 JOIN해야하는 상황이 찾아왔습니다. 근데 JOIN 키가 눌리면서 쿼리는 이미 날라갔고 DB가 막 일을 하고 있는데 Primary Key가 문제가 있는게 보였어요, 혹은 다른 문제가 보인거죠. 중복 데이터 보인다던지 말이죠. 그럼 JOIN된 결과는 어떨까요? 그려지시나요? 맞아...

이 글은, 프로그래머스에서 진행되는 실리콘밸리에서 날아온 데이터 엔지니어링 키트 with Python에서 배운 내용을 바탕으로 이루어져 있습니다. 데이터 엔지니어에게 SQL이란? 데이터 엔지니어라는 직군을 떠올렸을 때 ‘아무래도 엔지니어니까 SQL보다 다른 언어를 많이 쓰지 않을까?’ 생각하기 쉽지만, 누구보다 SQL을 많이 사용하고 잘 다룰...

SQL이란? SQL은 Structured Query Language (구조적 질의 언어)의 줄임말로, 관계형 데이터베이스 관리 시스템(RDBMS)의 데이터를 처리하고 저장하기 위해 설계된 특수 목적의 프로그래밍 언어입니다. 관계형 데이터베이스는 정보를 표 형식으로 저장하며, 행과 열은 데이터 속성과 데이터 값 간의 다양한 관계를 나타냅니다. S...

wsl 을 사용하시다가 systemctl 명령어를 사용할 때 와 연관된 에러가 발생하고, 에러를 해결하고 싶다면 아래 command 를 차례로 실행해주세요. sudo -b unshare --pid --fork --mount-proc /lib/systemd/systemd --system-unit=basic.target sudo -E nsent...

Git bash 혹은 CLI 로 git을 사용 시 한글 내용이 깨지는 현상이 발생합니다. 아주 자연스러운 현상이에요. 이렇게 git 에서 알려줘도 당황하지 않으셔도 됩니다. Git config 를 조금만 만져주면 해결이 되거든요. git config --global core.quotepath false 한글이 깨지는 이유는, 큰 바이트를 가...

Jekyll 이란? 지금 제가 글을 적고 있는 이 블로그는 Jekyll 을 사용해서 만들었습니다. Jekyll 은 정적 사이트 생성기로 깃헙 설립자 중 한 분이 Ruby 언어를 이용해 만든 프레임워크인데요. 깃헙 자체적으로 Jekyll Contents Management System을 내장하고 있어서 깃헙을 이용해 호스팅하기 적합합니다. Jekyl...

이번에는 WSL2을 이용해서 가상머신에 Ubuntu 20.04 를 설치보겠습니다. 필자의 PC 환경은 아래와 같습니다. OS : Windows 10 Pro WSL 란? Windows 10 OS 에서 리눅스 운영체제의 쉘, 시스템을 사용할 수 있도록 지원하는 기능입니다. 개발, 코딩, 테스트, 서버 관리 등 많은 작업을 가상화를 통해서 리눅...

우분투에 PostgreSQL 을 설치하는데에 오류를 겪었고 그로 인해 계속해서 완전 삭제 후 재설치를 하는 과정을 겪어 같은 트러블 슈팅을 하고 계신 분들에게 제 경험을 나누려고 하는 글입니다. 먼저 제가 이 작업을 한 환경은 아래와 같습니다. OS : Windows 10 pro Ubuntu → WSL2에 Ubuntu 22.04 설치 계...