테크 블로그 TechBlog

※ 팀/직무 소개&인터뷰 문안 요청 

해당 내용은 기술블로그에 오픈되어, 미래 구성원이 될 당사의 지원자 대상으로 공개될 내용으로 각각의 질문에 대하여 지원자 관점에서 이해도를 높이기 위하여 제작됩니다. 

Q. 매니저님, 팀과 자기소개 부탁드립니다. 😊 

A. 안녕하세요! 데이터엔지니어링팀의 이치호 매니저입니다. 오늘은 GS리테일의 모든 데이터를 책임지고 있는 데이터엔지니어링팀을 소개하려고 해요. 사실 저는 팀에 합류한 지 이제 겨우 3개월 밖에 안 된 완전 뉴비인데요, 신입의 신선한 시각으로, 우리 팀을 객관적이고 솔직하게 들여다보는 시간을 가져보려고 합니다. 그럼 지금부터 데이터의 세계로 같이 들어가 보실까요?😀

 

Q. GS리테일의 데이터엔지니어링팀에 어떻게 합류하게 됐나요?

A. 저는 이전에 AWS에서 솔루션즈 아키텍트로 일하면서 이커머스, 제조, 금융 등 다양한산업의 급격한 변화와 성장을 직접 경험했어요. 특히 클라우드 데이터 웨어하우스가 등장하면서 데이터 수집, 파이프라인 구축, 그리고 시각화 방식이 완전히 새롭게 바뀌는 걸 지켜봤습니다. 이 과정에서 항상 “어떻게 하면 데이터의 유효성과 적시성을 제대로 보장하는 데이터 플랫폼을 만들 수 있을까?” 라는 고민을 해왔는데요, 그러던 중 GS리테일의 데이터 플랫폼 현대화 프로젝트를 알게 되었어요. 온/오프라인 데이터를 모두 아우르는 GS리테일이라면 정말 의미 있는 도전을 해볼 수 있겠다는 확신이 들었어요. (참고로, 아래 사진은 제가 2024 AWS Summit Seoul에서 LLM 관련 내용을 발표했을 때의 모습입니다.)

 

Q. 데이터엔지니어링팀이 하는 일은 무엇인가요?

A. 데이터엔지니어링팀의 업무는 단순하지만 강력합니다. 우리 팀이 하는 일은 GS리테일의 데이터를 가치 있게 만들어, 데이터 활용 조직이 가장 잘 하는 일, 즉 통찰력 제공에만 집중할 수 있도록 돕는 거예요. 이 목표를 이루기 위해 우리는 다양한 역할을 수행하고 있어요.

• 다양한 데이터, 하나의 파이프라인 : 정형 데이터든 비정형 데이터든 종류에 상관 없이 데이터를 매끄럽게 수집하고, 필요에 맞게 변환하는 파이프라인을 구축하고 있어요.

• 데이터 웨어하우스 운영 및 모델링 : 데이터를 잘 정리하고 쌓아두는 일, 그래서 필요한 순간에 꺼내 쓸 수 있도록 하는 것이 우리의 일이에요.

• 실시간 데이터 프로세싱 : 고객 행동 데이터를 실시간으로 수집해, 비즈니스에 바로 반영할 수 있는 환경을 제공해요.        

• 데이터 시각화 및 BI 운영 : 데이터는 결국 눈으로 보고 이해할 수 있어야 그 힘을 발휘하는 것 같아요. 우리는 시각화 솔루션을 통해 데이터를 더 쉽고 빠르게 이해하도록 돕고 있어요.

하지만 솔직히, 지금 모든 역할을 완벽히 해내고 있는 건 아니에요. 그래서 현재 “사용하기 쉽고, 느려지지 않으며, 안정적인” 데이터 플랫폼을 만드는 프로젝트를 진행하고 있어요. 여러분들이 느꼈을지도 모를, “아니, 이건 왜 이렇게 느리고 불편한거야?” 라는 순간들을 없애기 위해 열심히 달리고 있답니다.

 

Q. 데이터엔지니어링팀의 팀 문화에 대해 소개해주세요.

A. 우리 팀은 데이터 파이프라인의 모든 단계를 책임지고 있어요. 수집부터 프로세싱, 저장, 시각화까지 전부 다요. 이 과정에서 협업은 필수라고 생각해요. 덕분에 팀 분위기도 정말 자연스럽고 편안해요. 누구든 언제든 도움을 요청할 수 있고, 서로 문제를 해결해 주는 게 당연한 분위기예요.

일하다가 커피 한 잔 하면서 수다 떠는 시간이 길어져도 괜찮아요. 오히려 이런 시간이있기 때문에 아이디어도 떠오르고 서로 배울 기회가 생기니까요. 또 데이터 기술이 워낙 빠르게 변하잖아요? 그래서 새로운 의견이나 아이디어는 언제나 환영이에요. 데이터엔지니어링팀은 모두 함께 배우고 성장하는 문화를 만들어가고 있어요!

 

 

Q. 진행하고 있는 프로젝트에 대해 소개해주세요

A. 수년 동안 GS홈쇼핑은 ‘데이터허브DB’ 라는 이름으로 불리는 Oracle Exadata를 DW(Data Warehouse)로 활용해 왔어요. 허나 사내 데이터 활용도가 점점 높아지면서 모든 요청이 데이터허브DB로 몰리게 되었고, 죄 없는 데이터허브DB는 자원 사용률이 90% 에 육박하면서, “나를 그만 놓아달라고” 아우성 치고 있는 상황이에요.

물론 스케일업으로 잠시나마 숨통을 틔울 수도 있지만, 근본적인 해결을 위해 클라우드환경으로 현대화하기로 했어요. 하지만 단순히 클라우드로 옮긴다고 문제가 해결되지는 않아요. 그래서 DW의 고통을 분담해 줄 데이터레이크(Data Lake) 구축, DBT(DB Build Tool)를 활용한 리니지가 보이는 코디 기반 DW 설계, 그리고 생성형 AI 기반 비즈니스 인텔리전스 도입 등을 클라우드 서비스와 연계해서 대대적인 변화를 계획하고 있어요.

아래는 우리가 목표로 하는 레이크하우스(Lakehouse) 청사진인데요, 테크적인 부분은 다음 편에서 자세히 다룰게요. 기대해 주세요!

 

Q. 데이터엔지니어로 일하기 위해 필요한 역량이 있다면 무엇이 있을까요?  

데이터 엔지니어는 기술과 비즈니스를 연결하는 중요한 다리 역할을 합니다. 우선 데이터를 다루는 기술이 핵심인데요, 클라우드나 다양한 오픈소스 도구를 활용해서 대용량 데이터를 빠르고 효율적으로 처리하는 능력이 필수예요.

그런데 여기서 끝이 아니에요! 데이터를 비즈니스에 맞게 활용하는 것도 정말 중요해요. 예를 들어, 데이터를 분석해서 고객 행동을 파악하거나 상품 판매를 늘릴 아이디어를 만들어 내는 건 기본이고요. 여기서 한 걸음 더 나아가, 이 정보를 효과적으로 시각화해서 전달할 줄 알아야 해요.

데이터를 그래프나 대시보드와 같은 형태로 보여주면, 복잡한 정보도 쉽게 이해할 수 있고, 의사결정을 훨씬 빠르게 내릴 수 있거든요. 그러니까 기술력은 물론이고, 데이터를 비즈니스 언어로 바꿀 줄 아는 능력이 데이터 엔지니어에게 꼭 필요한 거죠!

 

Q. 마지막으로 데이터엔지니어링팀에 지원하는 지원자에게 한마디 해주세요  

A. 데이터엔지니어링팀은 클라우드 전환과 최신 기술을 적극 활용해서, 트렌드에 맞는 데이터 플랫폼을 만들어가고 있어요. 그래서 최신 기술을 배우고 데이터 역량을 키우고 싶은 분들에게는 정말 최적의 환경을 제공하고 있어요.

또한 GS리테일은 온/오프라인 데이터를 모두 다루는 국내 최대 이커머스 회사로, 데이터뿐만 아니라 비즈니스까지 폭넓게 경험할 수 있는 흔치 않은 기회를 제공해요. 데이터를 다루는 데 열정이 넘치고, 비즈니스 문제 해결에 직접 기여하고 싶은 분들에게 데이터엔지니어링팀은 최고의 선택이 될 거예요.

GS리테일과 함께 성장하면서 새로운 가치를 만들어갈 분들, 기다리고 있겠습니다. 언제든 환영합니다!