목록discord (1)

BRICKSTUDY

AWS lambda를 활용한 S3 적재된 데이터 카탈로그 확인 도구 개발기

📌 Intro안녕하세요!! Brickstudy 김민준입니다. 데이터 레이크, 데이터 플랫폼 관리의 가장 기본은 조직의 데이터를 어떤 규칙을 가지고 어떻게 저장 및 관리할지 결정하는 데이터 카탈로그를 구성하는 것입니다. 이를 위해 모임 내의 데이터 엔지니어 분들과 많은 협의를 진행 중이고 현재 모임 내 데이터 카탈로그 규칙을 정의했습니다. 이러한 규칙 협의 후 해당 규칙에 맞게 데이터가 제대로 데이터 레이크(S3) 내에 적재되고 있는지 확인하는 도구의 필요성이 함께 대두되었습니다. 데이터가 적재되었을 때, 트리거를 발생하여 파일 저장 경로를 기준으로 규칙 적용 여부를 확인하는 서비스를 AWS lambda를 활용하여 개발을 진행했습니다. 해당 글은 AWS lambda를 활용한 S3에 적재된 데이터의 데이터..
Data 2024. 8. 8. 13:00
이전 Prev 1 Next 다음