BRICKSTUDY

📌 Intro안녕하세요!! Brickstudy 김민준입니다. Brickstudy 모임을 운영하면서 모임이지만, 주말을 공유회를 제외하고 각자의 프로젝트 진행을 하기 때문에 본인이 진행하는 프로젝트에 대한 고민을 나누거나 아이디어를 공유하거나 코드 리뷰를 하는 등 누군가가 함께 이야기하면 좋을만한 것에 대한 아쉬움이 존재합니다. 이러한 고민을 실제 모임원들 간의 대화를 확대하는 등으로 진행하면 좋지만, 현실적인 이유(시간 등)로 어려움이 있습니다. 이를 어떻게 해결할지 고민하는 과정에서 생성형 AI(ChatGPT, Claude 등)를 활용해서 프로젝트 진행 어시스턴트를 만들어 보는 보면 좋을 것 같다는 생각을 해보았습니다. 아래 내용은 초기 기획안으로 실제 개발에 들어갈 다음주부터 구체화될 예정입니다. ..

Introduction안녕하세요. 김서영 입니다.해당 글은 spark 로컬 작업 환경 레포를 안내하는 글입니다. 해당 작업 환경을 구성하는데에 고려한 배경 지식을 간단히 정리하여 같은 context를 공유하고, 개발한 과정과 결과를 소개하여 발전 방향 및 피드백을 수렴하고자 합니다. Background🐣1. Spark?Apache Spark는 통합 컴퓨팅 엔진입니다. 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합이고, 현재 가장 활발하게 개발되고 있는 병렬 처리 엔진입니다.- 가장 널리 쓰이는 네 가지 언어(scala, java, python, r) 지원- sql, streaming, ml에 이르는 라이브러리 제공, 단일 노트북 환경부터 수천 대 서버로 구성된 클러스터까지 다양한 환경에서 ..

개요최근 산업에서는 데이터의 규모가 커지고 서비스의 파이프라인이 커지면서, 데이터 직군에서는 대용량 데이터 처리, 워크플로우 관리와 같은 데이터 플랫폼에 대한 관심도가 커지고있다.국내 여러 기업에서도 Databricks와 같은 통합 데이터 플랫폼을 도입하고 있다.데이터브릭스 고객 사례이에 따라서 데이터 직군(데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트)으로 진로를 준비하는 사람들에게 알면 좋은 데이터 중심의 플랫폼을 간단하게 소개하려고 한다.소개할 플랫폼- Apache Spark- Apache Airflow- MLflow- Databricks1. Apache SparkSpark란?Spark는 오픈소스 클러스터 컴퓨팅 프레임워크라고 할 수 있고, 단일 노드 컴퓨터 또는 클러스터에서 데이터 엔지니어..

📌 IntroSpark 데이터 처리 과정에서 Test code는 필요할까?🗂️ Table of ContentsintroBackground데이터 엔지니어링에 테스트 코드가 필요한가?Spark 테스트 코드ConclusionReferences💡 Background일반적인 서비스 개발에서 테스트 코드는 유지/보수/관리 측면에서 매우 중요합니다. 특히 소프트웨어 결함을 찾아내고 수정하는 과정을 통해 지속가능한 코드를 작성하는 데 매우 중요한 역할을 수행합니다.이러한 상황에서 Spark로 데이터 처리하는 과정에서도 테스트 코드를 고민해야합니다.데이터 엔지니어링에 테스트 코드가 필요한가?Test Code?소프트웨어 기능과 동작을 테스트하는 데 사용되는 코드단위 테스트, 통합 테스트, 시스템 테스트, 사용자 인수..