BRICKSTUDY

📌 Intro안녕하세요!! Brickstudy 김민준입니다. 디스코드에 AI 챗봇 연동을 위한 첫번째 단계로 디스코드 챗봇을 구성합니다.현재 게시글은 2024년 8월 기준 디스코드 챗봇을 만들기위해 필요한 설정 과정을 정리합니다. 디스코드 웹 UI변경에 따라 일부 설정 방법이 변경될 수도 잇습니다. 참고!! 디스코드 회원가입 + 채널 생성하는 과정은 생략 후 바로 챗봇 설정하는 단계로 진행합니다.  🗂️ Table of Contents1. 디스코드 사용자 설정에서 개발자 모드 설정2. 디스코드 개발자 사이트 접속3. Bot 설정4. OAuth2 설정5. Discord 채널에서 봇 연동6. Discord 챗봇 기능 개발 💡 Background이전 블로그 글[BricksAssistant] 디스코드 AI..

Introduction현재 각 프로젝트에 사용될 데이터를 수집하고 관리하는 업무를 맡고 있는데요.프로젝트가 기획되고 있는 현재 시점에서 본격적인 데이터 수집에 앞서 수집 플랫폼의 구조를 잡아가고 있습니다. 데이터가 저장되는 구조, 현재까지 개발된 사항, 이 과정에서 고민했던 내용들을 공유하고자 합니다.Background실제 현업에서는 데이터의 형태, 양, 수집되는 소스가 정말 다양하고 이를 관리하기 위한 여러 DE 전략을 취하고 있는데요. 메달리온 아키텍처는 그 중 데이터를 비즈니스 유저에게 안정적으로 배달하기 위해 단계들을 만들고 이를 템플릿화해서 표준으로 제안하는 것입니다. 저희 역시 이 구조를 적용하여 데이터 수집 플랫폼을 갖춰두려고 하기 때문에, 이 개념을 공유하고자 합니다. Medallion A..

안녕하세요 박찬영입니다. 최근 video 관련 연구 분야에 대한 작은 관심이 생겨서 프로젝트 주제를 선정하기도 했는데, 연구적인 호기심이 강해서 서비스보다는 연구 위주로 먼저 생각해보려고 오늘의 주제를 가져왔습니다.오늘의 주제는 "Video Understanding"이라는 연구 분야에 대해서 세부적으로 어떤 Task들이 있는지 알아보고, 계속해서 관심을 받고 있는 LLM과 같이 활용하는 방법들을 소개하려고 합니다. 전체적인 내용은 서베이 논문인, Tang, Yunlong, et al. "Video understanding with large language models: A survey." _arXiv preprint arXiv:2312.17432_ (2023). 해당 논문을 보고 작성했습니다.어려운 내..

📌 Intro안녕하세요!! Brickstudy 김민준입니다. Brickstudy 모임을 운영하면서 모임이지만, 주말을 공유회를 제외하고 각자의 프로젝트 진행을 하기 때문에 본인이 진행하는 프로젝트에 대한 고민을 나누거나 아이디어를 공유하거나 코드 리뷰를 하는 등 누군가가 함께 이야기하면 좋을만한 것에 대한 아쉬움이 존재합니다. 이러한 고민을 실제 모임원들 간의 대화를 확대하는 등으로 진행하면 좋지만, 현실적인 이유(시간 등)로 어려움이 있습니다. 이를 어떻게 해결할지 고민하는 과정에서 생성형 AI(ChatGPT, Claude 등)를 활용해서 프로젝트 진행 어시스턴트를 만들어 보는 보면 좋을 것 같다는 생각을 해보았습니다. 아래 내용은 초기 기획안으로 실제 개발에 들어갈 다음주부터 구체화될 예정입니다. ..

Introduction안녕하세요. 김서영 입니다.해당 글은 spark 로컬 작업 환경 레포를 안내하는 글입니다. 해당 작업 환경을 구성하는데에 고려한 배경 지식을 간단히 정리하여 같은 context를 공유하고, 개발한 과정과 결과를 소개하여 발전 방향 및 피드백을 수렴하고자 합니다. Background🐣1. Spark?Apache Spark는 통합 컴퓨팅 엔진입니다. 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합이고, 현재 가장 활발하게 개발되고 있는 병렬 처리 엔진입니다.- 가장 널리 쓰이는 네 가지 언어(scala, java, python, r) 지원- sql, streaming, ml에 이르는 라이브러리 제공, 단일 노트북 환경부터 수천 대 서버로 구성된 클러스터까지 다양한 환경에서 ..

개요최근 산업에서는 데이터의 규모가 커지고 서비스의 파이프라인이 커지면서, 데이터 직군에서는 대용량 데이터 처리, 워크플로우 관리와 같은 데이터 플랫폼에 대한 관심도가 커지고있다.국내 여러 기업에서도 Databricks와 같은 통합 데이터 플랫폼을 도입하고 있다.데이터브릭스 고객 사례이에 따라서 데이터 직군(데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트)으로 진로를 준비하는 사람들에게 알면 좋은 데이터 중심의 플랫폼을 간단하게 소개하려고 한다.소개할 플랫폼- Apache Spark- Apache Airflow- MLflow- Databricks1. Apache SparkSpark란?Spark는 오픈소스 클러스터 컴퓨팅 프레임워크라고 할 수 있고, 단일 노드 컴퓨터 또는 클러스터에서 데이터 엔지니어..

📌 IntroSpark 데이터 처리 과정에서 Test code는 필요할까?🗂️ Table of ContentsintroBackground데이터 엔지니어링에 테스트 코드가 필요한가?Spark 테스트 코드ConclusionReferences💡 Background일반적인 서비스 개발에서 테스트 코드는 유지/보수/관리 측면에서 매우 중요합니다. 특히 소프트웨어 결함을 찾아내고 수정하는 과정을 통해 지속가능한 코드를 작성하는 데 매우 중요한 역할을 수행합니다.이러한 상황에서 Spark로 데이터 처리하는 과정에서도 테스트 코드를 고민해야합니다.데이터 엔지니어링에 테스트 코드가 필요한가?Test Code?소프트웨어 기능과 동작을 테스트하는 데 사용되는 코드단위 테스트, 통합 테스트, 시스템 테스트, 사용자 인수..