2023 숙명 AWS Streamlit 해커톤 참가 후기: Team.오데로_가야하죠?

숙명 AI / BigData AWS Streamlit Hackathon에 참가하기까지

이름이 왜이렇게 긴건가요?
→ .. 저도 정확한 이번 해커톤의 이름을 잘 모르겠습니다.... 모두가 부르는 명칭이 달랐습니다 ㅎㅎ

팀 '오데로 가야하죠?'의 구성 과정

 저는 같은 동아리(APPS😍)에 소속된 동기가 디코에 정보를 알려주어 처음 이 해커톤을 알게 되었습니다. 저에게 좋은 경험이 될 수 있을 것이라 확신했고,^[각주:1] 선착순 모집이라고 알고 있었기에 다른 동아리원분과 저를 주축으로 빠르게 팀원을 구하기 시작하였습니다. 어쨌든 한배를 타게 될 팀원을 구하기 위해서 꽤 고심했지만, 같이 주축이 되어주었던 친구가 AWS, 데이터 분석 경험도 있었기에 어렵지 않게 각 자리에 맞는 팀원을 모집할 수 있었습니다. 구하는 과정에선 에브리타임을 사용했는데, 여러 곳에서 쪽지가 왔지만 답장을 하지 않으셔서.. 마음이 조금 조급했다는 것... 외엔 빠르게 팀을 구성할 수 있었습니다. 

 팀을 구성하고 나선 참가 신청서를 빠르게 작성하기 시작하였습니다. 중간에 구글 폼에 연결되어 있던 신청서양식이 변동되어 재작성해야 하는 불편함을 겪기도 하였으나 큰 문제 없이 제출하였고, 참가 확인을 받았습니다. 여담으로, 폼을 제출하기로 한 날 제가 축농증 수술 일정이 잡혀있었습니다. 병원에서 수술을 대기하던 중에 폼을 제출하자마자 바로 축농증 수술을 받으러 갔습니다.. (건강하게 삽시다) 

AWS에서 진행되었던 사전 교육

'오데로 가야하죠' 사전 교육 시간😍

 이번 해커톤에서 가장 인상 깊게 남았던 기억 중 하나인 것 같습니다. AWS 본사에서 크롤링과 Streamlit에 대한 사전 교육을 받을 수 있었습니다! 저는 둘 다 아예 몰랐기 때문에 더욱더 유익하게 들을 수 있었습니다. 
 
 크롤링 실습은 BeautifulSoup과 AWS의 Lambda를 이용하여 최종적으로 DynamoDB에 저장하는 것까지 진행되었습니다. (알바 천국의 홈페이지를 크롤링해오는 과정이었는데, 약 80명에 가까운 사람이 크롤링을 하면 그건 해킹 아니에요? 라고 말하셨던 말이 계속 기억에 남습니다..🤣) DynamoDB와 Lambda는 프로젝트 등으로 써본 경험이 있으나, 크롤링 자체의 코드를 읽고 실제로 돌려보는 건 이번이 처음이었습니다. 웹 페이지의 구조를 파악해서 필요한 정보를 가져오는 과정이 정말 유익하였습니다. 특히나 시간 관계상 실습이 굉장히 빠르게 진행되었는데, 크롤링하는 법은 특히나 이번 대회에서도 유용하게 사용될 것 같아 쉬는 시간에도 진행해 주신 강사분께 에러 이유나 실행 방법을 더 물어보며 크롤링된 데이터를 결과로 얻을 수 있었습니다.
 
 Streamlit 핸즈온은 AWS C9 설정부터 다양한 Streamlit의 Element들을 구성해 보고 직접 결과물을 확인해 보았습니다. 특히나 Streamlit이 이번 해커톤에서도 유용하게 사용되었는데, 저처럼 프론트엔드나 데이터 분야에 무지한 사람도 쉽게 데이터 시각화를 해낼 수 있는 툴이었습니다. 하나씩 실습을 따라가면서 졸작을 프론트엔드 없이 해도 되겠다.. 라고 생각하며 옆에 공식 문서를 띄워놓고 이것저것 적용해 보며 들었던 강의였습니다. 유익한 강의 진행해 주신 멘토분들께 너무 감사드립니다!!

LinkedIn Jisoo Oh 페이지: 'AI/빅데이터 Streamlit 해커톤' 사전교육에 다녀왔습니다!  하루동안 크롤링,

아이디어 기획

길고 긴 회의와 아이디어 싸움

 제가 팀을 구축하며 생각한 저의 역할은 주로 스프링부트 개발을 해왔기 때문에 경험해 본 AWS 등의 인프라 구축 및 개발.. 혹은 더 준비해서 Streamlit 개발 정도의 역할을 생각했고, 다른 팀원분들이 데이터 쪽 역할을 하리라 생각하였습니다. 해커톤 전에 기획 회의를 몇 번 진행하면서도 최종 아이디어 결정에 난항을 겪었습니다. 꽤 여러번 해커톤을 나갔다고 생각했지만, 해커톤 기획이 정말 어렵다고 생각되는 점이 기획의 깊이를 잡기가 정말 어렵습니다. 1박 2일 이내에 구현해 낼 수 있을까에 대한 두려움이 모두에게 있었고, 기존에 제시한 아이디어들만큼 깊은 계획을 짜지 못했던 점이 지금 와서 돌이켜보면 조금 아쉬웠던 것 같습니다. 결국 최종적으로 선택된 아이디어는 GPT api를 사용하여 사용자가 자연어로 레시피를 추천해달라는 요청을 보내면, 오키친에서 그에 맞는 레시피를 찾아주는 아이디어가 채택되었습니다.

본격적으로 진행된 해커톤!

아이디어 기획 .. 왜 안끝났지?

데이터 분석 결과와 기획의 변화

충격적인 데이터 분석 결과

 즐거운 간식을 와구 먹고 운영진분들의 소개도 끝난 뒤, 실제 오뚜기의 판매와 리뷰 데이터를 받게 되었습니다. 애초에 공부 분야가 조금 달라서 데이터 볼일이 잘 없었으나 받은 리뷰데이터가 json이라 vsc로 열었는데, vsc의 미리보기가 그렇게 빽빽한 건 처음 보는 것 같습니다.... . 11만건의 데이터였는데 실제 데이터가 이렇다는 것을 체감했던 경험이었던 것 같습니다. 
 
 기획을 한 번 더 점검한 뒤 역할을 나누면서 팀원분들께서 전처리 과정을 진행하였는데, 팀원 중 한 분이 전처리 및 간단한 분석 결과를 알려주셨습니다. 판매 데이터 중 60%가 라면이고, 그 라면 데이터 중 90%가 진라면이라는 결과였습니다. 저희의 초반 설계는 판매 데이터 기반 추천 시스템이었으나, 데이터에 무지한 저로서도 이 데이터 기반으론 진라면만 추천하는 시스템이 되겠구나의 직감이 들었던 순간이었습니다. 어쨌든 필수 사항은 아니었으나 이 해커톤에서 주어지는 데이터를 최대한 활용하는 방향으로 결정했기에 리뷰 데이터도 확인했지만 역시나 라면 품목으로 시스템의 결정이 편향될 가능성을 확인하였습니다. 기획의 방향을 조금 틀어 OpenAI의 api를 더 활용하는 방안으로 프롬프트 엔지니어링을 더 집중하기로 결정했고, 팀원 중 한 분이 프롬프트 엔지니어링을 담당하여 노력을 쏟아부어 주셨습니다. 결과적으로 좋은 결과가 나오진 못했지만 처음 도전해 보시는 도메인임에도 끝까지 노력하시는 모습에 저도 자극받아 끝까지 달릴 수 있었던 것 같습니다.

개발 과정.. 나 프론트엔드 개발자인가?

Elastic Search 세팅에 실패하고 OpenSearch로 갈아타기

 저는 미리 Streamlit과 랭체인 등등을 공부해 보고 이번 해커톤에 참가하였습니다. 해커톤 전 회의에서 데이터 분석을 중점적으로 방향이 잡힌 것 같아 '그럼 이 팀을 꾸린 난 뭐하지..' 라는 생각에 이리저리 알아보고 제 역할을 찾기 위해 노력했던 것 같습니다. 특히나 이번 해커톤에서는 얕은 기획을 준비해서 참가했기에, 클라우드 계정을 받자마자 어딘가 유용하게 Elastic Search가 사용될 거라는 마음으로 세팅을 시작했습니다. (물론 아예 계획에 없진 않았으나, 다들 얕은 계획을 느끼곤 세팅 고고!라고 허락을 받았습니다😂) 이번에 참여하는 프로젝트 때문에 엘라스틱 서치의 강의를 들은 적 있는데, 덕분에 쉽지 않게 세팅하는 줄 알았으나..... Kibana 세팅 과정에서 에러가 발생하여 외부 접속 문제가 발생하였습니다. 문제는 에러 로그가 뜨지 않고 그냥 접속만 되질 않아 도저히 해결 방법을 찾기 어려워 첫 번째 멘토링을 요청했던 것 같습니다. 첫 번째 멘토분께서 왜 Open Search를 사용하지 않고 Elastic Search를 사용하냐는 질문^[각주:2]과 함께 해결을 도와주셨습니다. ec2 인스턴스 유형도 충분히 선택했고, 방화벽 설정도 다시 확인했으나 결국 세팅 에러는 해결되지 않았고, 함께 해결해 주시던 멘토분께서 이전에 제작한 오픈서치 가이드 파일을 주시면서 해커톤에 시간을 많이 뺏길 것 같다며 넘어갈 것을 제안해 주셨습니다.
 
 옮긴 오픈 서치는 시간이 오래 걸린다는 단점 제외 정말 좋았습니다! 아직도 엘라스틱 서치와의 차이점을 제대로 알지 못하지만, 전처리된 데이터도 빠르게 옮길 수 있었고, 쿼리도 확인할 수 있었습니다. 그리고 두 번째 시련을 맞이하게 됩니다. 엘라스틱 서치를 생각했던 저는 한글 형태소 분석기 '노리 nori'를 적용하겠다는 생각으로 구글링을 시작했는데, 오픈 서치에는 적용이 복잡하다는 결과를 얻게 됩니다. 두 번째 멘토링은 그렇게 시작되었습니다. 검색엔진 엔지니어...? (정신이 나가있었기에 단어 기억이 확실하지 않습니다.) 분께 멘토링을 가장한 상담을 받았습니다. 일단 '은전한닢' 등 대체 적용할 한글 형태소 분석기가 있으나 시간상의 문제로 있는 쿼리로 해결해 보자고 상담..같은 멘토링을 해주셨고, 적용해 볼 만한 쿼리를 작성해 주시곤 설명도 친절하게 해주셨습니다. 제 상담을 해결해 주시면서 제가 참지 못한 궁금증 ^[각주:3]을 많이 물어보았는데 그 역시도 너무 친절히 대답해 주셔서 정말 감동을 받았던 순간이었습니다. 이때쯤 데이터 분석 결과에 절망한 팀원분께서 다른 멘토분께 한풀이를 하고 계셨는데, 저도 들으면서 웃고 있던 와중에 해결 방법을 생각해 내기 위해 한 번도 웃지 않으시며 집중하셨던 멘토님의 모습이 기억에 남습니다. 참고로 이 한풀이를 전부 들으셨던 멘토분은 한참 웃으시더니 다른 멘토분들께 '이 팀 완전 웃긴데요?🤣' 하며 썰 풀이를 하러 가셨고, 썰 풀림을 당한 저희 팀은 더욱더 이를 박박 갈며 개발에 집중하게 됩니다.

Streamlit 개발

 배워놨던 엘라스틱 서치를 한 번도 프로젝트에 써본 적이 없는데 이번 해커톤의 기회로 다 경험해 보게 된 저는 파이썬을 통해 데이터들을 오픈 서치에 옮기고, OpenAI api로 키워드를 받아낸 뒤, 그 키워드를 통해 오픈 서치에서 레시피 데이터들을 꺼내오는 것까지 성공하였습니다. 파이썬을 코테로만 취급해 보고, 실제 프로젝트 개발에 사용해 본 적도 없기에 저로서는 여기까지도 뿌듯한 경험이었습니다. 현재 진행하고 있는 프로젝트에서도 유용하게 사용될 것 같아 나름 흐뭇해하고도 있었습니다. 하지만 일손이 남아돌 순 없었고, 저는 Streamlit개발도 시작하였습니다. 프론트 개발의 시작이자, 저의 발버둥의 시작이었습니다. 데이터의 정확한 상황은 몰랐기에 데이터 시각화 쪽은 다른 분께서 맡아주셨고, 저는 검색 결과를 나타낼 수 있는 정말 영상으로 찍어야 하는 '데모' 부분을 어쩌다 보니 맡았어야 했습니다.

 이미 챗봇이라는 키워드는 아이디어 기획 당시에도 언급되었기에 관련된 레퍼런스는 이미 구해놓아서 빠르게 채팅 UI는 구현했지만, 문제는 이 추천된 5개의 레시피를 띄우는 과정이었습니다. 구글링을 통해 Streamlit 공식 문서, 커뮤니티에 비슷한 질문들을 찾아보며 "세련된" 방법을 따라 해 보려고 노력했지만 전부 실패하거나 제 맘에 들지 않았습니다. 이쯤 되어 저의 머리에 html+css를 통한 하드 코딩 방법이 생각났고, 아침 해가 떠오르는 걸 보며 저는 하드 코딩의 방법밖에 없음을 확신하며 코드를 작성하기 시작했습니다. 그리고 제가 작성한 코드는 다음과 같습니다. 놀랍게도 모두 string입니다..

광기의 html + css 하드 코딩

최종 산출물

최종 산출물의 아키텍처와 받았던 지비츠들! (가위바위보 졌는데도 지비츠 주신 멘토분.. 저희 팀을 조롱했지만 용서해드립니다ㅎㅎ)

 특히나 저는 챗봇 부분 UI를 맡았기에 이렇게나 뿌듯할 수 없었습니다. 프론트엔드 개발자분들이 보통 산출물이 결과로 나올 때 가장 재미와 성취감을 느끼신다고 하실때 마다 이해할 수 없었는데, 이번 기회를 통해 이해할 수 있었습니다. "특히나 뿌듯"했던 Streamlit 개발 산출물은 아래에 함께 첨부합니다😁

인도 음식을 추천해주는 상황

간단한 자취 음식을 추천해주는 상황

아쉬웠지만 예상했던 최종 결과

너무너무 고생한 우리 팀.. 얼굴에 피곤함이 가득 묻었지만 빵끗😉😊

 최종 발표자료를 제출하고, 다른 팀들의 발표를 지켜보며 저희가 기획 과정에서 생각해냈지만 해커톤 기간 내에 완성해낼 수 있으리라는 확신이 안들어 포기한 아이디어들이 많았습니다. 어쨌든 저희 팀은 포기했고, 끝까지 구현해낸 팀이 수상을 한 것 같습니다. 발표를 들으며 정말 저 팀은 받겠구나라는 생각이 들기도 했고 기발한 아이디어에 놀라기도 했습니다.
 
 저희 팀은 수상을 해내진 못했지만 이번 해커톤은 정말 얻어간 게 많았던 해커톤이었습니다. 데이터 분석 능력도 없는 주제에 데이터톤에 참가했지만 작은 것에도 큰 칭찬을 해주는 우리 팀원들 덕에 힘내서 끝까지 달릴 수 있었던 것 같습니다. 저는 당연히 우리가 여기까지 달려와 최종 발표까지 할 수 있었던 것은 팀원들이 모두 모아서 해낸 결과였다고 생각합니다. 잘 정제된 데이터 셋이 아니었다면 제가 Open Search와 연동할 수도 없었을 것이고, 최종적으로 Streamlit에서 구현해낼 수도 없었을 것입니다. 초기 기획 단계에서 정했던 데이터 분석 결과를 최종 결과물에 반영해 내지 못한 것조차 우리의 산출물이었다고 생각합니다. 분석 결과가 예상에 빗겨나갈 것이라는 방향을 미리 고려하지 못했다는 점이 아쉬웠지만, 팀원들 모두 다른 기회에서는 이번 경험을 토대로 더 유연한 대처를 해낼 수 있으리라 믿습니다!
 
 이번 해커톤을 통해 11만건의 실제 데이터를 다뤄보고, 좋은 기회에 함께 참여하여 끝까지 열심히 달렸다는 것 자체가 우리 팀원들에게 좋은 경험으로 남았으리라 생각합니다. 우리 팀 수고했어요😍
 
 

1. 그리고 그 완벽한 경험을 위해 또 다시 팀장을 맡게 됩니다. ~ ENTJ ~ [본문으로]
2. 세팅 좀 해보고 쿼리만 날려본 저는 '나는 지금까지 이렇게 살아왔는데..'라는 눈빛으로 가만히 멘토님을 쳐다보았습니다. [본문으로]
3. 직업 자체에 대한 궁금증을 많이 풀었습니다. 쿼리는 어떻게 학습해야 실력이 많이 늘어날 수 있을지, 멘토님도 업무 과정에서 chat GPT 많이 쓰시는지에 대해 질문 하였습니다ㅎㅎ [본문으로]