[플레이데이터 SK네트웍스 Family AI 캠프 21기] 10월 4주차 회고

이번주에는 SQL을 끝내고 웹크롤링을 배울 수 있었다.

웹크롤링은 미리 SKN에서 제공해준 인프런 강의를 통해 미리 공부한 부분도 있고 iOS 개발을 할 때 웹앱의 경우, 웹 디버깅 경험이 있기때문에 어렵게 느껴지진 않았다.

WebCrawling 관련 내용은 따로 정리했다.

[Python] Web Crawling - 정적 웹 페이지 🆚 동적 웹 페이지

 

🧩 The four Fs

✅ FACTS (사실, 객관)

무엇보다 이번주는 WebCrawling, SQL, Streamlit을 가지고 첫 프로젝트를 진행하게 되었다.
주제는 자동차 관련된 정보로 자유롭게 정할 수 있었고, 총 1.5일이라는 짧은 기간안에 완성해야했다.
팀원 5명 중 3명이 개발을 처음 배우고 계신 분들이었기 때문에, 모든 팀원이 직접 개발에 참여해볼 수 있으면서 기간안에 완성할 수 있는 주제와 메뉴 구성을 고민했다.

중고차,,, 자동차 관련된 영화에대한 크롤링 후 분석 정보 제공,,, 등 공공데이터를 사용해도 된다고 하여 이것 저것 생각해봤다.
팀원들과 이야기해보니 완성을 못해도 웹크롤링을 해보고 싶다는 결론이 나와서 정적 웹페이지를 크롤링할 수 있는 주제를 고민해봤다.

그 과정에서 최근에 재밌게 봤던 F1 영화!!! 찾아보니 F1 공식 홈페이지가 정적 웹페이지로 정보 제공도 너무 잘되어있어서 웹 크롤링 난이도도 적당하다고 생각했다.

처음에는 F1 스케줄을 가지고 정보 제공을 하고 싶었는데,
SQL에서 배웠던 평균값 구하는 방법이나 Streamlit 기능들을 써보고 싶어서 F1 레이서 정보 제공하기로 변경했다.

주제가 정해진 후, 기본 프로젝트 구성을 구현해서 Git에 초기 작업을 커밋해놓고 F1 레이서 리스트 정보를 가져오는 웹 크롤링 방법을 구현했다.

그리고 한분은 DB 구성 및 SQL 파트를 작업해주셨고, 두 분은 레이서들의 상세페이지에서 두가지의 정보를 각자 하나씩 웹크롤링하는 개발을 진행했다.

막내 팀원이 건강 문제로 참여하지 못해서 너무 아쉬웠지만,
나머지 모튼 팀원이 직접 개발에 참여하며 프로젝트를 완성할 수 있도록 서포트 했으며 최종으로 완성된 정보 제공 페이지를 완성할 수 있었다.

✅ FEELINGS (느낀 것, 주관)

오랜만에 팀 프로젝트를 함께 개발 할 수 잇어서 너무 재밌었다!!!!

다시한번 난 개발을 계속 해야겠다라는 다짐을 했고, 짧은 시간이었지만 다른 팀원의 부족한 부분은 내가 채워주고 내가 부족한 부분은 다른 팀원분들이 채워주는 협업으로 진행이 잘 되었다고 생각한다.

팀원분들이 각자 자신들의 방법으로 개발을 진행하는걸 보면서 신기하기도 했고 함께 성장하는 모습을 보며 더 재밌게 느껴졌다.
모두가 commit 했습니다! 외치며 끝나는 프로젝트를 완성했다.ㅎㅎㅎ
마지막까지 포기하지 않고 열정을 다한 우리 팀 진짜 멋있었따!👍

✅ FINDINGS (배운 것)

팀장을 맡으면서 파이썬 프로젝트의 기본 구조를 잡아볼 수 있는 경험이 생겨서 너무 좋았다.

짧은 기간이라도 명확한 기획과 역할 분담이 있다면, 서로 믿고 최선을 다한다면 충분히 결과물을 낼 수 있다는 것을 다시 한 번 배웠다.

할까말까 할때는 역시 그냥 해보자!!
- FAST F1 DATABASE 왼쪽 상단에 있는 Korean 버튼은 팀원분이 하고 싶어 하셨는데 시간 관계상 어렵지 않을까 했다가
공부하는건데 뭐!!!! 못하면 해본거에 의미를 두면 되는거지!! 하면서 해보세요!! 했고 결국 해내셨다!👍
- 비교할 레이저 선택하는 페이지는 담당 팀원분께서 하고 싶은 UI가 있으셔서 GO!!!! 했는데 버튼 UI가 늦게 작동하는 이슈가 마지막까지 있었지만 프로젝트 종료 10분전,,, 결국 함께 해결할 수 있었다!!!👍

✅ FUTURE (미래)

말재주가 없는 나에겐 발표가 참 어려운데 다음 프로젝트에서는 도전해볼 수 있도록 하자.

이번 프로젝트는 정적 웹 페이지였으므로, 따로 동적 웹 페이지 크롤링을 연습해보자.
정적 웹 크롤링은 Selenium 라이브러리를 사용하던데 웹 크롤링부터 매크로까지 진행해보면서 해당 라이브러리를 사용해보기!!!

잠시 잊고 있었던,,,, 코딩테스트와 딥러닝 공부에 집중하자.

GitHub - SKNETWORKS-FAMILY-AICAMP/SKN21-1st-5Team