Moo Note

[플레이데이터 SK네트웍스 Family AI 캠프 21기] 11월 1주차 회고

이번주에 드디어 머신러닝이 시작했다. 먼저 기존 프로그램 방식과 머신러닝의 프로그램 방식의 차이점에대해서 이해하고 실제 데이터 분석 실습까지 진행했다.🤖 AI, 머신러닝, 딥러닝의 차이AI (인공지능) : 딥러닝 & 머신러닝 기술로 사용자들에게 서비스를 제공하는 형태.Machine Learning (머신러닝) : 대부분 정형 데이터. 학습 데이터를 통해 규칙(함수)를 만들어내 결과를 예측하거나 분류하는 기술 분야.Deep Larning (딥러닝) : 인공신경망 알고리즘 기반으로 머신러닝의 한 분야. 비정형 데이터에서 뛰어난 성능을 나타냄.딥러닝 🆚 기존 프로그래밍 방식 vs 머신러닝 방식기존 프로그래밍 방식 : 데이터 / 프로그램 (함수, 알고리즘) -> 컴퓨터 -> 결과 (Output)머신러닝 프로..

모델 성능을 높이기 위한 데이터 전처리 ✨

데이터 전처리는 데이터들을 분석하고 머신러닝 모델에 적합한 형태로 데이터셋을 변환하거나 조정하는 과정을 말한다. 데이터도 다양하고 좋아야하지만 동일한 데이터로 데이터 전처리를 어떻게 하냐에따라 모델 성능 결과가 크게 달라진다. 데이터 전처리는 결측치 처리 -> 이상치 처리 -> 인코딩 -> 스케일링 순서로 이루어진다.데이터 중에 결측치(Missing Value)와 이상치(Outlier)가 존재한다. 결측치는 NA, NaN, None, null로 표현되고, 이상치는 잘못된 값이나 극단치를 가지고 있는 값을 말한다.데이터에서 결측치와 이상치의 존재여부를 확인해서 해당 데이터 행를 삭제하거나 해당 값을 대체해주는 작업을 해줘야한다.1️⃣ 결측치 검증 + 대체df.isnull().sum()각 컬럼별 결측 개수..

AI(인공지능) 기술이 점점 더 복잡해지면서,"이 모델이 왜 이런 결과를 냈는가?"라는 질문이 중요해지고 있다고 한다.이 때 자주 등장하는 개념이 "화이트박스(White Box)"와 "블랙박스(Black Box)" 모델이다.🧩 화이트박스(White Box)란?화이트박스 모델은 내부의 작동 원리를 사람이 직접 이해할 수 있는 AI 모델로,입력부터 출력까지 어떻게 처리되어 어떤 결과로 이어지는지 투명하게 확인할 수 있는 모델을 말한다.예를들어, 선형회귀(Linear Regression), 의사결정트리(Decision Tree), 로지스틱 회귀(Logistic Regression) 모델들은 화이트 박스 모델에 속한다.선형회귀는 $ y=β_0​+β_1​x_1​+β_2​x_2​+⋯+β_n​x_n​ $ 입력변수..

Row (행)데이터프레임의 행 데이터를 구분하는 방법에는 index position(위치 기반) 과 index label(이름 기반) 존재한다.import pandas as pddf = pd.DataFrame({ 'name': ['Tom', 'Jane', 'Steve', 'Lucy'], 'age': [28, 31, 24, 27], 'city': ['Seoul', 'Busan', 'Incheon', 'Daegu'] }, index=['a', 'b', 'c', 'd']) # index label 지정, 없으면 default 0,1,2,,, 설정됨.dfdf의 index position은 [0,1,2,3]이고, 인덱스 이름은 ['a', 'b', 'c', 'd']이다.iloclocindex po..

Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org내 인생 첫 논문! Transformer 모델의 시작인 논문으로 너에게 필요한 모든 것은 Attention만이다. 제목으로 시작한다.1. Introduction기존의 RNN, LSTM, GRU 기..

이번주에는 SQL을 끝내고 웹크롤링을 배울 수 있었다.웹크롤링은 미리 SKN에서 제공해준 인프런 강의를 통해 미리 공부한 부분도 있고 iOS 개발을 할 때 웹앱의 경우, 웹 디버깅 경험이 있기때문에 어렵게 느껴지진 않았다.WebCrawling 관련 내용은 따로 정리했다. [Python] Web Crawling - 정적 웹 페이지 🆚 동적 웹 페이지📌 Crawling일단 정적 웹페이지와 동적 웹페이지가 존재하는데 그 차이를 알아야한다.정적 웹페이지는 움직이지 않고 현재 상태 그대로 html을 가져와 사용할 수 있는 사이트를 말한다.검색했을때itstudentstudy.tistory.com 🧩 The four Fs✅ FACTS (사실, 객관)무엇보다 이번주는 WebCrawling, SQL, Streaml..

📌 Crawling일단 정적 웹페이지와 동적 웹페이지가 존재하는데 그 차이를 알아야한다.정적 웹페이지는 움직이지 않고 현재 상태 그대로 html을 가져와 사용할 수 있는 사이트를 말한다.검색했을때 url 링크가 검색어가 q = "hello" 형태로 붙는다거나상세 페이지 url을 가지고 해당 상품의 상세 정보 내용을 모두 가져올 수 있는 페이지를 정적 웹페이지라고 한다.동적 웹페이지는 동일한 url인데 사용자의 컨트롤에 따라 화면의 결과, html이 달라지는 사이트를 말한다.무한 스크롤이 가능한 페이지나 tab 버튼을 눌렀는데 현재 페이지에서 하단 결과 값만 달라지거나 한다.📌 Crawling에선 뭐가 다른데??!!!정적 웹페이지는 requests 모듈을 사용하여 url의 html을 가져오는 방법을 배..

인공지능에 학습방법 중 지도학습이 있는데, 지도학습이란❓정답이 있는 데이터를 가지고 학습을 시켜, 새로운 데이터의 결과를 예측하는 방법이다.지도학습 종류 중 하나가 의사결정나무(Decision Tree)이다.📌 의사결정나무(Decision Tree)란❓아무것도 모르는 상태에서 정답이 있는 데이터를 제시해주고,제시해준 데이터에서 특징을 찾아 조건문을 제시해 트리를 만들고,테스트 데이터를 보여주면서 스스로 대답할 수 있는지 확인한다.음,, 뭔말이져?🤔예를들어 이미지가 주어지는데 바다 vs 산? 바다에서 해안도로 vs 해수욕장인지 알아내야한다고 가정하자.아무것도 모르는 AI가 어떻게 알 수 있나?제시해준 데이터들을 분석해 특징을 찾아낸다. 특징 차이가 가장 큰 값부터 분류하기 시작한다.세부 특징 차이로 트..

ContextManager를 공부하다가 나온 yield 키워드. [Python] 파일 읽고 쓰기 with문 - ContextManagerPython에서 자원을 읽고 쓸 때, try-except 문을 사용하지 않고 with문을 사용한다고 한다.try-except 문을 사용해서 파일을 읽고 쓰게 되면, finally에서 연결 끊는 코드를 안해주면 자원을 계속 실행하고itstudentstudy.tistory.com그리고 yield 키워드를 가지고 있는 함수를 Generator 함수라고 하는데,,yield 키워드는 뭐고? Generator 함수는 뭘까?📌 Yield 키워드def test(value): print("_start_") yield value * 10 print("_continue_"..

Python에서 자원을 읽고 쓸 때, try-except 문을 사용하지 않고 with문을 사용한다고 한다.try-except 문을 사용해서 파일을 읽고 쓰게 되면, finally에서 연결 끊는 코드를 안해주면 자원을 계속 실행하고 있게된다. 직접 해제해줘야함.f = open('file.txt', 'r')try: data = f.read() print(data)finally: f.close() # 리소스를 직접 해제해야 함with문을 사용하면 block을 벗어나면 f.close를 안해줘도 자동으로 연결을 해제해준다.with open('file.txt', 'r') as f: data = f.read() print(data)# with 블록을 벗어나는 순간, f.close()가 자동..