본문 바로가기

AI

 (33)
[AWS] VPC - EC2 초기 설정 VPC (Virtual Private Cloud)여러 IP를 제공할 수 있는 가상 클라우드 공간VPC 공간 안에서 Public과 Private Subnet을 분리하고, EC2와 연결.외부 요청은 Public Subnet의 웹 서버 (EC2)가 받고, 실제 데이터 처리는 Private Subnet의 서버나 DB에서 수행하는 형태VPC의 기능서브넷(Subnet) : VPC를 다시 쪼갠 작은 네트워크 단위IP 그룹Private Subnet과 Public Subnet 있음.Private은 DB용으로 많이 사용함.EC2를 생성해서 EC2와 Public Subnet과 연결하면 외부에서 접근 가능한 EC2가 됨.그 반대로 EC2와 Private Subnet과 연결하면 내부에서만 접근 가능한 EC2가 됨.인터넷 게이트..
프롬프트 엔지니어링 가이드와 CoT, ToT, GoT, GKP,,, https://www.promptingguide.ai/kr 프롬프트 엔지니어링 가이드 – NextraA Comprehensive Overview of Prompt Engineeringwww.promptingguide.ai3차 프로젝트를 진행하면서 마지막에 Ragas 평가 점수를 개선하면서 프롬프트에대한 중요성을 더 많이 느낄 수 있었다. 프롬프트 구성과 예제, CoT와 ToT, GoT에대해 복습해보려한다. [플레이데이터 SK네트웍스 Family AI 캠프 21기] 1월 2주차 회고 - 3차 프로젝트RAG 수업이 끝나갈때쯤 3차 프로젝트 팀이 발표되었다. 3차 프로젝트에 주어진 시간은,,, 2일,,,😱짧은 시간안에 RAG를 설계부터 개발까지 해야하는 상황이라 팀원들과 미리 모여서 주제선정하고itstude..
[플레이데이터 SK네트웍스 Family AI 캠프 21기] 1월 2주차 회고 - 3차 프로젝트 RAG 수업이 끝나갈때쯤 3차 프로젝트 팀이 발표되었다. 3차 프로젝트에 주어진 시간은,,, 2일,,,😱짧은 시간안에 RAG를 설계부터 개발까지 해야하는 상황이라 팀원들과 미리 모여서 주제선정하고 프로젝트 구성까지는 미리 잡고 시작하기로 했다. RAG 기반 AI Agent 개발Chatbot 형태로 대화 가능한 어플리케이션 구현 (화면 필수 아님, 터미널 가능)RAG는 검색 기반으로 출처가 명확한 정보 제공을 하는 AI Agent니까 그만큼 데이터 주제가 명확해야한다고 생각했다.법률, 요리 레시피, AI 모델들 검색해서 비교해주는 Agent 등 여러가지 의견들이 나왔고, 이야기하다보니 가장 명확한건 우리도 실제로 쓸 수 있는 Agent를 만들어 보자. 했다.함께 지내는 수강생들도 팀원들도 수업 내용을 복..
[LLM] Finetuning 양자화와 PEFT LLM Finetuning은 기존의 모델을 특정 분야에서 더 잘하게 만들기 위해서 진행된다. 특히 법률QA나 의료 상담, 사내 문서등에 사용된다.그럼 RAG랑 LLM Finetuning이랑 비슷한 역할 아닌가❓ 할 수 있지만 엄연히 다르다.RAG는 모델이 학습되어있는 정보 외에 외부 지식을 제공하여 출처 정확한 답변을 주도록 하는 역할이다. 검색 tools를 추가하여 최근 뉴스 정보를 가져오고 답변을 해주는 역할도 있다.RAG를 통해 AI Agent를 만들었는데 그게 성능 개선이 필요한데 이미 RAG에서 할 수 있는걸 다했고 리트리버에서 출력된 문서도 이미 너무 잘 찾은 상태이고 모델도 여러가지 바꿔봤고,,, 프롬프트도 개선하면서 진행을 하는데!!!!!!model이 추측 답변을 한다거나 잘 찾은 문서에대..
[논문] BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, and Comprehension RAG 논문 읽기 전 #1 : ORQA(Open-Retrieval Question Answering)RAG 논문을 읽고 있는데 기본적으로 알아야되는 내용들이 많다. (https://arxiv.org/pdf/2005.11401)RAG는 검색(Retrieval)을 통해 얻은 외부 정보를 생성 모델(Generator)의 입력에 결합하여 답변을 만드는 기술itstudentstudy.tistory.comRAG 논문 읽기 전 #2기존에 BERT와 GPT를 알고 있다면 BART는 BERT의 양방향 인코더 + GPT의 디코더이다.BART는 Denoising Autoencoder로, 텍스트에 노이즈를 섞은 뒤 다시 원문으로 복구(Reconstruction)하는 과정을 통해 학습하는 Seq-to-Seq 구조의 모델이다.B..
[RAG] Advanced RAG ✨✨✨✨ RAG는 구현은 쉽다 ➡️ 잘하는게 중요하다!!!! ✨✨✨✨Naive RAG의 문제점 : 답변 품질이 안좋다😓검색이 "비슷한 것"은 찾는데 "정답 근거"를 제대로 못하는 경우Generate : 근거가 있어도 LLM이 "hallucination(환각)" 현상이 있는 경우DB 구축 단계에서 split : 검색한 문서가 너무 길고 복잡해서 정답에 필요한 chunk를 LLM이 찾지 못하는 경우단순 검색 질문이 아닌 비교/조건/절차/근거 요구가 많은 질문인 경우, 최신성/정확성 중요한 경우, 근거가 확실한 결과여야하는 경우+ 문서가 많고 구조가 복잡하면 Adcanced RAG (고도화 설계)가 필요하다.1. DB구축 단계 고도화ParentDocumentRetriever저장할 때부터 "작은 조각(Chil..
RAG 논문 읽기 전 #1 : ORQA(Open-Retrieval Question Answering) RAG 논문을 읽고 있는데 기본적으로 알아야되는 내용들이 많다. (https://arxiv.org/pdf/2005.11401)RAG는 검색(Retrieval)을 통해 얻은 외부 정보를 생성 모델(Generator)의 입력에 결합하여 답변을 만드는 기술적 방법론이다.KIT (Knowledge-Intensive Tasks)언어 모델의 파라미터 내부 지식만으로는 해결할 수 없고, 대규모 외부 문서나 DB에 접근해야만 올바른 답변을 생성할 수 있는 NLP 태스크들의 범주(예 : 회사 내부 문서, 사내 정책, 개인정보와 같은 미리 사전에 학습할 수 없는 비공개 지식을 다루는 QA 문제)KILT: a Benchmark for Knowledge Intensive Language Tasks (https://arxiv...
[논문] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding BERT: 언어 이해를 위한 깊은 양방향 트랜스포머 사전 학습Transformer의 Encoder만 사용한 모델 BERT. (https://arxiv.org/pdf/1810.04805)AbstaractBERT (Bidirectional Encoder Representations from Transformers)BERT is designed to pre-train deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers.BERT는 모든 계층에서 좌우 문맥을 공동으로 고려함으로써, 비지도 텍스트로부터 깊은 양방향 표현을 사전 학습하도록 설계되었습..

티스토리툴바