끄적끄적 인생기

59일차 [ Langsmith ]

Langsmithhttps://colab.research.google.com/drive/1TIU5ysXZwsMaSV0_V5_cod_SJ7PQmsGW#scrollTo=suH4a5trQ0Go Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comTooltype hint https://colab.research.google.com/drive/1himSY0W0vmGvNvVxdGpzaUhDNL6htm9o#scrollTo=RdiSXp7XDNCh Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comlangsmith가 있어야 디버..

57-58일차 [ RAG ]

Native RAG Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comhttps://colab.research.google.com/drive/1R1vK7G_3vRfewBLTYajlrDP75kqrhtEB#scrollTo=woUR5_n07VJI Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.compdf 기반 - 슬라이싱 해서 목차 제외하기.web 기반Advanced RAGhttps://colab.research.google.com/drive/1yR14Qbd-CuHThqbgzDz8-1yC1k5e1xNf#scrollTo..

한시간 타이머 정해놓고 그 안에 얼마나 모듈화하면서 코딩할 수 있는 지 테스트 해보자.비동기https://colab.research.google.com/drive/18-U9yxbw_2voINRx0OQsJ682z1Zp7AhR#scrollTo=jKJ1eLgZU9wT Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com await: 한번에 나올 때 (batch, ainvoke)async : (for문, astream)RunnablePassthrough() : input data 조작할 때 많이 씀.with RunnableParallel, with RunnableLambda : 많이 쓴다.RAGhttps://cola..

IAM : admin 계정IAM : 보안 및 관리 담당하는 글로벌 서비스 (특정 region에 걸친게 아닌 global 서버에 사용 가능한 서비스)admin 계정root 계정 쓰는건 지양해야 함.IAM / users/ admin클릭 / security / MFA 걸기group : permission정책: 기능에 대한 permission 부여.처음에 계정 생성시 권한이 아무것도 없음.users group > users에게 permission 상속users 생성할 때 group 선택하면 해당 group의 권한 부여 받음.users 생성시 보통 이메일로 이름 붙임.console log in url으로 로그인함 qwer1234!! / developer1 Roleapp/web role (=group) > app,..

outputparserhttps://colab.research.google.com/drive/1AQQEOOQkD-dIvvJWhwwlOLx2oXtQQsKJ#scrollTo=HhcaJdRheRXF Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comModel colab Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comLCEL실습 Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com수업자료 Google Colab Note..

LLM 평가지표https://colab.research.google.com/drive/18ncb5Q_2Hp7cxVzMjRLMRxsE8xEZya9j Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com semscore, bertscore 정도가 낫다.bleu, rouge 점수는 사람이 매긴 점수와 유사성/상관관계가 없다 .현실적으로는 semscore, bertscore + 사람이 직접 평가요즘 트렌드는 각자의 모델에 맞는 평가지표 만들어서 쓴다. 아직은 llm이 미완성 단계라고 보고 지속적으로 평가지수에 대해 알아Langchain prompthttps://colab.research.google.com/drive..

RLHF에서 자주 쓰이는 DPO vs PPO 쉽게 이해하기AI 모델을 사람이 직접 평가해서 더 똑똑하게 만드는 기술, 바로 RLHF(Reinforcement Learning from Human Feedback)!이 과정에서 자주 쓰이는 두 가지 대표적인 방법이 PPO와 DPO인데, 헷갈리기 쉬우니 아래에 비유와 함께 쉽게 정리해봤어요.🎯 비유 상황: AI는 운동선수, 당신은 코치!AI는 어떤 행동(답변)을 하고,사람은 "이게 좋아", "이건 별로야"라고 피드백을 줍니다.당신은 그 피드백을 바탕으로 AI를 더 잘 훈련시켜야 합니다.🥊 PPO (Proximal Policy Optimization)📌 비유AI가 운동을 하고 점수를 받으면, 당신은 이렇게 말해요:"이번엔 괜찮았어! 근데 다음에는 너무 다르..

💡 LLM 경량화 개념 총정리 | GGUF, PEFT, Quantization, Prompt Tuning 완전 정복모델 파인튜닝이 부담스러웠다면, 이제는 프롬프트만 바꿔도 됩니다.또, 무거운 LLM을 가볍게 만드는 경량화 기술들도 정리해볼게요!✅ Prompt Tuning (프롬프트 튜닝)모델 자체는 건드리지 않고, 입력에 가상의 학습 토큰만 추가해서 모델 성능을 끌어올리는 방식입니다.파라미터를 거의 학습하지 않기 때문에 매우 가벼움기존 모델을 유지하면서도, 특정 태스크에 최적화 가능대표 기법: Prefix Tuning, P-Tuning, Prompt Tuning📎 관련 Colab👉 Prompt Tuning 실습✅ Quantization (양자화)"정밀도를 약간 희생하고, 성능을 대폭 올리자!"양자화..