끄적끄적 인생기

56일차 [ Langchain / LCEL ]

한시간 타이머 정해놓고 그 안에 얼마나 모듈화하면서 코딩할 수 있는 지 테스트 해보자.비동기https://colab.research.google.com/drive/18-U9yxbw_2voINRx0OQsJ682z1Zp7AhR#scrollTo=jKJ1eLgZU9wT Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com await: 한번에 나올 때 (batch, ainvoke)async : (for문, astream)RunnablePassthrough() : input data 조작할 때 많이 씀.with RunnableParallel, with RunnableLambda : 많이 쓴다.RAGhttps://cola..

IAM : admin 계정IAM : 보안 및 관리 담당하는 글로벌 서비스 (특정 region에 걸친게 아닌 global 서버에 사용 가능한 서비스)admin 계정root 계정 쓰는건 지양해야 함.IAM / users/ admin클릭 / security / MFA 걸기group : permission정책: 기능에 대한 permission 부여.처음에 계정 생성시 권한이 아무것도 없음.users group > users에게 permission 상속users 생성할 때 group 선택하면 해당 group의 권한 부여 받음.users 생성시 보통 이메일로 이름 붙임.console log in url으로 로그인함 qwer1234!! / developer1 Roleapp/web role (=group) > app,..

outputparserhttps://colab.research.google.com/drive/1AQQEOOQkD-dIvvJWhwwlOLx2oXtQQsKJ#scrollTo=HhcaJdRheRXF Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comModel colab Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comLCEL실습 Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com수업자료 Google Colab Note..

LLM 평가지표https://colab.research.google.com/drive/18ncb5Q_2Hp7cxVzMjRLMRxsE8xEZya9j Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com semscore, bertscore 정도가 낫다.bleu, rouge 점수는 사람이 매긴 점수와 유사성/상관관계가 없다 .현실적으로는 semscore, bertscore + 사람이 직접 평가요즘 트렌드는 각자의 모델에 맞는 평가지표 만들어서 쓴다. 아직은 llm이 미완성 단계라고 보고 지속적으로 평가지수에 대해 알아Langchain prompthttps://colab.research.google.com/drive..

RLHF에서 자주 쓰이는 DPO vs PPO 쉽게 이해하기AI 모델을 사람이 직접 평가해서 더 똑똑하게 만드는 기술, 바로 RLHF(Reinforcement Learning from Human Feedback)!이 과정에서 자주 쓰이는 두 가지 대표적인 방법이 PPO와 DPO인데, 헷갈리기 쉬우니 아래에 비유와 함께 쉽게 정리해봤어요.🎯 비유 상황: AI는 운동선수, 당신은 코치!AI는 어떤 행동(답변)을 하고,사람은 "이게 좋아", "이건 별로야"라고 피드백을 줍니다.당신은 그 피드백을 바탕으로 AI를 더 잘 훈련시켜야 합니다.🥊 PPO (Proximal Policy Optimization)📌 비유AI가 운동을 하고 점수를 받으면, 당신은 이렇게 말해요:"이번엔 괜찮았어! 근데 다음에는 너무 다르..

💡 LLM 경량화 개념 총정리 | GGUF, PEFT, Quantization, Prompt Tuning 완전 정복모델 파인튜닝이 부담스러웠다면, 이제는 프롬프트만 바꿔도 됩니다.또, 무거운 LLM을 가볍게 만드는 경량화 기술들도 정리해볼게요!✅ Prompt Tuning (프롬프트 튜닝)모델 자체는 건드리지 않고, 입력에 가상의 학습 토큰만 추가해서 모델 성능을 끌어올리는 방식입니다.파라미터를 거의 학습하지 않기 때문에 매우 가벼움기존 모델을 유지하면서도, 특정 태스크에 최적화 가능대표 기법: Prefix Tuning, P-Tuning, Prompt Tuning📎 관련 Colab👉 Prompt Tuning 실습✅ Quantization (양자화)"정밀도를 약간 희생하고, 성능을 대폭 올리자!"양자화..

deepspeed Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com하나의 프로젝트를 열번 만들기 > 열개의 프로젝트 만들기 (몸만 바쁘고 남는게 없음)이게 더 빠르다. acceleratehttps://colab.research.google.com/drive/17Wh0hyEfARuN42ZdheYpPl-4m2dv7met Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comhuggingface에서 제공하는 accelerate를 쓰면 deepspeed와는 달리 코드를 거의 바꾸지 않은 상태로 모델 학습을 할 수 있다...

https://colab.research.google.com/drive/13zDRjyNxVdf3yCy_ER2ZudiDefYol939#scrollTo=kU3q9FO996A- Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comwandbhttps://wandb.ai/site Weights & Biases: The AI Developer PlatformWeights & Biases is the leading AI developer platform to train and fine-tune models, manage models from experimentation to production, and track and ..

https://colab.research.google.com/drive/14AAWZXOD7K3tJiI_F-l84rO2yZlyNA2A#scrollTo=TNFo3zlc22c- Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com feature-extractionfill-masknerqasentiment-analysissummarizationtext-generationtranslationzero-shot-classifcationhttps://github.com/Jenny-Jo/llm_study_jenny/tree/feature-class/web llm_study_jenny/web at feature-class · ..

저번주 주말부터 너무 좀 아파서 이틀을 쉬었다. 다행히도 패스한 내용이 좀 아는 내용이라 괜찮을 것 같다.지금도 좀 어지러우면서 힘들다. 자고 싶은 기분이 막 든다......약 기운 때문일까??transformer nlp task 종류만 뭔지 알면 된다. 사용법 몰라도 된다.text classificationtoken classificationqacasual lmmasked lmtranslationsummarizationmultiple choicehttps://colab.research.google.com/drive/14C9K4YQQDw1SPyyKvlYmplxYbybe7YxJ#scrollTo=lzaz9yop8x99 Google Colab NotebookRun, share, and edit Python n..