끄적끄적 인생기

LLM 평가지표https://colab.research.google.com/drive/18ncb5Q_2Hp7cxVzMjRLMRxsE8xEZya9j Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com semscore, bertscore 정도가 낫다.bleu, rouge 점수는 사람이 매긴 점수와 유사성/상관관계가 없다 .현실적으로는 semscore, bertscore + 사람이 직접 평가요즘 트렌드는 각자의 모델에 맞는 평가지표 만들어서 쓴다. 아직은 llm이 미완성 단계라고 보고 지속적으로 평가지수에 대해 알아Langchain prompthttps://colab.research.google.com/drive..

RLHF에서 자주 쓰이는 DPO vs PPO 쉽게 이해하기AI 모델을 사람이 직접 평가해서 더 똑똑하게 만드는 기술, 바로 RLHF(Reinforcement Learning from Human Feedback)!이 과정에서 자주 쓰이는 두 가지 대표적인 방법이 PPO와 DPO인데, 헷갈리기 쉬우니 아래에 비유와 함께 쉽게 정리해봤어요.🎯 비유 상황: AI는 운동선수, 당신은 코치!AI는 어떤 행동(답변)을 하고,사람은 "이게 좋아", "이건 별로야"라고 피드백을 줍니다.당신은 그 피드백을 바탕으로 AI를 더 잘 훈련시켜야 합니다.🥊 PPO (Proximal Policy Optimization)📌 비유AI가 운동을 하고 점수를 받으면, 당신은 이렇게 말해요:"이번엔 괜찮았어! 근데 다음에는 너무 다르..

💡 LLM 경량화 개념 총정리 | GGUF, PEFT, Quantization, Prompt Tuning 완전 정복모델 파인튜닝이 부담스러웠다면, 이제는 프롬프트만 바꿔도 됩니다.또, 무거운 LLM을 가볍게 만드는 경량화 기술들도 정리해볼게요!✅ Prompt Tuning (프롬프트 튜닝)모델 자체는 건드리지 않고, 입력에 가상의 학습 토큰만 추가해서 모델 성능을 끌어올리는 방식입니다.파라미터를 거의 학습하지 않기 때문에 매우 가벼움기존 모델을 유지하면서도, 특정 태스크에 최적화 가능대표 기법: Prefix Tuning, P-Tuning, Prompt Tuning📎 관련 Colab👉 Prompt Tuning 실습✅ Quantization (양자화)"정밀도를 약간 희생하고, 성능을 대폭 올리자!"양자화..

deepspeed Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com하나의 프로젝트를 열번 만들기 > 열개의 프로젝트 만들기 (몸만 바쁘고 남는게 없음)이게 더 빠르다. acceleratehttps://colab.research.google.com/drive/17Wh0hyEfARuN42ZdheYpPl-4m2dv7met Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comhuggingface에서 제공하는 accelerate를 쓰면 deepspeed와는 달리 코드를 거의 바꾸지 않은 상태로 모델 학습을 할 수 있다...

https://colab.research.google.com/drive/13zDRjyNxVdf3yCy_ER2ZudiDefYol939#scrollTo=kU3q9FO996A- Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comwandbhttps://wandb.ai/site Weights & Biases: The AI Developer PlatformWeights & Biases is the leading AI developer platform to train and fine-tune models, manage models from experimentation to production, and track and ..

저번주 주말부터 너무 좀 아파서 이틀을 쉬었다. 다행히도 패스한 내용이 좀 아는 내용이라 괜찮을 것 같다.지금도 좀 어지러우면서 힘들다. 자고 싶은 기분이 막 든다......약 기운 때문일까??transformer nlp task 종류만 뭔지 알면 된다. 사용법 몰라도 된다.text classificationtoken classificationqacasual lmmasked lmtranslationsummarizationmultiple choicehttps://colab.research.google.com/drive/14C9K4YQQDw1SPyyKvlYmplxYbybe7YxJ#scrollTo=lzaz9yop8x99 Google Colab NotebookRun, share, and edit Python n..

어제 애자일 끝나구.. 사실 오늘은 아침에 깨서 나오기 싫었다.UVpip install 을 병렬적으로 설치하기 때문에 엄청 빠름installation 가이드 따라서 설치후 uv 치면 확인 가능uv python listuv python install 3.12uv venv .venv -p 3.12.\.venv\Scripts\activatepython --versionuv run main.pyuv pip install -r .\requirements.txt Index | uvIntroduction Getting started To help you get started with uv, we'll cover a few important topics: Read on, or jump ahead to another s..

GANhttps://colab.research.google.com/drive/1X-t7pA7kNjXwLHw50p9N9SOVKLz9-xl_#scrollTo=E1_L33idLioz Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com loss함수 부터 다름Generator:  sss급 짭퉁 만드는 데에 최적화D: 진퉁, 짭퉁 잘 가려내는 데에 최적화....하 그냥 gan runpod에 돌리고 시간만 날린 듯?대충 image to text 모델 좀 보고 끝났다. 오늘은 애자일 발표날뭔가 얼레벌레 넘어가게 되는 듯하다...솔직히 앞으로 모델 구성이 어떻게 될 지 모르겠다. 뭐, 난 모델만 할려고 하는 건 아니니까 괜..

늦지 않게 잘 도착하게 해달라고 빌면서 자고 일어나니 신기하게 8시 이전에 눈이 떠진다. 무려 두시반에 잤는데도...이젠 진짜 늦지 않게 잘 다니고 싶다.오늘은 스레드/인스타에 매몰 되지 않고 조금이라도 책을 더 읽고 공부에 조금이라도 더 집중하고 함부 프젝과 부족한 공부 채우는 데에 더 집중하겠다. 또한 수업 못따라가는 동기들을 위한 스터디 방안 같은 걸 매니저님과 이야기 해보겠다. transformer은 인코더와 디코더를 동시에 학습한다. 인코더:NLUnderstanding , 디코더: NLGenerationhttps://colab.research.google.com/drive/1Snn1_6bpze9sR2hLvTvRarggkWN0m00W#scrollTo=wT9MBpb9Y5if Google Colab ..

https://colab.research.google.com/drive/1aI0NFdXBZNnTOvBCI_ZxM4d_it8hURoH#scrollTo=VXQ5eNjYifMq Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comarchitecture 그리는 toolhttps://app.diagrams.net/ Flowchart Maker & Online Diagram SoftwareFlowchart Maker and Online Diagram Software draw.io is free online diagram software. You can use it as a flowchart maker, network d..