끄적끄적 인생기

💡 LLM 경량화 개념 총정리 | GGUF, PEFT, Quantization, Prompt Tuning 완전 정복모델 파인튜닝이 부담스러웠다면, 이제는 프롬프트만 바꿔도 됩니다.또, 무거운 LLM을 가볍게 만드는 경량화 기술들도 정리해볼게요!✅ Prompt Tuning (프롬프트 튜닝)모델 자체는 건드리지 않고, 입력에 가상의 학습 토큰만 추가해서 모델 성능을 끌어올리는 방식입니다.파라미터를 거의 학습하지 않기 때문에 매우 가벼움기존 모델을 유지하면서도, 특정 태스크에 최적화 가능대표 기법: Prefix Tuning, P-Tuning, Prompt Tuning📎 관련 Colab👉 Prompt Tuning 실습✅ Quantization (양자화)"정밀도를 약간 희생하고, 성능을 대폭 올리자!"양자화..

deepspeed Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com하나의 프로젝트를 열번 만들기 > 열개의 프로젝트 만들기 (몸만 바쁘고 남는게 없음)이게 더 빠르다. acceleratehttps://colab.research.google.com/drive/17Wh0hyEfARuN42ZdheYpPl-4m2dv7met Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comhuggingface에서 제공하는 accelerate를 쓰면 deepspeed와는 달리 코드를 거의 바꾸지 않은 상태로 모델 학습을 할 수 있다...

https://colab.research.google.com/drive/13zDRjyNxVdf3yCy_ER2ZudiDefYol939#scrollTo=kU3q9FO996A- Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comwandbhttps://wandb.ai/site Weights & Biases: The AI Developer PlatformWeights & Biases is the leading AI developer platform to train and fine-tune models, manage models from experimentation to production, and track and ..

https://colab.research.google.com/drive/14AAWZXOD7K3tJiI_F-l84rO2yZlyNA2A#scrollTo=TNFo3zlc22c- Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com feature-extractionfill-masknerqasentiment-analysissummarizationtext-generationtranslationzero-shot-classifcationhttps://github.com/Jenny-Jo/llm_study_jenny/tree/feature-class/web llm_study_jenny/web at feature-class · ..

저번주 주말부터 너무 좀 아파서 이틀을 쉬었다. 다행히도 패스한 내용이 좀 아는 내용이라 괜찮을 것 같다.지금도 좀 어지러우면서 힘들다. 자고 싶은 기분이 막 든다......약 기운 때문일까??transformer nlp task 종류만 뭔지 알면 된다. 사용법 몰라도 된다.text classificationtoken classificationqacasual lmmasked lmtranslationsummarizationmultiple choicehttps://colab.research.google.com/drive/14C9K4YQQDw1SPyyKvlYmplxYbybe7YxJ#scrollTo=lzaz9yop8x99 Google Colab NotebookRun, share, and edit Python n..

어제 애자일 끝나구.. 사실 오늘은 아침에 깨서 나오기 싫었다.UVpip install 을 병렬적으로 설치하기 때문에 엄청 빠름installation 가이드 따라서 설치후 uv 치면 확인 가능uv python listuv python install 3.12uv venv .venv -p 3.12.\.venv\Scripts\activatepython --versionuv run main.pyuv pip install -r .\requirements.txt Index | uvIntroduction Getting started To help you get started with uv, we'll cover a few important topics: Read on, or jump ahead to another s..

GANhttps://colab.research.google.com/drive/1X-t7pA7kNjXwLHw50p9N9SOVKLz9-xl_#scrollTo=E1_L33idLioz Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com loss함수 부터 다름Generator:  sss급 짭퉁 만드는 데에 최적화D: 진퉁, 짭퉁 잘 가려내는 데에 최적화....하 그냥 gan runpod에 돌리고 시간만 날린 듯?대충 image to text 모델 좀 보고 끝났다. 오늘은 애자일 발표날뭔가 얼레벌레 넘어가게 되는 듯하다...솔직히 앞으로 모델 구성이 어떻게 될 지 모르겠다. 뭐, 난 모델만 할려고 하는 건 아니니까 괜..

늦지 않게 잘 도착하게 해달라고 빌면서 자고 일어나니 신기하게 8시 이전에 눈이 떠진다. 무려 두시반에 잤는데도...이젠 진짜 늦지 않게 잘 다니고 싶다.오늘은 스레드/인스타에 매몰 되지 않고 조금이라도 책을 더 읽고 공부에 조금이라도 더 집중하고 함부 프젝과 부족한 공부 채우는 데에 더 집중하겠다. 또한 수업 못따라가는 동기들을 위한 스터디 방안 같은 걸 매니저님과 이야기 해보겠다. transformer은 인코더와 디코더를 동시에 학습한다. 인코더:NLUnderstanding , 디코더: NLGenerationhttps://colab.research.google.com/drive/1Snn1_6bpze9sR2hLvTvRarggkWN0m00W#scrollTo=wT9MBpb9Y5if Google Colab ..

복습디자인 패턴 >> 구체적인 예시를 만들어서 알아둘 것데이터베이스 정규화 단계C 언어 포인터 직전까지 학습함.의외로 수월하게 넘어갔다. 다음엔 C 끝내고 자바할 예정

https://colab.research.google.com/drive/1aI0NFdXBZNnTOvBCI_ZxM4d_it8hURoH#scrollTo=VXQ5eNjYifMq Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.comarchitecture 그리는 toolhttps://app.diagrams.net/ Flowchart Maker & Online Diagram SoftwareFlowchart Maker and Online Diagram Software draw.io is free online diagram software. You can use it as a flowchart maker, network d..