56일차 [ Langchain / LCEL ]

한시간 타이머 정해놓고 그 안에 얼마나 모듈화하면서 코딩할 수 있는 지 테스트 해보자.

비동기

https://colab.research.google.com/drive/18-U9yxbw_2voINRx0OQsJ682z1Zp7AhR#scrollTo=jKJ1eLgZU9wT

Google Colab Notebook

 

• await: 한번에 나올 때 (batch, ainvoke)
• async : (for문, astream)
• RunnablePassthrough() : input data 조작할 때 많이 씀.
• with RunnableParallel, with RunnableLambda : 많이 쓴다.

RAG

https://colab.research.google.com/drive/17_BQO86_4Ltb61AtJ1pYAWVgDy4N3yuo

Google Colab Notebook

• 따로 학습하지않아 저렴하게 보안을 챙기면서 맞춤형 llm 만들 수 있어서 핫했음
• rag 진화 : 기본 > 고급 > 모듈
  • 기본: R - A - G
  • 고급: 검색 전/후 과정 추가
  • 모듈: 선형적 실행이 아닌 실제 프로그램처럼 중간에 멈추는 로직 추가. MCP

Loader (PDF)

https://colab.research.google.com/drive/1gzUQKJZ731XT6c7WGOQ2QN5vAFfKgBig

Google Colab Notebook

 

https://colab.research.google.com/drive/16zVVtih-pBmFprilgfa2rURzWcSYagoR#scrollTo=MgJIj0b6udLe

Google Colab Notebook

• pdf 에서 목차는 꼭 제외하기. 

splitter

https://colab.research.google.com/drive/1gyDX7XXG_yUg0XrS6bJKtSkl96rZUlcp#scrollTo=Jz8HHWapwGm9

Google Colab Notebook

 

• cleansing 할 때는 파일로 open 하고 쓰는게 더 낫다.
• 하지만 글이 처음부터 깨끗하게 되어 있으면 loader 쓰는 게 낫다.