48일차 [ HuggingFace model ]

저번주 주말부터 너무 좀 아파서 이틀을 쉬었다. 다행히도 패스한 내용이 좀 아는 내용이라 괜찮을 것 같다.
지금도 좀 어지러우면서 힘들다. 자고 싶은 기분이 막 든다......약 기운 때문일까??

transformer nlp task 종류만 뭔지 알면 된다. 사용법 몰라도 된다.

• text classification
• token classification
• qa
• casual lm
• masked lm
• translation
• summarization
• multiple choice

https://colab.research.google.com/drive/14C9K4YQQDw1SPyyKvlYmplxYbybe7YxJ#scrollTo=lzaz9yop8x99

Google Colab Notebook

https://colab.research.google.com/drive/14AAWZXOD7K3tJiI_F-l84rO2yZlyNA2A#scrollTo=vIzQev88Ykaf

Google Colab Notebook

Ollama

https://ollama.com/download/windows

Download Ollama on Windows

ollama run llama3.2

올라마 깔고 위 명령어 치면 바로 대화 시작함

from langchain_community.chat_models import ChatOllama
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
import time

# Ollama 모델을 불러옵니다.
llm = ChatOllama(model="gemma3:1b")

# 프롬프트
chat_prompt = ChatPromptTemplate.from_messages([
    ("assistant", "이 시스템은 천문학 질문에 답변할 수 있습니다."),
    ("user", "{user_input}"),
])

# 체인 생성
chain = chat_prompt | llm | StrOutputParser()

for token in chain.stream({"user_input": "독도는 누구땅?"}):
    # 스트림에서 받은 데이터의 내용을 출력합니다. 줄바꿈 없이 이어서 출력하고, 버퍼를 즉시 비웁니다.
    print(token, end="", flush=True)
    time.sleep(0.05)

쫌 신기한데?