끄적끄적 인생기

13일차 [ 데이터분석: Pandas ]

가성비 최고로 검증된 딥시크의 충격.... 공부 좀 해야겠다.  독립변수,종속변수 (cause and effect)상관관계 (증감,우상향,우하향 등)상관관계 인과관계상관관계에서 인과관계가 되는지 가설을 세우고, 참이 되면 인과관계가 성립이 된다.p값Colabhttps://drive.google.com/drive/folders/1sVzLoGwO_NmRg1uFu9yTwZqfh7ggDpNt Google Drive: 로그인이메일 또는 휴대전화accounts.google.com런타임 유형 변경 > cpu, gpu 중 선택 가능ctrl+s 로 필히 저장세션관리 > 종료 눌러야 비용청구가 안된다.현재 오픈한 코랩 페이지에서는 '런타임 연결 해제 및 삭제' 눌러서 관리PandasVector,1차원 데이터,Seriesc..

배운 내용github (clone, branch, merge)DML 심화streamlit 과 mysql 연동streamlit 구현web crawling첫 단위 프로젝트: 전국 자동차 등록 현황 및 기업 FAQ 조회 시스템토이 프로젝트 1. githubgithub에 new repo 생성시 readme.md 포함, 멤버 초대git clone (local folder > github repo url copy > git clone [url]branch : main feature별로 개발, develop에서 merge 및 확인 , 최종 main에서 반영feature별 개발시 develop을 git pull, push 하면서 하기create feature branch(local) > publish branch (l..

웹크롤링 - 글 아이디 넣어서 스트림릿에서 크롤링 해보기vscode:  F2는 함수명 한번에 변경# crawling.pyimport requestsfrom bs4 import BeautifulSoup as bsdef do_crawling_of_nate(comment_id:str): # url = "https://pann.nate.com/talk/350939697" url = f"https://pann.nate.com/talk/{comment_id}" header = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) \ AppleWebKit/537.36 (KHTML, like Gecko) \ ..

1. 1차 애자일1-1. 발표1차 애자일 2/3일날 중간 발표총 2시간, 팀단위로 20분: 발표15분까지, 질문 5분발표내용화면 설계서테이블 설계서 (ERD)원천 데이터까지 확인1-2. 개발일정1차 애자일 2/14일 최종 발표개발완료는 2/10일까지테스트는 2/11~132. 2,3차 애자일 일정2차 애자일 (2/17~3/20) (모델 적용, AWS 적용)3차 애자일 (3/21~4/22) (사용자 피드백 적용, LLM적용)매번 애자일마다 설계를 다시할 예정임.

header (Referer, User-Agent)user-agent: 어떤 사람이 어떤 디바이스로 접속했는지 접속 정보refer: 현재 표시하는 웹페이지가 어떤 웹페이지에서 요청하는지에 대한 정보. 일반 사용자인지, 해커 혹은 개발자인 지 알 수있다.크롤링 & streamlit# common/crawling.pyimport requestsdef do_crawling(): url = "https://n.news.naver.com/mnews/hotissue/article/011/0004440387?type=series&cid=2002544" # header가 없으면 높은 확률로 접속이 거부됨. header = { # 어떤 사람이 어떤 디바이스 (pc or mobile, etc..

코드몽키가 안되기 위해서 내가 이걸 왜 배우는 지 생각해봐라 깃헙은 반드시 숙달하라설계를 하는 엔지니어를 되어라동기를 소중히 여겨서 같이 올라가라몽롱하다. 잠을 안자면 아뚱멍단 (아프고 뚱뚱해지고 멍해지고 단명한다)해진다는데, 진짜 일찍 좀 자야겠다. 내 나이가 몇인데 아직도 늦게자는걸 버릇한다. 최소 12시엔 자야겠다. 정말 너무 힘들다. ㅠㅠ 그리고 아침 간단하게 먹을 시간이 필요한데, 아침에 겨우 일어나서 힘이 없으니 아침도 못먹어서 배고파서 힘들다. 7시반 기상-밥-8시 10분 출발 - 8시 30~40분 도착- 블로그 켜서 오늘 하루 시작 노트 작성으로 루틴 잡아야겠다. 오늘 내일 스트림릿을 어느정도 배워둬서  해야하는데, 오늘 내일 챗봇 프로젝트 모임 때문에 공부를 생각보단 못할 것 같다 ㅠㅠ ..

개요1팀 팀원: 조현정,원유형(팀장),이서영,정소열,권석현,기한정기간: 25/1/20 월~25/1/24 금목적: 프로그래밍과 데이터 기초주제:전국 자동차 등록 현황 및 기업 FAQ 조회 시스템 레퍼런스: 지표누리 자동차 등록현황, 기아 자동차 FAQ프로젝트 시작순서화면설계 (1/20~21 월) - figma (이서영)각 화면별 기능각 화면별 기능을 구현하기 위해서 필요한 기술 스텍 정의디비 정의 (1/21 화) (권석현, 기한정)화면에 뿌려질 데이터들을 ERD로 정의해서 테이블 설계해당 테이블에 저장할 데이터를 수집데이터 수집할 방법 (ex.공공 데이터)화면 구현 (1/22~1/23 수,목 (오전)) - streamlit (조현정,정소열)누가 어떤 화면을 할지화면별 완성될 일정통합 테스트 (1/23 목 ..

예제 디비 엔티티 관계도 Left Join실무에선 left join, inner join 많이 쓴다.left join에서 내가 조회하고 싶은 데이터의 테이블을 왼쪽에다 둔다./* * 사용자 중에서 주문 많이 하는 사람? * 필요 테이블: customers & orders * *//* A(table) Left join B(table) * A table: 데이터 조회 * B table: 조건*/use classicmodels;select a.orderNumber , a.status # 주문 상태 , a.orderDate , b.customerNamefrom orders a # alias; table명 한칸 띄고 영문명 쓰면 별칭left join customers bon a.c..

git clone1. local에 레포 클론할 github 폴더 생성2. 클론할 깃헙 레포 주소 복사3. vscode 새로 열어서 ctrl+shift+p > git clone 입력 > 주소 붙여넣기 repo 생성1. new repo 클릭2. repo name 설정하기3. readme.md 설정4. 멤버 초대 : 권한은 owner 등등 설정  branch main, develop branch (팀장님)feature branch (팀원) > merge (팀장님) 하여 테스트하여 > main branchdevelop에서 개발하고 main (운영)에 반영git graph(vscode extension) 설치vscode에 develop branch 반영하기feature branch1. shift+ctrl+p > ..

벌써 2주차이다. 파이썬 기초와 SQL 에 대해 배운 바, 이에 대해 정리하는 시간을 갖겠다. 내가 주로 잘 몰랐던 개념이나, 다시 상기하고 싶은 개념에 대해서 자세히 정리 및 실제 구현해보고, 이미 알았던 부분은 키워드만 적겠다. 1. 함수입출력 유무에 따른 함수의 경우의 수 4가지전역변수,지역변수 입력변수 디폴트값 설정 `def func(a=20):...`키워드 가변 파라미터 (*args tuple, **args dict) `def func(*args)`람다함수 :`lambda a,b: a+b`closure : 내부함수 (함수 안의 함수)call back : 함수를 입력인자로 전달decorate: @decorator_func# decoration# 직접 짜본 코드# 마나가 부족한 것을 알려주는 경고문..