내맘대로 공부 기록장

함수근사에서 off-policy TD는(준경사도) 목표함수의 진짜 경사가 아니라서 발산할 수 있음 → MSPBE를 진짜로 최소화하도록 보조변수 w를 둔 GTD, 그리고 off-policy 분포 꼬임을 가중치 M_t로 보정한 ETD가 해결책.1) 기본 변수 정리상태/행동/보상 S_t: 시간 t의 상태 A_t: 시간 t의 행동 R_(t+1): t→t+1전이에서 받은 보상 ├ γ∈[0,1): 할인율정책 2개(핵심) μ: 행동정책(behavior) — 데이터를 실제로 모으는 정책 π: 목표정책(target) — 우리가 평가/학습하려는 정책off-policy = “μ로 데이터 모으고 π를 학습”가치함수 근사(함수근사) v ̂(S;θ): 상태가치 근사 선형 근사일 때:v ̂(S;θ)=ϕ(S)^⊤ θ ϕ(S): 특징..

GPT와 말이 안 통한다면? 논문으로 검증된 '공학적 대화법' 5가지 GPT와 하루종일 대화를 하게 되면서 어떻게 해야 좋은 프롬프트를 쓸 수 있을지에 대한 고민이 생겨 조사를 해보게 되었다. 필자는 GPT의 도움을 크게 받아 시계열 예측 모델링 대회에서 가장 높은 정확도로 약 2500명중에 1등을 한 경험이 있어 누구보다 좋은 프롬프트를 통해 좋은 대답을 이끌어 내는 방법에 관심이 많았다. 지금까지 내가 나름대로 찾아보고 내린 결론을 정리하고자 한다.흥미로운 점은 똑같은 GPT-5 모델을 사용함에도 누군가는 이를 대학원생 수준의 리서치 어시스턴트로 활용하고, 누군가는 단순한 심심풀이 챗봇으로만 사용한다는 사실이다.이러한 성능의 격차는 어디서 오는가? 대부분 프롬프트를 단순한 ‘요청(Request)’으..

이번 강의의 큰 줄기는 이거다.추천(recommendation)은 결국 사용자–아이템 상호작용을 미래에 예측하는 문제다.이걸 그래프(특히 사용자–아이템 이분 그래프)로 모델링하면 자연스럽게 링크 예측(link prediction)이 된다.실무 시스템은 “점수 계산”만이 아니라 후보 생성 → 랭킹 → 후처리로 이어지는 큰 파이프라인이고,임베딩 기반 방법이 강력한 이유(= 협업 필터링 직관)가 있다.그리고 GNN을 추천에 적용한 대표 흐름이 NGCF → LightGCN → PinSAGE(산업 배포)로 이어진다.1. 추천 시스템의 동기: “재고가 무한대에 가까운 세상”오프라인 매장은 공간이 제한돼서 선택지가 물리적으로 줄지만, 온라인은 재고(inventory)가 사실상 무한대에 가깝습니다. 그러면 사용자는 “..

맨날 nn.CrossEntropyLoss만 쓰다가, 문득 논문을 읽는데 KL Divergence가 나오고 Information Bottleneck이 나오고 갑자기 VAE가 튀어나오면 머리가 어지럽다. 근데 사실 이 개념들은 따로 노는 게 아니라, 하나의 거대한 스토리로 연결되어 있다는 걸 이해하게 되었다. 오늘은 그 흐름을 "직관" 위주로 쭉 훑어보려고 한다. 1. Cross Entropy (CE): "확신에 찬 오답을 처단하라"분류(Classification) 문제 풀 때 숨 쉬듯이 쓰는 게 바로 Cross Entropy다. 근데 왜 하필 MSE(거리)가 아니라 로그(log)가 들어간 엔트로피를 쓸까?핵심 직관Cross Entropy는 단순히 "틀렸다/맞았다"를 채점하는 게 아니다. "얼마나 확신을..

한 줄 요약ProtGNN 같은 프로토타입 기반 XAI는 그래프 “전체 임베딩”으로 프로토타입을 학습해서, 진짜 중요한 서브구조(예: MUTAG의 NO2)를 놓치고 흔한 구조(예: ring)에 끌리는 문제가 있다.PGIB는 Information Bottleneck(IB) 방식으로 라벨에 필요한 핵심 subgraph GsubG_{sub}Gsub​만 남기고, 그걸 기준으로 프로토타입을 학습하게 만들어서 설명도 좋아지고 정확도도 올라가게 만든 프레임워크이다. 1. 기존 방법(ProtGNN)의 구체적인 문제: “프로토타입이 ‘흔한 구조’를 대표해버림”ProtGNN은 “그래프 전체 임베딩” zG를 만든 뒤, 프로토타입 벡터들과 유사도를 비교해서 예측하고, 프로토타입을 가장 가까운 training graph로 pro..

1) 지금까지의 NLP 전략 되돌아보기: “BiLSTM + (필요하면) Attention”2014~2017 전후로, “너무 fancy한 거 없이 잘 풀기”의 표준 레시피는 대충 이랬다.입력 문장을 **BiLSTM(양방향)**으로 인코딩해서 문맥화출력(번역/요약/생성)이 필요하면 UniLSTM 디코더로 한 토큰씩 생성그리고 Attention으로 디코더가 인코더의 정보를 필요할 때마다 “다시 조회”→ **고정 길이 벡터로 압축해야 하는 병목(bottleneck)**을 피하려고이 전략은 “잘 먹혔고”, 실제로 많은 태스크에서 SOTA였다. 그런데 오늘 강의의 포인트는 명확하다:“문제는 같은데, recurrence(LSTM)를 빼고 새 빌딩블록으로 바꿔보자.”2) RNN의 한계 2가지: (1) 먼 거리 상호작..

1. 오늘 강의 큰 흐름 한 장 요약이번 강의는 한 줄로 요약하면 이거다:“RNN은 장거리 의존성을 배우기 어렵다(기울기 소실/폭주) → LSTM은 ‘메모리 통로 + 게이트’로 이 문제를 크게 완화 → 이 LSTM을 encoder–decoder로 묶으면 기계번역(NMT)이 된다.”2. 언어 모델 평가: Perplexity가 왜 나오나?언어모델(LM)은 “다음 단어를 맞히는 모델”이고, 평가도 그 관점에서 함.2.1 Perplexity 직관모델이 정답 단어에 높은 확률을 주면 “덜 헷갈림”Perplexity는 이 “헷갈림 정도”를 숫자로 만든 지표낮을수록 좋음직관적으로 perplexity가 64면“매 토큰마다 64지선다를 찍는 느낌”이라고 보면 됨.2.2 Cross-Entropy랑 관계실제로는 학습에서 우..

(Path Queries → Conjunctive Queries → Query2Box / Box Embeddings / AND-OR(DNF))10강이 “이종 그래프 + KG completion(링크 예측)”이었다면, 11강은 한 단계 더 나아가서 이렇게 묻는다.임베딩만으로 지식 그래프에서 ‘추론(reasoning)’을 할 수 있을까?(그래프가 불완전해도, 멀티홉 질의/논리 질의에 답할 수 있을까?)핵심은 “그래프를 탐색(traversal)하는 방식”을 버리고,질의(query) 자체를 임베딩해서 답을 예측하는 predictive query 관점으로 바꾸는 것이다.0) 문제 설정: KG는 거대하고… 불완전하다지식 그래프(KG)는 엔티티와 관계로 이루어진다.엔티티: drug / disease / advers..