내맘대로 공부 기록장

  • 홈
  • 태그
  • 방명록

lstm 1

LSTM을 수식적으로 구조적으로 완벽히 이해해보자 [CS224N Lecture 6 정리]

1. 오늘 강의 큰 흐름 한 장 요약이번 강의는 한 줄로 요약하면 이거다:“RNN은 장거리 의존성을 배우기 어렵다(기울기 소실/폭주) → LSTM은 ‘메모리 통로 + 게이트’로 이 문제를 크게 완화 → 이 LSTM을 encoder–decoder로 묶으면 기계번역(NMT)이 된다.”2. 언어 모델 평가: Perplexity가 왜 나오나?언어모델(LM)은 “다음 단어를 맞히는 모델”이고, 평가도 그 관점에서 함.2.1 Perplexity 직관모델이 정답 단어에 높은 확률을 주면 “덜 헷갈림”Perplexity는 이 “헷갈림 정도”를 숫자로 만든 지표낮을수록 좋음직관적으로 perplexity가 64면“매 토큰마다 64지선다를 찍는 느낌”이라고 보면 됨.2.2 Cross-Entropy랑 관계실제로는 학습에서 우..

딥러닝 2026.01.03
이전
1
다음
더보기
프로필사진

내맘대로 공부 기록장

평범한 산업공학도의 공부 기록

  • 분류 전체보기 (60)
    • 데이터분석 (1)
    • 머신러닝 (0)
    • 딥러닝 (13)
      • image reconstruction (10)
    • 강화학습 (1)
    • 인과추론 (0)
    • 최적화 (0)
    • 잡다구리 (3)
    • 생각들 (1)
    • 학부연구생 (3)
    • 논문읽기 (24)
    • 그래프 신경망 (1)
      • CS224W (10)

Tag

PAANO, sasrec, 추천시스템, Interpretable Prototype-based Graph Information Bottleneck, timesFM, fMRI, Test-time training, 그래프신경망, PGIB, RQ-VAE, information bottleneck, 그래프 추천시스템, 좋은프롬프트, Test-time Local Training of Neural Network for Tabular Data, GNN, u net, TR-external EPIK, AutoRec, laminar fMRI, CS224W,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

  • 주인장 소개
  • Yuchan Lee_CV_26.02

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/07   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바