1) 지금까지의 NLP 전략 되돌아보기: “BiLSTM + (필요하면) Attention”2014~2017 전후로, “너무 fancy한 거 없이 잘 풀기”의 표준 레시피는 대충 이랬다.입력 문장을 **BiLSTM(양방향)**으로 인코딩해서 문맥화출력(번역/요약/생성)이 필요하면 UniLSTM 디코더로 한 토큰씩 생성그리고 Attention으로 디코더가 인코더의 정보를 필요할 때마다 “다시 조회”→ **고정 길이 벡터로 압축해야 하는 병목(bottleneck)**을 피하려고이 전략은 “잘 먹혔고”, 실제로 많은 태스크에서 SOTA였다. 그런데 오늘 강의의 포인트는 명확하다:“문제는 같은데, recurrence(LSTM)를 빼고 새 빌딩블록으로 바꿔보자.”2) RNN의 한계 2가지: (1) 먼 거리 상호작..
