llm4 AI는 왜 맥락을 끝까지 못 따라올까? 왜 “관계”가 없으면 AI는 절대 기억 못할까? (RAG를 넘어서는 구조)AI를 쓰다 보면 이런 순간이 있다.“왜 이걸 떠올렸지?”문제는 기억이 아니라 연결이다이전 글에서 말한 것처럼👉 [AI는 왜 중요한 걸 기억하지 못할까?]AI는 기억을 못하는 게 아니라👉 관리하지 않는다점수만으로는 부족하다기억에 점수를 붙이면중요도는 해결된다우선순위도 생긴다하지만 여전히 문제가 남는다👉 “왜 이게 같이 나왔지?”사람은 이렇게 기억한다사람은 기억을 이렇게 꺼낸다.단어 하나 떠오르고연결된 기억이 이어지고관련된 것들이 같이 나온다핵심 구조👉 기억은 “연결”이다AI는 어떻게 다를까?지금 AI는👉 연결이 없다그래서 이런 일이 생긴다.관련 없는 정보가 같이 나온다중요한 맥락이 이어지지 않는다대화가 끊긴다검색 vs 기억.. 2026. 4. 10. AI가 중요한 걸 못 기억하는 이유는 “점수”가 없기 때문이다 AI를 쓰다 보면 이런 경험을 한다.“왜 중요한 건 기억 못하고, 쓸데없는 건 계속 나오지?”문제는 RAG가 아니었다이전 글에서 말한 것처럼 👉 [RAG로는 왜 AI가 “기억”하지 못할까?]RAG는 기억이 아니다👉 검색이다실제로 발생하는 문제RAG를 쓰면 이런 일이 생긴다.중요한 정보가 묻힌다덜 중요한 정보가 튀어나온다맥락이 계속 끊긴다왜 이런 일이 생길까?핵심은 이거다.👉 “선별”이 없다RAG는저장한다비슷한 걸 찾는다꺼낸다👉 끝이다사람은 다르게 기억한다사람은 이렇게 기억한다.중요한 건 오래 남는다자주 쓰는 건 더 잘 떠오른다오래된 건 흐려진다AI는?👉 모든 정보를 동일하게 취급한다그래서 문제가 생긴다.중요한 것과중요하지 않은 것👉 구분이 안 된다방향을 바꿨다질문을 이렇게 바꿨다.❌ 어떻게 더.. 2026. 4. 8. RAG로는 왜 AI가 “기억”하지 못할까? (실제 사용해보고 깨달은 것) RAG로는 왜 “기억”이 안될까?AI를 쓰면서 가장 답답했던 순간이 있었다.“왜 계속 같은 말을 반복하지?”문제는 RAG가 아니었다처음엔 이렇게 생각했다.“RAG 쓰면 해결된다”RAG 구조는 단순하다.저장한다벡터로 찾는다관련된 걸 꺼낸다겉보기엔 완벽해 보인다.그런데 실제로 써보면 다르다뭐가 중요한지 모른다핵심과 잡정보를 구분 못한다오래된 정보도 그대로 튀어나온다왜 이런 일이 생길까?핵심은 이것이다.👉 RAG는 “유사도 검색”이다유사도 검색은 이렇게 동작한다.비슷한 걸 찾는다의미가 아닌 “거리”를 기준으로 판단한다그래서 문제가 생긴다.중요하지 않은 정보도 올라온다진짜 중요한 정보가 묻힌다관계를 이해하지 못한다결정적으로 빠진 것RAG에는 이게 없다.시간중요도관계 구조그래서 이런 일이 생긴다어제 중요한 결정.. 2026. 4. 6. AI는 왜 자꾸 까먹을까? (그리고 나는 이걸 해결하려고 한다) AI를 쓰다 보면 한 번쯤 느낀다."아니 이걸 왜 또 설명해야 하지?"문제는 생각보다 단순하다AI는 똑똑하다.근데 기억을 못 한다.정확히 말하면"기억을 유지하는 구조가 없다"내가 겪은 문제나는 AI로 뭔가 만들어보려고 했다.문서도 쌓고규칙도 만들고구조도 잡았다.근데 문제가 하나 있었다.👉 맥락이 계속 끊긴다어제 만든 규칙을 다시 설명해야 하고 중요한 결정을 또 말해야 하고 이미 정리한 구조를 다시 꺼내야 한다 기존 방식의 한계보통 이렇게 한다.대화 저장문서 저장검색해서 다시 읽기근데 이건 기억이 아니다.👉 그냥 저장 + 검색이다내가 찾은 실마리어느 순간 깨달았다.👉 "기억은 저장이 아니라 관리다"사람은 이렇게 기억한다.중요한 건 오래 기억한다자주 쓰는 건 더 잘 떠오른다오래된 건 점점 흐려진다.. 2026. 4. 5. 이전 1 다음