AI자동화7 Playwright로 크롤링 수익 모델 만들기 엔진을 바꿨다면, 이제 돈을 벌 차례다.크롤링은 도구가 아니라 파이프라인이다많은 사람이 크롤링을 "데이터 긁어오기"로만 생각한다.하지만 제대로 만들면: 데이터 수집↓가공↓분석↓자동 배포↓수익 발생 이 전체가 24시간 돌아가는 시스템이 된다.실제 수익 모델 3가지1) 가격 모니터링 → 제휴 수익// 매시간 가격 체크const price = await page.locator('.price').textContent();// 가격 떨어지면 알림 + 제휴 링크 자동 발송if (price 구조:쿠팡/아마존 특정 상품 가격 추적목표가 이하로 떨어지면 텔레그램/이메일 자동 발송제휴 링크 포함 → 구매 시 수수료 발생핵심:니치 상품일수록 전환율 높음24시간 자동 모니터링으로 타이밍 선점반복 구매 상품이면 지속 수익2) .. 2026. 4. 20. 새벽 3시, 또 멈춘 크롤러를 보며 든 생각 새벽 3시, 슬랙 알림이 울렸다. "크롤러 중단됨."어제 밤 완벽하게 돌아가던 코드였다. 분명 테스트도 다 통과했다. 그런데 왜 또 멈췄을까?모니터 앞에 앉아 에러 로그를 뒤적이며 속으로 되뇌었다."내가 뭘 잘못한 거지?"이건 당신만의 경험이 아니다수많은 개발자가 Selenium으로 자동화를 시작했다가 똑같은 좌절을 겪는다.어제는 됐는데 오늘은 안 된다로컬에선 되는데 서버에선 깨진다time.sleep(3)을 time.sleep(5)로 늘려봐도 소용없다결국 코드가 문제가 아니라 "운"에 맡기는 자동화가 된다.핵심을 놓치면 안 된다이건 당신 실력 문제가 아니다.잘못된 엔진을 쓰고 있기 때문이다.자동차 엔진처럼, 브라우저 자동화 도구도 세대가 있다.Selenium = 1990년대 디젤 엔진. 튼튼하지만 느리고.. 2026. 4. 19. AI가 모든 걸 기억하면 오히려 망한다 많이 저장할수록 좋다고 생각했다.그런데 아니었다.기억 시스템을 만들면서가장 반직관적으로 느꼈던 것이 하나 있다.👉 기억은 줄여야 유지된다.모든 걸 저장하면 생기는 문제처음에는 이렇게 생각했다."다 저장해두면 나중에 쓸 수 있지 않을까."실제로 해보니 달랐다.중요한 것과 덜 중요한 것이 같은 레벨이 된다탐색할수록 노이즈가 많아진다정작 필요한 게 묻혀버린다결국 아무것도 제대로 못 찾는 상태가 된다.사람은 어떻게 할까사람의 기억은 다르게 작동한다.중요하지 않은 건 잊는다오래된 건 흐리게 만든다핵심만 남긴다이게 기억이 유지되는 이유다.👉 기억은 압축된다.망각은 삭제가 아니다여기서 핵심이 있다.망각은 정보를 지우는 게 아니다.👉 정보 밀도를 재구성하는 과정이다.단계는 이렇게 된다.원문↓요약↓핵심↓키워드이 과.. 2026. 4. 17. AI는 왜 맥락을 끝까지 못 따라올까? 왜 “관계”가 없으면 AI는 절대 기억 못할까? (RAG를 넘어서는 구조)AI를 쓰다 보면 이런 순간이 있다.“왜 이걸 떠올렸지?”문제는 기억이 아니라 연결이다이전 글에서 말한 것처럼👉 [AI는 왜 중요한 걸 기억하지 못할까?]AI는 기억을 못하는 게 아니라👉 관리하지 않는다점수만으로는 부족하다기억에 점수를 붙이면중요도는 해결된다우선순위도 생긴다하지만 여전히 문제가 남는다👉 “왜 이게 같이 나왔지?”사람은 이렇게 기억한다사람은 기억을 이렇게 꺼낸다.단어 하나 떠오르고연결된 기억이 이어지고관련된 것들이 같이 나온다핵심 구조👉 기억은 “연결”이다AI는 어떻게 다를까?지금 AI는👉 연결이 없다그래서 이런 일이 생긴다.관련 없는 정보가 같이 나온다중요한 맥락이 이어지지 않는다대화가 끊긴다검색 vs 기억.. 2026. 4. 10. AI가 중요한 걸 못 기억하는 이유는 “점수”가 없기 때문이다 AI를 쓰다 보면 이런 경험을 한다.“왜 중요한 건 기억 못하고, 쓸데없는 건 계속 나오지?”문제는 RAG가 아니었다이전 글에서 말한 것처럼 👉 [RAG로는 왜 AI가 “기억”하지 못할까?]RAG는 기억이 아니다👉 검색이다실제로 발생하는 문제RAG를 쓰면 이런 일이 생긴다.중요한 정보가 묻힌다덜 중요한 정보가 튀어나온다맥락이 계속 끊긴다왜 이런 일이 생길까?핵심은 이거다.👉 “선별”이 없다RAG는저장한다비슷한 걸 찾는다꺼낸다👉 끝이다사람은 다르게 기억한다사람은 이렇게 기억한다.중요한 건 오래 남는다자주 쓰는 건 더 잘 떠오른다오래된 건 흐려진다AI는?👉 모든 정보를 동일하게 취급한다그래서 문제가 생긴다.중요한 것과중요하지 않은 것👉 구분이 안 된다방향을 바꿨다질문을 이렇게 바꿨다.❌ 어떻게 더.. 2026. 4. 8. RAG로는 왜 AI가 “기억”하지 못할까? (실제 사용해보고 깨달은 것) RAG로는 왜 “기억”이 안될까?AI를 쓰면서 가장 답답했던 순간이 있었다.“왜 계속 같은 말을 반복하지?”문제는 RAG가 아니었다처음엔 이렇게 생각했다.“RAG 쓰면 해결된다”RAG 구조는 단순하다.저장한다벡터로 찾는다관련된 걸 꺼낸다겉보기엔 완벽해 보인다.그런데 실제로 써보면 다르다뭐가 중요한지 모른다핵심과 잡정보를 구분 못한다오래된 정보도 그대로 튀어나온다왜 이런 일이 생길까?핵심은 이것이다.👉 RAG는 “유사도 검색”이다유사도 검색은 이렇게 동작한다.비슷한 걸 찾는다의미가 아닌 “거리”를 기준으로 판단한다그래서 문제가 생긴다.중요하지 않은 정보도 올라온다진짜 중요한 정보가 묻힌다관계를 이해하지 못한다결정적으로 빠진 것RAG에는 이게 없다.시간중요도관계 구조그래서 이런 일이 생긴다어제 중요한 결정.. 2026. 4. 6. 이전 1 2 다음