Playwright로 크롤링 수익 모델 만들기

엔진을 바꿨다면, 이제 돈을 벌 차례다.

---

크롤링은 도구가 아니라 파이프라인이다

많은 사람이 크롤링을 "데이터 긁어오기"로만 생각한다.

하지만 제대로 만들면:

 

데이터 수집
↓
가공
↓
분석
↓
자동 배포
↓
수익 발생

 

이 전체가 24시간 돌아가는 시스템이 된다.

---

실제 수익 모델 3가지

1) 가격 모니터링 → 제휴 수익

// 매시간 가격 체크
const price = await page.locator('.price').textContent();

// 가격 떨어지면 알림 + 제휴 링크 자동 발송
if (price < targetPrice) {
  sendAlert(productName, price, affiliateLink);
}

구조:

• 쿠팡/아마존 특정 상품 가격 추적
• 목표가 이하로 떨어지면 텔레그램/이메일 자동 발송
• 제휴 링크 포함 → 구매 시 수수료 발생

핵심:

• 니치 상품일수록 전환율 높음
• 24시간 자동 모니터링으로 타이밍 선점
• 반복 구매 상품이면 지속 수익

---

2) 부동산 매물 → 중개 연결

// 신규 매물만 필터링
const newListings = await page.locator('.new-badge').all();

for (const listing of newListings) {
  const price = await listing.locator('.price').textContent();
  const location = await listing.locator('.location').textContent();

  // DB 저장 + 고객에게 즉시 전송
  saveAndNotify(price, location);
}

구조:

• 직방/다방/네이버 부동산 신규 매물 실시간 수집
• 특정 조건 (역세권 + 가격대) 매물만 필터링
• 고객에게 먼저 알림 → 중개 연결

핵심:

• 정보 격차가 곧 수익
• 먼저 알려주는 사람이 중개 성사
• 자동화 없이는 불가능한 속도

---

3) 채용공고 → 헤드헌팅 연결

// 기술스택 매칭
const jobs = await page.locator('.job-card').all();

for (const job of jobs) {
  const stack = await job.locator('.tech-stack').textContent();

  if (stack.includes('Playwright') || stack.includes('Python')) {
    // 매칭 후보에게 자동 발송
    sendToCandidate(job);
  }
}

구조:

• 원티드/로켓펀치/링크드인 채용공고 수집
• 특정 기술스택 포함 공고만 필터링
• 매칭 후보에게 먼저 전달 → 성사 시 수수료

핵심:

• 구인/구직 시장의 정보 비대칭 해결
• 자동 매칭으로 스케일 가능
• 한 번 구축하면 반복 수익 구조

---

Playwright를 써야 하는 이유

Selenium으로 이걸 만들면:

• 매시간 깨진다
• 서버 부하가 심하다
• 유지보수에 시간 쏟는다

Playwright로 만들면:

• 안정적으로 24시간 돈다
• 경량 컨텍스트로 동시 수십 개 돌린다
• 한 번 세팅하면 몇 달 손 안 댄다

---

시작 단계

1단계: 타겟 선정

• 어떤 데이터가 돈이 되는가?
• 누구에게 가치가 있는가?

2단계: 파이프라인 구축

수집 → 필터링 → 저장 → 알림

3단계: 자동화 검증

• 48시간 돌려보기
• 에러 로그 확인
• 안정화

4단계: 수익 연결

• 제휴 프로그램 가입
• 고객 확보
• 자동 발송 시스템 연결

---

틀린 방식 vs 맞는 방식

❌ 틀린 방식

• 데이터만 긁어서 엑셀로 정리
• 수동으로 고객에게 전달
• 매번 직접 돌림

✅ 맞는 방식

• 수집부터 발송까지 완전 자동화
• 조건 충족 시 즉시 알림
• 사람은 결과만 확인

---

엔진을 바꿨으면, 이제 파이프라인을 만들 차례다.

 

구체적인 코드 구조와 배포 방법은 다음 글에서 다룬다.