~/ecommerce/woocommerce-scraper
WooCommerce 스크레이퍼 — 상품, 가격, 재고, 리뷰
모든 WooCommerce 스토어에서 상품, 옵션, 카테고리, 고객 리뷰를 수집합니다. 도메인만 주면 카탈로그를 찾아내며, 스토어가 JSON API를 꺼 두어도 수집할 수 있습니다.
종합
TypeScriptCheerio
글로벌
카테고리ecommerce / 종합
언어TypeScript
스택TypeScript, Cheerio
마켓글로벌
출력클린한 RAG-레디 JSON
주요 기능
도메인만으로 충분 — Actor가 알아서 카탈로그를 찾습니다
JSON API가 꺼져 있거나 방화벽으로 막힌 스토어에서도 동작
변형 상품의 모든 조합을 각각의 SKU·가격·재고 상태와 함께 수집
고객 리뷰를 평점·작성자·날짜가 담긴 별도 레코드로 저장
가격은 최소 화폐 단위로 저장하고 상점의 표기 문자열도 함께 제공해 반올림 오류가 없습니다
상점별 상한을 둘 수 있어 다중 상점 실행에서 큰 카탈로그가 예산을 독식하지 않습니다
전체 카탈로그 순회뿐 아니라 실행 대상 모든 상점에 대한 키워드 검색도 지원
기본 동시 실행 수는 보수적 — 대부분의 WooCommerce 상점은 자체 호스팅 소규모 워드프레스입니다
활용 사례
- 독립 WooCommerce 판매자의 가격·구색 모니터링
- 어떤 마켓플레이스에도 없는 소규모 상점 롱테일로 상품 데이터베이스 구축
- 경쟁사가 Shopify가 아니라 워드프레스를 쓸 때의 경쟁 조사
- 리뷰 분석을 통한 상품 평판과 평점 분포 파악
- 비교 사이트, 마켓플레이스, 쇼핑 에이전트에 상품 데이터 공급
- 유통·리셀러 점검을 위한 재고와 구매 가능 여부 추적
입력 파라미터
| 파라미터 | 타입 | 필수 | 설명 |
|---|---|---|---|
domains | array | 선택 | 한 줄에 하나씩 적는 도메인 — 가장 간단한 지정 방법 |
startUrls | array | 선택 | 모든 WooCommerce 상점 URL: 상점 루트, 카테고리, 태그 페이지 또는 단일 상품 |
maxProducts | integer | 선택 | 실행 전체에서 저장할 상품 레코드 수 |
maxProductsPerStore | integer | 선택 | 상점별 상한. 큰 카탈로그 하나가 예산을 모두 쓰지 않도록 합니다 |
includeVariations | boolean | 선택 | 변형 상품의 모든 조합을 SKU·가격·재고와 함께 수집 |
includeReviews | boolean | 선택 | 고객 리뷰를 평점·작성자·날짜와 함께 별도 레코드로 저장 |
query | string | 선택 | 실행 대상의 모든 상점 루트·도메인에 적용되는 검색어 |
allowHtmlFallback | boolean | 선택 | JSON API가 꺼졌거나 차단된 상점에서 HTML 폴백 허용 |
proxy | object | 선택 | 프록시 설정. 필요한 상점에서만 단계적으로 강화됩니다 |
출력 예시
1{
2 "source": {
3 "id": "1251",
4 "canonicalUrl": "https://www.shoprootscience.com/shop/sample-kit",
5 "retailer": "shoprootscience.com",
6 "language": "en",
7 "currency": "USD"
8 },
9 "title": "Sample Kit",
10 "brand": "",
11 "categories": ["Samples"],
12 "price": {
13 "current": 2000,
14 "currentFormatted": "$20.00",
15 "previous": 2000,
16 "stockStatus": "InStock",
17 "stockCount": 0
18 },
19 "stats": { "rating": 4.75, "reviewCount": 4 },
20 "options": [
21 { "type": "Sample 1", "values": [
22 { "id": "Bare Facial Serum", "name": "Bare Facial Serum" },
23 { "id": "Youth Facial Serum", "name": "Youth Facial Serum" }
24 ] }
25 ],
26 "variants": [
27 { "sku": "SK-BARE", "price": { "current": 2000, "currentFormatted": "$20.00", "stockStatus": "InStock" } }
28 ]
29}
팁
도메인 하나와 작은 상한으로 시작하세요. 상품 100개면 그 상점이 어떤 경로를 열어 두었는지, 레코드가 얼마나 완전한지 알 수 있습니다. 다중 상점 실행에는 maxProductsPerStore를 설정하세요. 없으면 첫 대형 카탈로그가 다른 상점에 닿기 전에 예산을 다 씁니다. 리뷰는 필요할 때만 켜세요. 별도 레코드이자 별도 과금이며, 가격 모니터링에는 대개 불필요합니다. HTML 폴백은 켠 채로 두세요. 잠긴 상점을 수집할 수 있는 이유가 바로 이것이고, 실행당 상한이 비용을 묶어 둡니다.
자주 묻는 질문
상점이 JSON API를 꺼 두었다면?
바로 이 Actor가 겨냥한 흔한 경우입니다. 상황을 감지하고 그래도 카탈로그를 수집하므로, 잠긴 스토어에서도 상품이 반환됩니다.
해당 사이트가 정말 WooCommerce인지 어떻게 아나요?
도메인을 Actor에 넘기고 판단을 맡기세요 — 판별은 실행 과정의 일부입니다.
변형은 별도 레코드인가요?
아닙니다. 레코드 하나가 상품 하나이고 변형은 variants 안에 중첩되며 각각 SKU·가격·재고 상태를 가집니다. 리뷰를 켠 경우에만 별도 레코드가 됩니다.