~/ecommerce/asos-scraper
ASOS 스크래퍼 — 가격, 사이즈별 재고, 리뷰, 카테고리
ASOS 12개 스토어의 상품과 카테고리를 수집합니다: 권장 소비자가와 30일 최저가를 포함한 가격, 사이즈별 재고, EAN 코드, 컬러·사이즈 옵션, 이미지와 런웨이 영상, 평점, 리뷰, 찜 수.
패션
TypeScriptCrawlee
영국미국프랑스독일스페인이탈리아네덜란드폴란드스웨덴덴마크호주러시아
카테고리ecommerce / 패션
언어TypeScript
스택TypeScript, Crawlee
마켓영국, 미국, 프랑스, 독일, 스페인, 이탈리아, 네덜란드, 폴란드, 스웨덴, 덴마크, 호주, 러시아
출력클린한 RAG-레디 JSON
주요 기능
스토어 홈 URL 하나로 메뉴의 모든 카테고리를 상품 수·필터와 함께 수집
옵션마다 사이즈별 재고, SKU, EAN 코드
이전 가격, 권장 소비자가, 30일 최저가, 할인 표시를 포함한 가격
12개 스토어, 각각 현지 통화·언어·사이즈 체계
평점 분포, 사이즈/품질/착용감 평균, AI 리뷰 요약, 최신 리뷰
모델 착용컷, 플랫레이, 컬러 스와치, 런웨이 영상을 컬러별로 연결
찜 수와 같은 스타일의 다른 컬러
활용 사례
- 시장별 패션 가격 모니터링과 할인 추적
- 사이즈 단위 재고·소진율 분석
- 경쟁 분석을 위한 상품 구성·카테고리 매핑
- 상품·사이즈 팀을 위한 리뷰·핏 분석
- 실시간 데이터 기반 상품 카탈로그와 쇼핑 에이전트
- EAN 코드로 다른 유통사 카탈로그와 매칭
입력 파라미터
| 파라미터 | 타입 | 필수 | 설명 |
|---|---|---|---|
startUrls | array | 필수 | 모든 ASOS 스토어의 홈, 부문, 카테고리, 검색, 상품 그룹, 상품 URL |
withCategoryProducts | boolean | 선택 | 홈·부문 URL이면 메뉴 각 카테고리의 모든 상품도 수집 (기본값: false) |
withReviews | boolean | 선택 | 평점 통계와 최신 리뷰 수집 (기본값: true) |
maxReviewsPerProduct | number | 선택 | 상품당 최신 리뷰 수, 0–100 (기본값: 10) |
withSavedCount | boolean | 선택 | 최근 30일 찜 수 수집 (기본값: true) |
withOtherColours | boolean | 선택 | 같은 스타일의 다른 컬러 목록 (기본값: true) |
maxRequestsPerCrawl | number | 선택 | 페이지 한도, 0이면 무제한 (기본값: 0) |
maxConcurrency | number | 선택 | 병렬 요청 수 (기본값: 20) |
proxy | object | 선택 | 스토어 전체 크롤링에는 레지덴셜 프록시 권장 |
출력 예시
1{
2 "source": {
3 "id": "205774480",
4 "canonicalUrl": "https://www.asos.com/adidas-originals/adidas-originals-handball-spezial-gum-sole-trainers-in-brown-and-white/prd/205774480",
5 "retailer": "ASOS",
6 "store": "COM",
7 "currency": "GBP",
8 "sizeSchema": "UK"
9 },
10 "title": "adidas Originals Handball Spezial gum sole trainers in brown and white",
11 "brand": "adidas Originals",
12 "categories": ["Unisex", "Trainers"],
13 "price": { "current": 9000, "previous": 9000, "stockStatus": "InStock", "currency": "GBP" },
14 "variants": [
15 {
16 "id": "206675555",
17 "sku": "135912910",
18 "gtin": "4066765223623",
19 "options": ["205774481", "596146"],
20 "price": { "current": 9000, "previous": 9000, "stockStatus": "InStock" },
21 "extraInfo": { "brandSize": "UK 3", "colour": "MULTI" }
22 }
23 ],
24 "stats": {
25 "rating": 4.8,
26 "reviewCount": 4016,
27 "percentageRecommended": 98,
28 "lovesCount": 24983,
29 "reviewsSummary": "Customers overwhelmingly praise these trainers for exceptional comfort..."
30 }
31}
가격은 최소 통화 단위(펜스, 센트)의 정수입니다. 스토어 홈 URL에서 나온 카테고리 레코드는 같은 데이터셋에 저장되며, source 대신 handle과 productsCount를 가집니다.
요금
이벤트당 과금 — 실제로 남긴 레코드에 대해서만 청구됩니다:
| 이벤트 | 가격 | 포함 내용 |
|---|---|---|
| 상품 | $0.003 | 가격, 사이즈별 재고, 옵션, 바코드, 이미지, 영상을 포함한 상품 1건; 상품 그룹은 구성품마다 1건 |
| 카테고리 | $0.001 | 메뉴 경로, 상품 수, 필터를 포함한 카테고리 1건 |
| 리뷰·평점 (추가) | $0.001 | 상품 1건의 평점 통계, AI 리뷰 요약, 최신 리뷰 |
| 찜 수 (추가) | $0.0005 | 상품 1건의 최근 30일 찜 수 |
| 다른 컬러 (추가) | $0.0005 | 상품 1건과 같은 스타일의 다른 컬러, 가격·재고 포함 |
추가 항목은 ASOS에 데이터가 있고 해당 스위치가 켜져 있을 때만 청구됩니다.
팁
- 스토어 홈에서 시작하세요.
https://www.asos.com/은 카테고리당 요청 1건으로 전체 카테고리 트리를 반환합니다. 상품까지 필요할 때만withCategoryProducts를 켜세요. - 시장은 URL로 고르세요.
/us/,/fr/,/de/등 스토어 접두사가 그 아래 모든 데이터의 통화, 언어, 사이즈 체계를 정합니다. - 필요 없는 추가 항목은 끄세요. 리뷰, 찜 수, 다른 컬러는 각각 상품마다 요청 1건과 청구 1건이 발생합니다.
- 대규모 크롤링에는 레지덴셜 프록시를 — 같은 IP는 수천 건 요청 후 제한됩니다.
자주 묻는 질문
ASOS의 모든 카테고리를 수집할 수 있나요?
네. https://www.asos.com/ 이나 https://www.asos.com/us/ 같은 스토어 홈, 또는 /women/ 같은 부문을 입력하면 메뉴 카테고리마다 레코드 1건(영국 스토어 기준 540건)을 메뉴 경로, 상품 수, 필터와 함께 반환합니다. withCategoryProducts를 켜면 해당 카테고리의 모든 상품도 상품당 한 번씩 수집합니다.
어떤 통화와 사이즈로 받나요?
URL의 스토어가 결정합니다. /us/ URL은 달러 가격과 미국 사이즈, /fr/은 유로, 접두사가 없는 URL은 영국 스토어의 파운드를 반환합니다. 프록시 국가를 고를 필요가 없습니다.
사이즈별 재고를 받을 수 있나요?
네. 옵션마다 자체 가격과 재고 있음·재고 적음·품절 상태가 있고, ASOS가 공개하는 경우 SKU와 EAN 코드도 함께 제공됩니다.
프록시가 필요한가요?
소규모 실행은 없어도 됩니다. ASOS는 같은 IP를 수천 건 요청 후 제한하므로, 스토어 전체나 카테고리 전체를 크롤링할 때는 레지덴셜 프록시를 사용하세요.