~/ecommerce/macys-scraper

Macy's Scraper — товары, цены, SKU и новости

Извлекайте данные о товарах Macy's — цены, варианты, штрихкоды SKU/UPC, изображения, рейтинги и отзывы — а также новости Macy's Inc. из URL поиска, категорий, трендов и товаров. Без браузера, устойчиво к Akamai.

универмаг TypeScriptCrawleeCheerio США
proooxy/macys-scraper — характеристики
категорияecommerce / универмаг
языкTypeScript
стекTypeScript, Crawlee, Cheerio
рынкиСША
выводчистый JSON, готовый к RAG

ключевые возможности

Четыре поверхности в одном акторе — поиск товаров, категории, тренды и новости Macy's Inc.

Обходит Akamai Bot Manager без браузера, используя собственные JSON API мобильного приложения и сайта Macy's

Штрихкоды UPC для каждого SKU с цветом, размером, наличием и ценой для каждого доступного к покупке варианта

Цены в виде целых чисел в центах плюс локализованные форматированные строки — без ошибок округления чисел с плавающей запятой

Полная аналитика отзывов — гистограмма звезд, число рекомендаций и вторичные рейтинги посадки/размера

Все оттенки и размеры сгруппированы в одной записи товара, а не в отдельной строке на каждый вариант

Только чистые канонические URL — внутренние эндпоинты API и клиентские ключи никогда не попадают в вывод

Единая нормализованная схема для результатов search, category, trending и product-detail

сценарии использования

  • Мониторинг цен и акций универмага на уровне SKU
  • Конкурентный анализ — цены Macy's против Nordstrom, Ulta или DTC-брендов
  • Сопоставление каталогов между ритейлерами по штрихкодам UPC каждого варианта
  • Аналитика отзывов и рейтингов для брендов, продающихся в Macy's
  • Мониторинг новостей ритейла — пресс-релизы Macy's Inc. и объявления о финансовых результатах

входные параметры

ПараметрТипОбязательныйОписание
scrapeTypestringобязательноПоверхность для парсинга: search, category, trending, news или all (по умолчанию: search).
querystringопциональноКлючевое слово для поиска товаров, например women shoes.
startUrlsarrayопциональноURL товаров/категорий Macy's или новостей Macy's Inc.
categoryIdsarrayопциональноID категорий Macy's (например, 5449). Если известны URL категорий, предпочтительнее использовать их.
trendingUrlsarrayопциональноURL страниц трендов, бестселлеров или кураторских подборок.
newsUrlsarrayопциональноURL списка новостей или отдельных статей Macy's Inc.
includeProductDetailsbooleanопциональноОбогащать элементы списка полной информацией о товаре — варианты, SKU, галереи (по умолчанию: true).
maxPagesnumberопциональноМаксимальная глубина пагинации на каждый источник списка/новостей.
maxResultsnumberопциональноЛимит на количество записей в выводе. 0 = без лимита.
proxyobjectобязательноApify Proxy или собственные URL прокси. Рекомендуются резидентные прокси со страной US.

Пример вывода

 1{
 2  "type": "product",
 3  "source": {
 4    "id": "12345678",
 5    "canonicalUrl": "https://www.macys.com/shop/product/calvin-klein-womens-sheath-dress?ID=12345678",
 6    "retailer": "macys",
 7    "currency": "USD"
 8  },
 9  "title": "Women's Sleeveless Sheath Dress",
10  "brand": "Calvin Klein",
11  "categories": ["Women", "Dresses", "Work Dresses"],
12  "price": {
13    "sale": 5999,
14    "list": 9800,
15    "currentFormatted": "$59.99",
16    "stockStatus": "InStock"
17  },
18  "stats": { "rating": 4.6, "reviewCount": 9, "ratingPercentage": 92 },
19  "options": [
20    { "type": "Color", "values": [{ "id": "1", "name": "Black" }] },
21    { "type": "Size", "values": [{ "id": "10", "name": "M" }, { "id": "12", "name": "L" }] }
22  ],
23  "variants": [
24    {
25      "id": "987654",
26      "sku": "192837465012",
27      "options": ["Black", "M"],
28      "price": { "stockStatus": "InStock" },
29      "extraInfo": { "upc": "192837465012" }
30    }
31  ],
32  "medias": [{ "type": "Image", "url": "https://slimages.macysassets.com/is/image/MCY/products/.../main.jpg" }]
33}

Цена

Оплата за событие — вы платите только за фактически сохраненные элементы:

СобытиеЦенаЧто включено
Спарсен товар$0.006Один товар с полной информацией — варианты, SKU/UPC, цены, изображения, рейтинги
Спарсена статья$0.002Одна новостная статья Macy’s Inc. — заголовок, автор, дата, текст, изображения

Скидки за объем применяются автоматически на более высоких тарифах Apify (до $0.0045 за товар). Обход 1000 товаров стоит ~$6.00 по прайс-листу.

Советы

  • Используйте резидентные прокси из США. Эндпоинт деталей товара периодически ограничивает частоту запросов; ротация резидентных сессий проходит чисто, тогда как IP дата-центров чаще получают 403.
  • Держите параллелизм умеренным. Оптимальное значение maxConcurrency — 2–3; более высокие значения увеличивают число попаданий в лимит частоты запросов, не повышая пропускную способность.
  • Предпочитайте URL категорий голым ID. URL содержит путь категории, который ожидает API; голый ID может привести к более широкому или пустому набору результатов.
  • Отключайте includeProductDetails для быстрого прохода на уровне списка (название, бренд, цена в списке, изображение, рейтинг), когда варианты или описания не нужны.

частые вопросы

Как он обходит Akamai без браузера?
Он вообще не борется с JS-челленджем. Списки товаров приходят из API мобильного приложения Macy's, а детали товара — из JSON API сайта; оба работают на отдельной инфраструктуре, которая отвечает на анонимные запросы на чтение. Без логина, без cookie, без API-ключа.
Цены указаны в долларах или центах?
В целых центах (5999 = $59.99), чтобы избежать ошибок округления чисел с плавающей запятой, плюс локализованные форматированные строки ($59.99) рядом.
Как обрабатываются варианты и UPC?
Все цвета и размеры сгруппированы в единой записи товара с массивом variants[]. У каждого варианта свой штрихкод UPC, цвет, размер, наличие и цена — они восстановлены из данных о связях SKU Macy's, а не спарсены с виджета выбора цвета.
Можно ли спарсить товары и новости за один запуск?
Да. Установите scrapeType в all и передайте любую комбинацию query, startUrls, categoryIds, trendingUrls и newsUrls.

похожие в ~/ecommerce

Запустите Macy's Scraper — товары, цены, SKU и новости или закажите разработку под задачу

Начните извлекать данные на Apify за считаные минуты или закажите у меня разработку парсера на заказ и RAG-конвейера под ваш источник и схему.

запустить на Apify заказать данные