~/public-data/sec-edgar-scraper
SEC EDGAR Scraper — 開示書類・全文・XBRL財務データを取得
SEC EDGARの開示書類メタデータ、10-K/10-Qの全文セクション、EDGAR全文検索結果、XBRL財務ファクトを、クリーンでRAG対応のJSONとして抽出します。APIキー不要。
金融
TypeScriptCheerio
アメリカ
カテゴリpublic-data / 金融
言語TypeScript
スタックTypeScript, Cheerio
マーケットアメリカ
出力クリーンでRAG対応のJSON
主な機能
1つのアクターで4つのモード — 開示書類メタデータ、文書全文、EDGAR全文検索、XBRL財務ファクト
RAG対応のチャンク分割 — section、paragraph(約2000文字)、noneから選択。各チャンクには元のItemと順序を付与
10-K/10-Qの「Item N」セクションを自動解析(Item 1A — Risk Factors、Item 7 — MD&Aなど)
タクソノミ、タグ、ラベル、単位、値、会計年度/期間、フォーム、アクセッション番号を含むXBRLファクト
ファクトの重複排除により、XBRLの修正再表示を期間ごとに1行へ集約し、最初の開示を保持
ティッカー、CIK、または企業名でSEC公式ティッカーファイルと照合して企業を特定(あいまい一致フォールバック付き)
フレーズ検索、フォームタイプ、日付範囲フィルタに対応したEDGAR全文検索(2001年〜現在)
SEC準拠のレート制限とUser-Agent — APIキーもログインも不要
活用例
- セクション単位でチャンク化され、エンベディング対応の10-K/10-Qテキストを必要とする金融RAG・LLMパイプライン
- 投資調査 — 売上高、純利益、希薄化後EPSの時系列をクリーンなXBRL行として取得
- コンプライアンス・株式保有モニタリング — 企業横断でのForm 4、SC 13D/13G、リスク要因の記述
- 独自クローラーを構築せずに構造化されたEDGARデータが必要なフィンテックプロダクト
- 全文検索を用いた市場・業界調査 — どの企業がいつからそのフレーズを開示しているか
- クリーンなXBRL財務ファクト行を取り込むBI・スプレッドシートワークフロー
入力パラメータ
| パラメータ | 型 | 必須 | 説明 |
|---|---|---|---|
mode | string | 必須 | 抽出モード:filings、fulltext、search、factsのいずれか(デフォルト:filings)。 |
ticker | string | 任意 | 株式ティッカー。例:AAPL。ticker/cik/companyNameのいずれか1つが実行時に必須です。 |
cik | string | 任意 | SECのCentral Index Key。例:320193 — tickerやcompanyNameより優先されます。 |
companyName | string | 任意 | SEC登録企業名。公式ティッカーファイルに対して完全一致またはあいまい一致で照合されます。 |
query | string | 任意 | EDGAR全文検索の検索式。例:"supply chain disruption" — searchモードでは必須。 |
formTypes | array | 任意 | 含めるフォームタイプ。例:10-K、10-Q、8-K、S-1、DEF 14A、Form 4。空欄=全フォーム。 |
chunking | string | 任意 | 全文取得時のRAG戦略:section、paragraph(約2000文字)、noneのいずれか(デフォルト:section)。 |
maxItems | number | 任意 | 保存するアイテムの最大数。保存1件ごとに1課金イベント(デフォルト:100)。 |
Output Example
1{
2 "itemType": "filing-fulltext",
3 "title": "Apple Inc. — 10-K 2025-10-31",
4 "company": "Apple Inc.",
5 "ticker": "AAPL",
6 "cik": "0000320193",
7 "formType": "10-K",
8 "filedAt": "2025-10-31",
9 "accessionNo": "0000320193-25-000123",
10 "documentUrl": "https://www.sec.gov/Archives/edgar/data/320193/...",
11 "sections": [
12 { "name": "Item 1A — Risk Factors", "charCount": 38241 },
13 { "name": "Item 7 — Management's Discussion and Analysis", "charCount": 21077 }
14 ],
15 "chunks": [
16 { "text": "The Company's business, reputation, results of operations...", "section": "Item 1A — Risk Factors", "order": 12 }
17 ],
18 "textLength": 220151
19}
Pricing
イベント課金制——実際に保存されたアイテムに対してのみ課金されます。
| イベント | 価格 | 内容 |
|---|---|---|
| 開示書類メタデータ/検索ヒット | $0.001 | 開示書類メタデータレコード1件、または全文検索結果1件 |
| 全文開示書類 | $0.005 | 抽出・セクション解析・RAGチャンク化された開示書類1件 |
| XBRLファクト | $0.0002 | XBRL財務ファクト行1件 |
1,000件の開示書類メタデータ取得で約$1.00、1,000件のXBRLファクトで約$0.20。maxItemsが件数とコストの両方に上限を設けます。
Tips
- 財務データはまず
factsモードから。 数値だけが必要な場合、XBRL行(売上高、純利益、EPS)の取得は、開示書類全文を解析するよりもはるかに安価でクリーンです。 - RAGには
chunking: sectionを使いましょう。 各Item(Risk Factors、MD&Aなど)をひとまとまりに保つため、検索結果が一貫した引用可能な文章になります。 - 全文検索は2001年以降が対象です。 それより古い開示情報は、CIKで企業を特定し、開示書類メタデータを直接取得してください。
よくある質問
SECのAPIキーは必要ですか?
いいえ。SEC EDGARは無料の公開データです。このアクターは準拠したUser-Agentで自己を識別し、SECのレート制限内で自動的にスロットリングを行います——キーもログインも不要です。
データはどこまで遡れますか?
EDGAR全文検索(EFTS)は2001年5月4日以降の開示書類をカバーし、クエリごとに最大10,000件のヒットに制限されています。開示書類メタデータは1994年まで遡り、XBRL財務ファクトは各企業がXBRLで報告したすべてのデータをカバーします。
出力はLLMやRAGにそのまま使えますか?
はい。fulltextモードでは、このアクターが10-K/10-Qを「Item N」セクションに解析し、エンベディング対応のチャンク(sectionまたは約2000文字のparagraph)を生成します。各チャンクには元のItemと順序インデックスが付与されます。
fulltextモードで一部の開示書類がスキップされるのはなぜですか?
主文書がHTMLでもTXTでもない開示書類(例:XBRLのみのForm 4 XML)はセクション解析ができないため、スキップされます——その場合は課金もされません。