WebスクレイピングサービスShtockDataは、Webサイトを周期的にクローリング（巡回）し、Webページ上のデータを抽出、収集するサービスです。データは、標準化された形式に変換され、クラウド上のデータウェアハウスに格納されます。
Webデータから取得可能なデータには、画像やテキスト（商品価格、レビュー、企業情報、ニュース記事）があり、市場変化の検出や競合他社の商品やサービスの価格や性能の比較に活用されています。
WebスクレイピングサービスであるShtockDataにより、価格戦略、商品企画、海外市場調査、企業情報の抽出、求人状況や不動産情報のリアルタイムな把握、様々なマーケティング活動を支援し、組織のDX化を推進します。
スタートアップから大手企業、行政機関、研究機関まで幅広くご導入いただいています。
※ 株式会社富士キメラ総研『ソフトウェアビジネス新市場 2021年版』 Webクローリング市場占有率2020年度
データ時代の新しいマーケティング戦略のインフラとして継続的にご活用いただいています
開発実績15年、600万サイト以上、1500億ページ以上のクローリング実績があります。
※ 2021年12月 7日時点
価格調査競合他社の商品情報を収集できます。画像やカテゴリ、ブランド、商品説明、セール情報、ポイント数、在庫、カラー等も取得できます
不動産市場調査不動産ポータル等から物件情報を収集します。収集した情報をもとに最適な家賃や仲介時の最適な買取・売却価格の推論、顧客への提案資料として活用されます
レビュー収集ECサイトやSNSに記載された競合他社や自社の商品、サービス、施設等の口コミやレビューの情報を収集します。収集したデータは商品の企画等に活用されています
画像の収集ECやSNSから商品画像を収集します。収集した画像は、ハッシュタグやコメント、画像処理の結果を関連付けすることで、商品の流行分析や商標の不正使用調査、広告露出調査、規約違反等のチェックなどに活用されます
企業リサーチ企業HPの会社概要や求人情報から条件に合わせて企業データを収集できます。リアルタイムにリード獲得のための営業リストや金融機関向けマッチングデータを提供します
記事クリッピングWeb上にある世界中のニュース記事やIR情報、プレスリリース情報を収集します。経済ニュースから健康や医療など専門的なメディア、自社と同業界における最新のSDGs動向等、組織が今、必要とする最新のニュースをオーダーメイドで提供します
研究用データ当社は、様々な研究機関やリサーチ会社、行政機関へデータを提供しています。画像処理や自然言語処理に必要なアノテーション付きデータセットのご提供から行政機関の統計指標作成の支援まで幅広く対応しています
Webサービスとの連携Webアプリやサービスに必要なデータを連携します。各サービスやアプリの利用形態に合わせ、データ連携のAPIをご用意しています。
グローバル市場調査メーカーや商社のお客様向けに中国やインドなどの新興国や欧米市場のWeb調査をおこなっています。
人視での監視や人手でのインフラ設定が不要のため、自動化によりコストが削減できます
仮想サーバ技術、自動拡張機能により、大規模なデータ運用基盤を構築できます
データの見える化・分析まで一連のソリューションを提供しています
Webクローリングを実施する日時を月単位、曜日単位、時間単位等で柔軟に設定が可能です。
収集したデータは、BIツールと連携し、美しいデータビジュアライゼーションにより、データの可視化をおこなっています（オプション）
サイト内検索のフォーム等に自動でテキストを入力します
PDFやExcel等のファイルはダウンロードが可能です
サイト内に任意のキーワードが出現した、対象とする商品の価格や在庫に変化があった等の任意設定の条件でメールで通知をおこないます
最小０から最大数百個まで必要な時に必要な数だけWebクローリングサービスを起動します。リーズナブルに大規模なデータ収集を実行できます
サイト内にある個々の画像データやページ全体のスクリーンショット画像をデータベースに保存します
CSV、JSON、各種API等様々なデータ出力形式に対応しています
お客様にデータ取得先のサイトをご指定いただきます
指定先のサイトをクローリング＆スクレイピングし、データを取得します
収集したデータをクラウド上のDWH(データウェアハウス）に蓄積します
収集データをデータ処理に最適な形式にデータ整形します
お客様のシステムにあわせ、様々なフォーマットでデータをご提供します
Webスクレイピングとは、Webサイトから情報を自動的に抽出する技術のことを指します。例えば、商品の価格情報、株価、ニュース記事のタイトルや本文といったテキストに加えて、画像や動画など特定の情報を大量に収集することができます。
Webスクレイピングには「Webクローリング」という類似の技術が存在し、併用される場合があります。Webクローリングとは、「Webクローラー」というプログラムがインターネット上のWebサイト上を巡回し、データを自動的に収集・保存する技術のことです。上述のように、WebスクレイピングはWeb上の取得した情報の中から必要なデータだけを抽出するため、類似しているようで目的が異なる技術です。
このWebスクレイピングを利用することによって、膨大なデータ収集の効率化やAPIで入手できない情報のリアルタイムでの取得などが可能で、業務工数の削減にもつながります。
また、様々なWebサイトから情報を集めてデータベースを作成したり、データ分析のためのデータセットを準備したりする用途でも利用できます。
平成12年11月22日
6,700万円
小林 一登
105-0003 東京都港区西新橋一丁目8番1号 REVZO虎ノ門４F
03-6384-5911
9:00〜18:00(JST)
自然言語処理エンジンの研究開発
ビッグデータの収集・整理・蓄積・可視化
ルーチン業務の自動処理システム提案
共同ピーアール株式会社/ 株式会社ファーストリテイリング/ アデコ株式会社/ カシオ計算機株式会社/ 日本放送協会/ 株式会社ZOZO/ 株式会社東芝/ パナソニック株式会社/ 株式会社リクルート住まいカンパニー/ 総務省統計局/ 中部国際空港株式会社
エリアマーケティング
ブランド保護