Webスクレイピングは近年、ビジネスに大いにあらゆるシーンで活用されており、ビジネスを有利に進めるために重要な役割を担っています。これからWebスクレイピングをビジネスで活用されたいと考えている方に向けて、活用事例を8つご紹介します。
まずはWebスクレイピングの意味と基本的な流れを確認しておきましょう。
Webスクレイピングとは、Web上の特定の情報を自動的に抽出する技術を指します。ただWeb上の情報を集めるだけでなく、不要な情報を削って求める情報を抽出して収集する点が、Webスクレイピングの特徴です。
ビジネスにおいては、製品・サービスの価格調査、マーケティング・市場調査、口コミ・レビュー収集など、さまざまな用途で活用されています。
Webスクレイピングは主に次のような流れで行われます。
WebクローラーがWeb上を巡回し、該当するWebページのテキストや画像、動画などのデータを自動的に収集・保存します
ちなみにクローラーはクローリング(Crawler)からきており、「Crawl」には「這い回る」の意味合いがあります。
Webクローラーが集めたWebページの情報から不要な情報を削り、必要な情報だけを抽出します。
抽出したデータはそのままでは使えないため、目的に沿って整形します。
整形したデータをデータベース化し、用途に応じてデータを分析・活用します。
昨今のインターネットの普及によって、利用可能なデータ量が爆発的に増加しており、今後もそのデータ量は増加の一途をたどると推測されています。このような膨大なデータを「ビッグデータ」と呼び、このビッグデータを効率的に収集し、適切に活用することがビジネスでの成功を左右します。
近年では、ビッグデータだけでなく、 AIや機械学習などの技術も進歩しており、それらを意思決定に活用するシーンが増加しています。直感や経験に基づく属人的な意思決定からデータに基づく意思決定(データドリブン)へシフトしている傾向にあるといえるでしょう。
それらを実現するためには、基となる大量のデータが必要ですが、人力での情報取集は時間や労力がかかり、十分なデータ量を確保できません。そこで、注目されているのが「Webスクレイピング」ということです。Webスクレイピングは、Web上のニュース記事やIR情報、SNS、ECサイトなどあらゆるページから大量のデータを収集することが可能で、活用する目的に合わせたフォーマットに変換して保存できます。
このような背景から、Webスクレイピングがビジネス活用に注目されています。
Webスクレイピングは多様な目的でビジネスシーンに用いられています。ここでは、活用事例として厳選した8つを見ていきましょう。
あるECサイトは、複数の競合他社のECサイトの膨大な価格や在庫情報を収集することに困難を感じていました。また商品カテゴリーごとに必要な情報のみにしぼって取得したかったため、Webスクレイピングを活用しました。
その結果、情報収集の手間と時間を大幅に削減でき、取得した情報をもとに自社ECサイトの価格を調整し、常に競合と比べて優位な価格設定を行うことができるようになりました。
ある住宅販売企業は、事業拡大とともに、全国の住宅の仕入れ件数を増やす必要がありましたが、少数精鋭の組織であっため、大量の不動産情報を効率的に収集できる方法を探していました。
また自社でWebクローリングを行っていましたが、技術的に取得できるWebサイトに制限があり、限界を感じていました。
そこでWebスクレイピングサービスを専門でサービス展開している企業に依頼したところ、これまで通常1~2時間かかっていたものが、サービス利用後は15~30分くらいに短縮でき、大幅な工数削減と業務効率化を実現できました。
ある住宅建材メーカーの部署は、全国のセールス担当者に対して、商品提案をするためのマーケティング情報や販促ツールの提供を行っており、日々、膨大な量の情報収集が欠かせない状況でした。それに対して、Webクローリングをスポットで外注するも、欲しい情報の一部のみしか手に入らず、そのデータも手作業で集計することになり、依然として時間がかかりすぎることが課題でした。
そこで、データの取得から可視化までワンストップのWebスクレイピングサービスを導入したところ、作業工数の大幅な削減を実現できました。導入前は一部の分析にすら2~3日かかっていたところ、導入後はデータの自動収集から可視化まで可能となり、分析含めて2時間ほどに短縮できたのです。
ある総合日用品メーカーは、ブランドの顔としての役割を担うイメージを守る商標の不正使用に関する調査を手動で行っていました。しかし確認する件数が膨大で、手間と時間がかかっていました。
商標の調査会社への委託も検討しましたが、コスト面が理由で候補から外れ、Webスクレイピングサービスを選びました。
導入効果として、調査作業の手間削減を実現しただけでなく、同じような調査作業の繰り返しで先が見えなかった状況から、サービス利用により担当者の精神的な負担が大きく軽減されたという効果も得られました。
ある人材サービスを提供する企業は、競合の求人情報を収集し、自社で保有する求人数を増やし、自社サイトを充実させたいという課題がありました。しかし、手作業での求人情報収集は時間がかかりすぎることから非効率でした。
そこで、Webスクレイピングツールを用いて、大手求人サイトから求人情報を定期的に収集する仕組みを作りました。その結果、自社サイトの求人数を大幅増加させることができるようになり、求職者の問い合わせ件数を増加させることができました。
ある旅行会社は、旅行商品の開発や販売戦略に活用するために、顧客からの声など、多くの情報を必要としていました。そこで旅行予約サイトのレビュー・口コミデータに対してWebスクレイピングを行い、取得したデータを元に、旅行ニーズを分析しました。
分析結果からは、顧客が求める旅行プランはどのようなものなのか、また実際にどのような声が挙がっているのか、といった傾向がわかったため、その結果をもとに、新しい旅行商品の開発や販売戦略の改善につなげることが可能になりました。
仮に旅行予約サイトのレビュー・口コミデータだけでは不十分であった場合、対象収集先を広げることで、異なる顧客層の声を拾い、別の角度で商品開発や販売戦略に活用できるでしょう。
ある企業は、マーケティングに役立てる目的で、Webスクレイピングを用いてYouTubeチャンネルに投稿されている動画のタイトルや視聴回数、動画を視聴したユーザーからのコメントなどを抽出しました。
視聴回数からは動画の人気度合いを把握でき、コメントからは動画に対するポジティブ度合いや注目を集めたシーンなどがわかります。これらの情報によって、YouTubeチャンネルに訪れるユーザーを分析し、傾向をつかむことに成功しました。この分析結果は、YouTubeだけでの仮説検証にとどまらず、マーケティングデータとして広く活用できる有効なデータとなったのです。
WebスクレイピングによるSNSデータの収集としては、YouTubeからの動画関連情報だけにとどまらず、テキストデータなどの収集が可能です。例えば、商品の流行分析やレビュー分析など、より多様な活用が期待できます。
ある企業で地域店舗への営業を担当している部署 は、新しい営業リストを作成するために、インターネット上から見込み顧客の基本情報を獲得すべく、手作業でExcelデータに転記していました。しかし転記する情報が膨大で、工数がかかりすぎることが課題でした。
そこで、インターネット上にある電話帳リストや求人サイト、Googleマップなどを対象に Webスクレイピングを行い、店舗の情報を素早く効率的に取得して営業リストを作成しました。営業リスト作成にかかる工数が大幅に削減できたほか、見込み収顧客の集件数が増え、効率的な営業活動が行えるようになりました。
活用事例としてご紹介した通り、Webスクレイピングは、ビジネスのあらゆるシーンや用途で活用されており、工数削減や人員削減などを通じて業務効率化や生産性向上に役立てられています。
Webスクレイピングを実施するには、プログラミングを行う方法もありますが、より効率良くスピーディーに実施するために、Webスクレイピングサービス「ShtockData」を利用する方法がおすすめです。
ShtockDataは、お客様指定のWebサイトを周期的にクローリング(巡回)し、Webページ上のデータを抽出、収集。データは、標準化された形式に変換した上でクラウド上のデータウェアハウスに格納され、お客様のシステムに合わせ、さまざまなフォーマットでデータをご提供可能です。
データ活用や意思決定など重要なシーンにお役立ていただけます。詳細はサービス紹介をご覧ください。ご不明な点がございましたら、お気軽にお問い合わせ、ご相談ください。
平成12年11月22日
6,700万円
小林 一登
105-0003 東京都港区西新橋一丁目8番1号 REVZO虎ノ門4F
03-6384-5911
9:00〜18:00(JST)
自然言語処理エンジンの研究開発
ビッグデータの収集・整理・蓄積・可視化
ルーチン業務の自動処理システム提案
共同ピーアール株式会社/ 株式会社ファーストリテイリング/ アデコ株式会社/ カシオ計算機株式会社/ 日本放送協会/ 株式会社ZOZO/ 株式会社東芝/ パナソニック株式会社/ 株式会社リクルート住まいカンパニー/ 総務省統計局/ 中部国際空港株式会社