Google Apps Script

商品ごとの最安値を価格コムから参照して、スプレッドシートに記入。毎日、自動更新で。

ふと、カメラレンズの価格が知りたくなった。その数、50本くらい。いや、もっと増えるだろう。価格コムの最安値を参考価格とする。さっそく、Googleスプレッドシートで調査したいカメラレンズ名を列記した。そして、価格コムで商品検索して、価格をコピーして、シートにペーストして。
・・・。
ちょ、ちょっと待って。10本くらいならまだしも、50本もしくはもっと増える可能性を考えると、この単純作業、正直しんどい。ミスする可能性もある。しかも価格は変動することもあるので、定期的に再調査する必要がある。さすがにその運用は現実的ではない。

はい、自動化しよう。

実現したい2つのポイント

  • スプレッドシートの決めたセルに、価格コムの最安値を自動入力する(価格を取得した日時も)
  • 毎日、決めた時間に自動で更新する

事前準備として、価格を知りたいレンズ名と、その価格はどのページを参照するのかのURL(レンズごとに、価格コムのそのレンズの詳細ページ)を記述する。
この記事で紹介するスプレッドシートのフォーマットは下記とする。

  • シート名を「価格表」とする
  • 1列目にレンズ名、2列目に価格コムのURL、3列目に最安値、4列目に最安値取得日時、とする
  • 1行目は項目名で、2行目以降に各データを入力する

ちなみに、スプレッドシートのファイル名はなんでもよい。

なぜ、スプレッドシート??

実装方法はいろいろある。
ちなみに、特定のページからデータを収集してデータベースやスプレッドシートに保存することをWebスクレイピングと言う。Webスクレイピングサービスはいろいろあるので、そういったものを使うのももちろんアリ(だが、サービス依存なので拡張性、柔軟性、安全性で不安が残る)。
また、Webコンテンツという視点であれば、たとえば、PHP + Database + Cron でも実装できる(が、開発環境を用意する手間が必要)。

そこで、Googleスプレッドシートを利用すれば、Googleアカウントさえあれば、Web上ですべて完結できる。
Googleというブランド力(信頼性)、容易さ(JavaScriptベースで実現可能)、そして拡張性の高さ(スプレッドシートで管理することで、Web API としても利用できる)を考慮して決定した。

それでは実装していこう。

スプレッドシートの決めたセルに、価格コムの最安値を自動入力する(取得した日時も)

1. スプレッドシートのタブ「ツール」→「スクリプトエディタ」を選択

Apps Script が新規ウィンドウで開かれるので、コード.gs のところに下記の内容を入力する(あらかじめ、2, 3行入力されている場合は、それは削除)。

/**
 * 価格コムのページを表示した時点での最安値を取得する
 * config_(*) の値がエラーケースは含めていないので、必ず有効な値をセットする
 */
function setPrice() {
  const config_sheetname = '価格表',
        config_url_cell = 2,
        config_price_cell = 3,
        config_date_cell = 4;

  const spreadsheet = SpreadsheetApp.getActiveSpreadsheet(),    // 現在のスプレッドシートを取得する
        sheet = spreadsheet.getSheetByName(config_sheetname),   // シートを取得する
        last_row = sheet.getDataRange().getLastRow(),   // 最終行を取得する
        today = new Date();    // 現在の日時情報を取得する

  let year = today.getFullYear(),
      month = today.getMonth() + 1,
      day = today.getDate(),
      hour = today.getHours(),
      minute = today.getMinutes(),
      now_date = '';
  
  /**
   * 1桁の場合は、0をつける
   * 
   * @param {number} num*: 0-59
   * @return {string|number}
   */
  getNumberText = function (num) {
    return (num < 10)? '0' + num: num;
  }

  /**
   * 価格コムのページソースの文字列から最安値価格を抽出する 
   * 
   * @param {string} htmltext*
   * @return {string} 
   */
  getPriceContent = function (htmltext) {
    let price = '';

    // 最安値を表示しているhtmlソースが、&yen;12,345 となっていたので、
    // この部分をピックアップするようにする。&yen; を含めることで、販売前や販売終了している場合にもケアする。
    if (htmltext.match('<span class="priceTxt">&yen;')) {
      price = htmltext.split('<span class="priceTxt">&yen;')[1];
      price = price.split('</span>')[0];
    }
    return price;
  }  

  // 現在時刻をセットする
  now_date = year + '-' + getNumberText(month) + '-' + getNumberText(day) + ' ' + 
             getNumberText(hour) + ':' + getNumberText(minute);  

  // 2行目から最終行までループする
  for (var i = 2; i <= last_row; i++) {
    const url = sheet.getRange(i, config_url_cell).getValue(),    // セルの値を取得する
          response = UrlFetchApp.fetch(url),    // URLページを取得
          htmltext = response.getContentText('shift_jis'),    // テキストで取得する
          price = getPriceContent(htmltext);    // 価格を取得する
  
    // 価格を取得した場合はセルを上書きする
    if (price != '') {
      sheet.getRange(i, config_price_cell).setValue(price);   // 価格を上書きする
      sheet.getRange(i, config_date_cell).setValue(now_date);    // 取得日時を上書きする
    }
  }
}

2.「保存アイコン」をクリックする

コード入力した上のところに、「実行」ボタンがあるが、その左に保存アイコンがある。マウスオーバーすると「プロジェクトを保存」と表示されるので、そのアイコンをクリックして保存する。

3.「実行」をクリックする

「実行」をクリックすると、実際に処理が始まる。

注意:はじめて「実行」した場合、「承認が必要です」というダイアログ画面が表示されます。そのときは後述の「補足:「承認が必要です」というダイアログ画面が表示された場合」で回避します。

処理が終わるとスプレッドシートの「最安価格」と「取得日時」が更新されているのを確認できる。

これだけ。以上。

補足:「承認が必要です」というダイアログ画面が表示された場合

「承認が必要です」というダイアログ画面が表示されるのでアクセスのリクエストを許可する必要がある。

毎日、決めた時間に自動で更新する

1. トリガーを追加する

左側のメニューの時計アイコン「トリガー」をクリックして、トリガー画面を表示させ、画面右下の「トリガーを追加」ボタンをクリックする

2. 設定項目を入力して保存する

実行する関数を選択「setPrice」、実行するデプロイを選択「Head」、イベントのソースを選択「時間手動型」を選択する。
毎日更新とする場合は、時間ベースのトリガーのタイプを選択「日付ベースのタイマー」を選択して、時刻を選択する。

設定が終わったら、画面右下の「保存」ボタンをクリックする

以上。

これで、毎日決められた時間に、商品ごとの最安値を価格コムから参照して、スプレッドシートが更新されるようになった。超絶簡単である。

最近の記事

文章のユーザビリティ

この書籍の中で、ライティングのユーザビリティについて触れている項目があり、激しく共感する部分だったので、ここで備忘録としてピックアップする。 ・・・

ライティング

インタフェースデザイン

この書籍は、I部 リサーチ、II部 デザイン、III部 インプリメンテーションと三部構成になっている。この記事では、その中から、I部 リサーチ、・・・

デザイン思考

フルHD映像を4Kにする → スーパースケール

これを知ったときはマジか!と飛び跳ねた。あらためて思い返してみると、確かに公式チュートリアルでも触れていたことをうっすら思い出す。そしてそのときとやり方がなん・・・

DaVinci Resolve

Macで編集時と書き出し後で色味が変わってしまう場合に試してみたいこと

試したことはまだないけど、Macで編集時と書き出し後で色味が変わって困ったときのために備忘録。 プロジェクト設定 > 「カラーマネジメント・・・

DaVinci Resolve

プロジェクト設定と環境設定

プロジェクト設定と環境設定について詳しく解説されている情報がなかなか見つからないので、要所要所で知り得た情報を更新していきます。 プロジェクト設定 ・・・

DaVinci Resolve

項目”Clipy”は開いているため、ゴミ箱に入れることができません。←アンインストールしようとしたときの話し

Clipyが超絶便利そうだったので、macOS Big Sur にインストール&再起動して使ってみた。ところが、command + c を複数の箇所で行い、c・・・

徒然なままに

setTimeout は requestAnimationFrame に変えるべき?

requestAnimationFrame をはじめて見たので調べていたら、setTimeout や setInterval は requestAnimati・・・

JavaScript

書籍「小さなチーム、大きな仕事」からピックアップ

6年ぶりに読み返したが、今なおハッとさせられることが多く見つかる。 この本で忘れないようにしたい項目をピックアップするだけでも役に立ちそ・・・

起業向け情報

書籍「完全網羅 起業成功マニュアル」からピックアップ

この記事では、以前に読んだ際に付箋を付けていたが、その部分だけを備忘録としてピックアップするため、本の要約ではない。実際は、何倍も濃い内容で、練・・・

起業向け情報

書籍「はじめの一歩を踏み出そう」から気になったフレーズをピックアップ

もう一回、全部読み返したいところだが、書籍がありすぎるので、当時付箋紙をつけていたところだけをピックアップ。書籍内ではより具体的な説明があるので・・・

起業向け情報

人気の記事

リスト「画像」とナビゲーション「横」編

xhtmlソース <div> <ul><!-- --><li><img alt="navi1" /&gt・・・

CSS2007年1月6日

【サイト】mov, mp4, webm, f4v など動画を違う拡張子に変換する無料サービス

Webサイトに動画を利用する際には、2017年8月時点では、webmとmp4とどちらにも対応していない場合の静止画像を用意して置くことにしている。 動画を違う拡・・・

お役立ちツール2017年8月23日

ブラウザによるwidthプロパティの解釈の違い

正しいCSSを記述しているにもかかわらず、表示が崩れることがある。ブラウザによる解釈の違い(バグ)が原因であるが、IE5や古いブラウザにバグが見られる。・・・

CSS2007年1月1日

外付けハードディスクを起動ディスクにする

iBook G4(OS10.3.x)がある。Safariのバージョンは、1.xだ。2は10.4にしないと使えない。もっと詳しく言えば、10.4.10以下でないと・・・

お仕事・制作日記2008年9月8日

画面が縦向きか横向きかを知る

ブラウザ、モバイルファースト、メディアクエリー、マルチ画面、タブレット・・・ 想定すべき画面サイズ、利用シーンに適した情報のコントロールが崩壊しつつある。 とい・・・

JavaScript2012年11月12日

透明GIF画像の書き出し方法

たとえば、白文字が混じった画像を透明GIFにする場合、背景だけでなく白文字までが透明化されてしまう。 ずっと悩んでいたがようやく解決できたので覚え書き。 形・・・

Fireworks2008年7月11日

jQuery Mobileを使った最小ソース

jQurey Mobile。まもなくβ版がリリースされるそうですが、現状のα版3を見てみました。 最低限必要なソースまで削り落として、ちょっとjQuery Mo・・・

JavaScript2011年2月23日

ファイル名を拡張子なしで取得するサンプル

変数bnにphpファイルのファイル名を拡張子なしで取得するサンプル $bn = basename($_SERVER['PHP_SELF'], ".php");・・・

php2011年10月27日

Sassファイルを保存するとcssファイルが自動作成されて困る→サイト管理

sassファイルを保存すると、cssファイルが自動生成されるという症状でしばらくの間、ストレスだったがようやく解決。 例えば、var.scssを修正して保存す・・・

Dreamweaver2018年9月27日

文字コード変換

記述方法は間違いないのに、文字化けしてしまう。 xhtmlはutf-8で宣言していたのだが、Javascriptで記述された日本語がブラウザで確認すると文字化け・・・

Dreamweaver2007年12月9日

コメントありの記事

インタフェースデザイン

「test」

デザイン思考

Instagram API を使ってインスタに投稿した画像データを取得する

「>ころころさん コメントありがとうございます! 確かに、APIドキュメント見ましたが、ライブに関する情報は今のところ取得できないようですね。 インスタライ・・・」

API

Sony Eマウント フルサイズ対応のカメラレンズを収集するページを作ってみた

「SIGMAから超軽量で明るい単焦点レンズが2本発売になりましたので、リストにレンズ情報追加しました!」

お仕事・制作日記

overflowをautoにした要素のスクロール位置を変更する → scrollTop scrollLeft

「>名無しさん ご指摘、ありがとうございます! 記事冒頭の「まずはサンプル」のサンプルが動いていませんでしたので修正しました。」

JavaScript

えっ!?Yahooの検索結果から遷移しようとしたら全く違うサイトにリダイレクトされてしまった...

「>前田さん コメントありがとうございます。 環境は分かりかねますが、修正したいファイルのパーミッションを604や644に変更すると書き込みできるようになります(・・・」

お仕事・制作日記

記事の投稿IDなどの投稿者(ユーザー)情報を取得する方法 → get_the_author_meta

「アバターを取得する「get_avatar」についても追記しました!」

WordPress

jQueryでformを操る【nameの値を取得する/クリアする】

「「値をクリアする」を追加しました。チェックボックスやラジオボタンの値を何も選択していない状態に戻すときについて触れています。」

JavaScript

iframeの高さを自動調整する

「>匿名さん コメントありがとうございます。 サンプルでは、beforeは何も処理していないので期待する表示にならない、で正解です。 クリックした後が、対応・・・」

JavaScript

MAMPでMySQL Serverが突然起動しなくなった時 → ログファイル削除

「(匿名)さん コメントありがとうございます。何も設定変更していないのに、それまで使用できていたサーバーが突然使えなくなるのは辛いですよね、、。 ここで紹介したや・・・」

MAMP

イラストレーターでレイヤーごとにPNGで書き出す

「コメントありがとうございます! そもそもできるかはわかりませんが、ソースを書き換える必要はあります。 下記記事などが参考になるかもしれません。 illustra・・・」

Illustorator

WEB制作アプリケーションGoogle Apps Script商品ごとの最安値を価格コムから参照して、スプレッドシートに記入。毎日、自動更新で。 | シンプルシンプルデザイン