【ヤフオクユーザー必見】GASを利用したスクレイピング術

//以下をコピペしてつかえます

function Get_yahuoku_Data(){
  let sheetname = 'シート1'; 
  //スプレッドシートのシート名を取得
  let sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName(sheetname); 
  //スプレッドシートの設定
  let lastrow = sheet.getLastRow(); 
  //最終行の取得
  sheet.getRange(6,1, lastrow, 9).clearContent(); 
  //6行目以下のデータを削除
  let product_list = []; 
  //product_listという配列を作成
 
  //セルB1の検索キーワードを取得
  let keyword1 = sheet.getRange('B1').getValue();
  let keyword2 = sheet.getRange('B2').getValue();
  let url = 'https://auctions.yahoo.co.jp/search/search?p=' + keyword1 + keyword2 + '&n=100';	
  //YahooオークションのURLを取得(1~100件の商品情報を取得)
  let html = UrlFetchApp.fetch(url).getContentText(); 
  //urlで指定したウェブサイト情報を取得
 
  let items = Parser.data(html)
    .from('<div class="Tab__itemInner">')
    .to('</div>')
    .iterate();  //検索結果の件数を取得
  let item = trimming(items[0]).replace('すべて','').replace('件','');  
  //検索結果の件数の「すべて」と「件」を削除
  let counter = Math.floor(item/100); 
  //検索結果の件数を100で割ったあまりを切り捨てた値を取得
  product_list = Pagecrawling(html, product_list, 0); 
  //プログラムを呼び出す（「html, product_list, 0」の3つを引数とする）
 
  //k=1,2,・・・,counterで繰り返す
    for(let k=1; k <= counter; k++){
	  let pageurl = 'https://auctions.yahoo.co.jp/search/search?p=' + keyword1 + keyword2 + '&b=' + k + '01&n=100';  //pageurlのウェブページを取得(k＝1で101~200件の商品情報、k＝2で201~300件の商品情報を取得)
	  html = UrlFetchApp.fetch(pageurl).getContentText();  //URLのウェブサイト情報を取得
	  product_list = Pagecrawling(html, product_list,k);  //プログラムを呼び出す（「html, product_list, k」の3つを引数とする）
  }
  sheet.getRange(6,1, product_list.length, product_list[0].length).setValues(product_list);  //product_listに格納された配列の値を6行目以下に貼り付け
  let report1 = '商品件数：' + item ;  //「商品件数」と「item」を文字列で結合
  let report2 = '検索日時：' + Utilities.formatDate(new Date(), 'Asia/Tokyo', 'yyyy/MM/dd hh:mm:ss');   //「検索日時」と「今の日時」を文字列で結合

  sheet.getRange('C1').setValue(report1);  //セルC1にrepot1を貼り付け
  sheet.getRange('C2').setValue(report2);  //セルB4にrepot2を貼り付け
}

//プログラム「Pagecrawling」(「html, product_list, k」の3つの引数を受け取る)
function Pagecrawling(html, product_list, k){
      let list_no = k * 100 + 1  ;   //kに100を掛ける（list_noは商品No取得時に使用）
      let products = Parser.data(html)
        .from('<li class="Product">')
        .to('</li>')
        .iterate();  //Yahooオークションサイトのhtml情報から「商品ごとの情報を取得」
 
      //i=0,1,・・・,「products.length」で繰り返す（Yahooオークションの各商品情報を解析）
      for(let i=0; i<products.length; i++){
 
	        let titles = Parser.data(products[i])
            .from('<h3 class="Product__title">')
            .to('</h3>')
	          .iterate();  //各商品の件名情報を取得
	        let title = trimming(titles[0]);  //プログラムを呼び出す（titles[0]が引数）→各商品の件名情報から余計な記述を削除

	        let urls = Parser.data(products[i])
            .from(' href="')
            .to('"')
	          .iterate();  //各商品の商品URLを取得
          let url = trimming(urls[0]);  //各商品のURLから余計な記述を削除
	
          let prices = Parser.data(products[i])
            .from('<div class="Product__priceInfo">')
            .to('</div>')
            .iterate();
          let price = trimming(prices[0]);  //各商品の価格情報のうち、余計な記述を削除
          let myprice = price.split('円');  //価格情報を「円」で区切り、配列化する

	        let fixedprice =  '-';  //fixedprice(即決価格)の変数を設定し、「-」を格納
	        let currentprice = '-';  //currentprice(現在の価格)の変数を設定し、「-」を格納
          let postage = '-';  //postage(送料)の変数を設定し、「-」を格納
	
	        //j=0,1,・・・,「myprices.length-1」で繰り返す（各商品の価格情報を調査）
	        for(let j=0; j<myprice.length-1; j++){
  	
  	       
  	          if (myprice[j].indexOf('現在') !== -1) {    //「myprice[j]」に「現在」という文字列が含まれているならば
                currentprice = myprice[j].replace(/\D/g, '');  //currentpriceにmyprice[j]を格納
  	          }
              else if(myprice[j].indexOf('即決') !== -1){     //「myprice[j]」に「即決」という文字列が含まれているならば
    	          fixedprice = myprice[j].replace(/\D/g, '');;  //fixedpriceにmyprice[j]を格納
  	          } 
              else if(myprice[j].indexOf('送料') !== -1){  //「myprice[j]」に「送料」という文字列が含まれているならば
                postage = myprice[j].replace(/\D/g, '');  //postageにmyprice[j]を格納
              }

              else {
                //文字列が見つからなかった場合の処理
                fixedprice = '-';
                currentprice = '-';
                postage = '-';
	            }
          }
	
	        let labels = Parser.data(products[i])
            .from('<div class="Product__bidWrap">')
            .to('</div>')
	          .iterate();  //各商品の入札情報を取得
	        let label = trimming(labels[0]);  //各商品の入札情報から余計な記述を削除
  
	        let times = Parser.data(products[i])
            .from('<div class="Product__timeWrap">')
            .to("</div>")
            .iterate();  //各商品の残り時間を取得
	        let time = trimming(times[0]);  //各商品の残り時間情報から余計な記述を削除

	        let grades = Parser.data(products[i])
            .from('<div class="Product__icons">')
            .to('</div>')
            .iterate();   //各商品のグレードを取得（未使用品かどうか）
	        let grade = trimming(grades[0]);  //各商品のグレード情報から余計な記述を削除

	        product_list.push([list_no+i,title,url, currentprice,fixedprice,postage,label,time,grade]);//product_listの配列末尾に、取得した各データを格納
      }
 
      //product_listの情報をコードAに返す
      return product_list
    }
 
//プログラム「trimming」(「target」の1つの引数を受け取る)
function trimming(target){
  let seikei1 = target.replace(/<("[^"]*"|'[^']*'|[^'">])*>/g, '');  //引数として受け取ったtarget情報からタグ情報を削除
  let seikei2 = seikei1.replace(/\s+/g,'');  //seikei1の情報から余白を削除
  return seikei2;  //seikei2の情報をコードBに返す
}