Home » 開発者ブログ » ドロップシッピングサイトにログインしてwgetでCSV取得

ドロップシッピングサイトにログインしてwgetでCSV取得

写真はホタテ貝らしいです。シェルだけに。

ドロップシッピングなどでどうしても毎日自動的にログインが必要なサイトから
データを取得したい事があると思います。
その際は、wgetでログイン情報をpostし、coockieを保存してからCSVのダウンロード処理を
行えば良いです。
重要なのはwebからアクセス出来るディレクトリにこのスクリプトを設置しない事です。

#!/bin/sh

DSID='ユーザID'
DSPASSWORD='パスワード'

files="/var/tmp/保存先/"

#ログインし、Cookie保存しつつtest.csvダウンロード
wget \
 -O /dev/null \
 --keep-session-cookies \
 --save-cookies=${files}cookies.txt \
 --post-data="email=${DSID}&passwd=${DSPASSWORD}&cmd=login" \
 http://www.XXXXXXXX.com/member_login

wget \
 --load-cookies=${files}cookies.txt \
 -O ${files}csv/test.csv \
 --post-data='cmd=CSV' \
 http://www.XXXXXX.com/csv_download

cd $files

# select.csvが存在したら編集処理開始
if [ -f $files'csv/test.csv' ]; then

# utf-8に変換したり、perlやsedで処理するなりの処理を書く
nkf -w ${files}csv/test.csv > ${files}csv/test.csv.utf8

fi

Windowsで出来ませんか?と言われると、wshで出来るのかな?
さくらのレンタルサーバなどはcronが動くので動くのか…wgetがあるのかよくわかりません。
ごめんなさい。