IPアドレスを複数用意する方法
IPアドレスを複数用意する方法
自動巡回&データ取得するツールを作って巡回させていると、
サイトによっては同一IPアドレスからの多数のアクセスを制限している場合があります。
リクエストエラーになったり、Google検索においては画像認証ページが表示されて検索結果を取得できません。
プロキシサーバを経由すれば別のIPアドレスを使うことはできますが、
公開されているものはサイトに拒否されたり使えない場合が多い状況です。
画像認証においても現状は自動回避は技術的に困難です。
個人でのデータ収集であればアクセス頻度が低いので多少エラーになっても良いと思いますが、
ビジネス目的で大量にデータ収集が必要な場合に、
力技でIPアドレスを大量に用意する&費用をできるだけかからなくする方法について検証します。
・格安Sim/モバイルWifiを使う
・フレッツ光のPPPoEを使う
・レンタルサーバーを使う
格安Sim/モバイルWifiを使う
SIMやモバイルWifiでの通信は個別にIPアドレスが割り当てられますので、
複数契約すればIPアドレスもその数だけ使うことができます。
最近はデータ通信専用の格安SIMがいくつかありますので(安いものだと1GBあたり500円~)、
複数契約しても費用はだいぶ抑えられます。
あと、自動ツールを動作させるためのパソコンを、SIMと同数用意しないといけません。
これも最近は安価な小型PCがありますので、これを使用します。
格安SIMだと通信量に制限がある場合がありますので、
自動ツールでの通信量が多い場合は、
通信量が大きいSIMの契約をするか、モバイルWifiを使うのが良いかと思います。
格安SIM/モバイルWifi
自動ツールで必要とする通信量と予算をもとに、どの会社のプランが適切かを検討します。
判断基準として値段とデータ通信量を参考にします。
格安SIM/モバイルWifiは以下の種類があります。
データ専用SIM/モバイルWifiの種類
パソコンの用意
自動ツールで必要とするスペックや予算をもとに、
値段、スペック、サイズ、電気使用量を判断してどれにするか決めます。
スペックは低いですが安価なPCはいくつかありますので、自動ツールの処理が軽いなら低スペックを選択します。
稼働する台数が多いなら設置スペース的に小型のパソコンを選択します。
小型パソコンの種類
パソコンとSIMの接続
モバイルWifiに接続する場合、デスクトップPCなどWifiがついていないパソコンであれば、Wifiの子機を接続しましょう。
Wifiの子機
SIMと接続する場合、SIMをスマートフォンに挿してテザリングするか、USBドングルを用意して直接パソコンで接続します。
スマートフォンを使用するのであれば、中古でも良いので値段は安いのにしましょう。ただしSIMの形状には気をつけましょう。
テザリングができるスマートフォン
USBドングルの種類
Webサイト表示のデータ通信量を少なくする
自動ツールでのWebサイトの表示時は画像や動画は見る必要がありません。
ブラウザを操作するタイプの自動ツールであれば、
ブラウザの設定で動画や画像は表示しないようにしてデータ通信量を減らしましょう。
ブラウザで画像・動画を表示しない設定
レンタルサーバーを使う
通信回線やPCを大量に用意するのが難しい場合、
レンタルサーバーのサービスを利用するのもありです。
レンタルサーバの種類
フレッツ光のPPPoEを使う
フレッツ光のPPPoE接続は、プロバイダ接続を複数選ぶことができます。
それぞれでIPアドレスが異なります。
自動巡回するごとにプロバイダを切り替えれば別のIPアドレスでのアクセスになります。
プロバイダのID・パスワードをルータに登録し、プログラムでコマンドを発行すれば、
自動でIPアドレスを切り替えることになります。
遠隔地に自動巡回システムを設置する場合のリモート制御
IPアドレスの所在地を分散させるために各地方に通信場所を分散させるなら、
賃貸アパートを借りて設置したり、友人の家に設置してもらったりするかもしれません。
うまく動作しなくなったりした場合、パソコンの様子を見るのに遠隔地にいくのは労力がかかりますので、
リモートで接続できるアプリを導入しましょう。
リモート接続アプリ
また、リモート接続すら繋がらなくなった場合は、リモートで電源を制御できる装置があります。
どうにもならないときは電源ごとON/OFFする手段が使えます。
リモートで電源を制御する装置