プログラムによるWebブラウジングの方法

本サイトでは、プログラムによってネットサーフィン（Webブラウジング）したり、 Webページから必要な情報を抽出したりする方法について解説しています。

具体的には、

• プログラムでWebブラウザを操作する方法
• Web画面を備えたアプリケーションを作成する方法
• Webスクレイピング（Webページから必要な情報を解析して抜き出す）する方法
• Webサービス（Google Apps Script等）を使った、Webアクセス／スクレイピングする方法

Web操作を行うアプリケーションの作成には、以下の開発環境やプログラミング言語を使用します。

Visual Studio

Excel VBA

プログラムによりWebブラウジングする方法として、InternetExplorerを操作する方法や、 各開発言語に用意されているWebコントロールを使用する方法があります。

Microsoftの開発環境であるVisualStudio（C#／VB.NET）やExcel_VBAにより、 InternetExplorerを操作するプログラムが作成できます。
プログラムによって、InternetExplorerの起動、ページの表示し、文字入力やクリックする、などの操作が行えます。

VisualStudio（VB.NET／C#）でInternetExplorerを操作する方法はこちらをご覧ください。
VisualStudioでInternetExplorerを操作する方法

Excel（VBA）でInternetExplorerを操作する方法はこちらをご覧ください。
Excel VBAでInternetExplorerを操作する方法

VisualStudioやExcelVBAに用意されている「WebBrowserコントロール」を使うことで、
Webブラウザの機能をもったアプリケーションを開発する事ができます。
アプリケーションからはWebのコントロールに対して文字入力やクリックなどのWeb操作が行えます。

VisualStudio（VB.NET／C#）でWebBrowserコントロールを使用する方法はこちらをご覧ください。
VisualStudioでWebBrowserコントロールを使用する方法について

Excel（VBA）でWebBrowserコントロールを使用する方法はこちらをご覧ください。
Excel VBAでWebBrowserコントロールを使用する方法について

VisualStudioでWebを表示・操作するコントロールとしては、WebBrowserコントロールの他にWebView2コントロールがあります。
WebBrowserコントロールはInternetExplorerベースで動作しており挙動が怪しいので、 今後はWebView2コントロールを使うことをお勧めします。

WebView2は最新のEdgeブラウザ（Chromium）をベースにしているコントロールです。
動作は安定していますが、WebBrowserコントロールと違ってWebの操作が少し難しいです。

開発環境を整えるために必要な手順はこちらを参照ください。
WebView2コントロールの準備

基本的な使い方についてはこちらを参照ください。
WebView2コントロールでの操作
WebView2コントロールとWebページ(JavaScript)の連携

Webブラウザを操作するライブラリのSeleniumを使うことで、各種ブラウザを操作するプログラムが作成できます。
Seleniumフレームワークは、VB.NET／C#／Java等でブラウザ操作を行うプログラムが作成できます。

「Selenium」の準備

こちらを参照

GoogleのWebサービスである「Googleスプレッドシート」と、 JavaScriptによってGoogleのWebサービスを操作できる「Google Apps Script」を使って、 Webスクレイピングを行えます。

Webページに値を設定するような操作は行えませんが、 htmlやWebAPI(Json)を取得してスレッドシートに張り付けるようなアプリが作成できます。
ExcelVBAでWebスクレイピングを行うような感じで使えます。

使用する方法はこちらをご覧ください。
Google Apps Script (GAS)について