プログラムによるWebページの自動操作方法

本サイトでは、プログラムやツールによってWebブラウジングする方法や、 Webページから情報を抽出（スクレイピング）する方法について解説しています。

具体的には、

• プログラムでWebブラウザを操作する方法
• ブラウザを組み込んだアプリケーションを作成する方法
• Webスクレイピング（Webページから必要な情報を解析して抜き出す）する方法
• Webサービス（Google Apps Script等）を使ってWebアクセス／スクレイピングする方法

プログラムによりWebページを自動操作する方法として、大きく以下の４つの方法があります。

• ブラウザを操作するアプリケーションの開発
• ブラウザ機能を組み込んだアプリケーションの開発
• ブラウザを操作できるアプリケーションを利用する
• Webアクセスを行えるWebアプリケーションを利用する

ブラウザを操作するアプリケーションの開発

プログラムによって特定のブラウザを自動で操作することができます。 ExcelやC#／VBであれば簡単にInternetExplorerを操作できますし、
Webブラウザを操作するライブラリのSeleniumを使えば、色々なプログラム言語で様々なブラウザを操作する事ができます。

• InternetExplorerを操作する
• ブラウザを操作するライブラリを使う

ブラウザ機能を組み込んだアプリケーションの開発

ExcelVBAやC#／VBにはWeb機能をもったコントロールがありますので、アプリに組み込めばWebの操作が行えます。
また、ElectronやTauri等のブラウザ操作専用のツールを使う事でもアプリを作成できます。

　Windows用アプリ開発

• WebBrowserコントロールを使う
• WebView2コントロールを使う
• BlazorWebViewコントロール(WinForm/WPF)を使う

• Electronでブラウザ機能を組み込んだアプリ作成
• Tauriでブラウザ機能を組み込んだアプリ作成
• NW.jsでブラウザ機能を組み込んだアプリ作成
• WebViewコントロール(.NET MAUI)を使う
• BlazorWebViewコントロール(.NET MAUI)を使う

• WebViewコントロール(.NET MAUI)を使う
• BlazorWebViewコントロール(.NET MAUI)を使う

ブラウザを操作できるアプリケーションを利用する

ブラウザを操作できるアプリケーションを使って、自由にブラウジングを行うことができます。
プログラムの知識が必要なアプリケーションもありますが、知識がなくても操作できるものもあります。

• ブラウザのブックマークレット機能を使う
• Chrome拡張機能を使う
• Chrome DevTools (Recorder)を使う
• Power Automate for desktopを使う
• Automatorを使う
• puppeteerを使う
• Playwrightを使う

Webアクセスを行えるWebアプリケーションを利用する

Googleが提供しているGoogleAppScriptでは、Webのアクセスを行うプログラムが行えます。

• Google App Scriptを使う

Microsoftの開発環境であるVisualStudio（C#／VB.NET）や、ExcelのVBAにより、 InternetExplorerを操作するプログラムが作成できます。
プログラムにより、InternetExplorerの起動、ページの表示、文字入力やクリックする、などの操作が行えます。

VisualStudio（VB.NET／C#）でInternetExplorerを操作する方法はこちらをご覧ください。
VisualStudioでInternetExplorerを操作する方法

Excel（VBA）でInternetExplorerを操作する方法はこちらをご覧ください。
Excel VBAでInternetExplorerを操作する方法

Webブラウザを操作するライブラリのSeleniumを使うことで、各種ブラウザを操作するプログラムが作成できます。
動作するOSは、Windows、Linux、Mac。
開発言語はC＃、Java、Excel VBA、PHP、Python、Ruby、Scala、等が使えます。

使用する方法はこちらをご覧ください。
Seleniumによるブラウザーの自動操作

VisualStudioやExcelVBAに用意されている「WebBrowserコントロール」を使うことで、
Webブラウザの機能をもったWindowsアプリケーションを作成できます。
アプリケーション内にブラウザ機能を組み込み、サイト表示や文字入力やクリックなどのWeb操作が行えます。
開発言語はC#またはVB.NET。Excelの場合はVBAです。
※VisualStudioでは「WebBrowserコントロール」よりも新しい「WebView2コントロール」が使われています

VisualStudio（VB.NET／C#）でWebBrowserコントロールを使用する方法はこちらをご覧ください。
VisualStudioでWebBrowserコントロールを使用する方法について

Excel（VBA）でWebBrowserコントロールを使用する方法はこちらをご覧ください。
Excel VBAでWebBrowserコントロールを使用する方法について

VisualStudioに用意されている「WebView2コントロール」を使うことで、
Webブラウザの機能をもったWindowsアプリケーションを作成できます。
アプリケーション内にブラウザ機能を組み込み、サイト表示や文字入力やクリックなどのWeb操作が行えます。
開発言語はC#またはVB.NETです。

開発環境を整えるために必要な手順はこちらを参照ください。
WebView2コントロールの準備

基本的な使い方についてはこちらを参照ください。
WebView2コントロールでの操作
WebView2コントロールとWebページ(JavaScript)の連携

VisualStudioとBlazorフレームワークに用意されている「WebViewコントロール」を使うことで、
Webブラウザの機能をもったWindowsアプリケーションを作成できます。
アプリケーション内にブラウザ機能を組み込み、サイト表示や文字入力やクリックなどのWeb操作が行えます。
開発言語はC#、JavaScript、CSSです。

Electron（エレクトロン）は、Webブラウザを組み込んだデスクトップアプリケーションを作成するフレームワークです。
１つのコードでWindows、macOS、Linuxで動作するクロスプラットフォームアプリを作成できます。
開発にはNode.jsが必要で、開発言語はHTML、CSS、JavaScriptです。

Visual Studio Code、Slack、Twich、Microsoft TeamsなどElectronで開発されています。

Electron

Tauriは、Webブラウザを組み込んだデスクトップアプリケーションを作成するフレームワークです。
１つのコードでWindows、macOS、Linuxで動作するクロスプラットフォームアプリを作成できます。
開発にはNode.jsが必要で、開発言語はRust、HTML、CSS、JavaScriptです。
Electronと比較するとファイルサイズやメモリ容量が小さい点が特徴です。

Tauri

NW.jsは、Webブラウザを組み込んだデスクトップアプリケーションを作成するフレームワークです。
１つのコードでWindows、macOS、Linuxで動作するクロスプラットフォームアプリを作成できます。
開発にはNode.jsが必要で、開発言語はHTML、CSS、JavaScriptです。

NW.js

.NET Multi-platform App UI (.NET MAUI)は、 単一のソースコードでデスクトップアプリとネイティブのモバイルアプリが開発できる.NETのフレームワークです。
「WebViewコントロール」を使うことでWebブラウザの機能をもったアプリケーションが作成できます。
開発環境はVisualStudio2022で、開発言語はC#、Xaml、html、css、JavaScriptです。
開発したアプリはWindows、macOS、Linux(開発中)、iOS、Androidで動作します。

開発や使い方についてはこちらを参照ください。
WebViewコントロール(MAUI)を使う

MAUIで使用できる「BlazorWebViewコントロール」を使うことでWebブラウザの機能をもったアプリケーションが作成できます。
開発環境はVisualStudio2022で、開発言語はC#、Xaml、html、css、JavaScriptです。
開発したアプリはWindows、macOS、Linux(開発中)、iOS、Androidで動作します。

Blazor Hybrid

GoogleのWebサービスである「Googleスプレッドシート」と、 Webアクセスを行える「Google Apps Script」を使って、Webスクレイピングを行えます。

開発言語はJavaScriptです。
ブラウザを使ってコーディングから実行まで行えるので、環境構築作業が不要です。

Webページを表示したり直接操作することはできませんが、GET等のリクエスト送信とレスポンス取得が行えますので、 ページの情報を取得して加工するアプリが作成できます。
例えば、WebAPI(Json)が公開されているサイトからデータを取得し、スレッドシートに張り付ける、等。

使用する方法はこちらをご覧ください。
Google Apps Script (GAS)について

Webブラウザのブックマークレット機能を使うことで、表示しているページに対してJavaScriptを実行できます。
例えば、ページの見た目を変えたり、選択したテキストを検索したり、が行えます。
ブラウザの標準機能なので、パソコンだけでなくiPhoneやAndroidのブラウザでも実行可能です。

Chromeを使っている人は、Chromeウェブストアから便利な拡張機能をインストールして使っていると思いますが、
この拡張機能は自作することもできます。
自分がブラウザ操作を行わせたい内容で拡張機能を作りましょう。

「Power Automate for desktop」はMicrosoftのRPAソリューションで、パソコンの操作を自動化できるアプリケーションです。
ExcelやOutlookなどのWindowsアプリの操作や、Edge/Chromeなどのブラウザの操作が行えます。

「Power Automate for desktop」の自動操作の作成は、
アプリ内で「XXのサイトを開く」「XXボタンをクリックする」のような部品を配置していけば実現できますので、
プログラムの知識がない人でも簡単に扱うことができます。
Windows10以降が対応しており、基本的な機能は無償で使えます。

「Playwright」は、Chromium／Firefox／Webkitのブラウザ操作を自動化するNode.jsのライブラリです。
クロスプラットフォーム対応で、Windows／macOS／Linuxで動作します。
Node.jsなので開発言語はJavaScript/TypeScriptですが、Python、Java、C＃でも開発することができます。

ソフトウェア開発の現場でも自動テスト用のツールとしても使われています。

同様のライブラリとして「Selenium」や「Puppetter」がありますが、「Selenium」のような癖がなくて使いやすく、
「Puppetter」より対応ブラウザが多いという利点があります。

ブラウザを操作するアプリケーションの開発

ブラウザ機能を組み込んだアプリケーションの開発

ブラウザを操作できるアプリケーション

Webアクセスを行えるWebアプリケーション