FlareSolverr：インストール、セットアップ、そして使用 [2024］

要するに、FlareSolverrはCloudflareの保護をバイパスするプロキシサーバーなのだ。 Cloudflareのボット対策と効率的なデータ検索の必要性の橋渡しの役割を果たす。 Python、Selenium、ChromeDriverのパワーを活用することで、FlareSolverrはCloudflareの課題を克服し、保護されたウェブコンテンツにシームレスにアクセスすることを可能にします。

このガイドでは、2024年のFlareSolverrの包括的な概要を説明する。Linux、Docker、Windowsへのインストールを詳しく見ていきます。また、変数の設定方法から、Plex、Prometheus、JackettやProwlarrのような他のアプリのための設定方法まで、設定についても説明します。 

免責事項： 本資料は、情報提供のみを目的として作成されたものです。いかなる活動（違法行為を含む）、製品、サービスを推奨するものではありません。当社のサービスを利用する場合、またはここに記載されている情報に依拠する場合は、知的財産権法を含む適用法を遵守する責任を負うものとします。当社は、法律で明示的に義務付けられている場合を除き、いかなる方法であれ、当社のサービスまたはここに含まれる情報の使用から生じる損害について一切の責任を負いません。

目次 

1. Flaresolverrの紹介
   • Flaresolverrとは？
   • FlareSolverrはどのように機能するのですか？
   • FlareSolverrを使用する利点と欠点
2. Flaresolverrのインストール。
   • LinuxへのFlaresolverrのインストール（ターミナル経由）
   • DockerにFlaresolverrをインストールする
   • WindowsへのFlareSolverrのインストール
3. Flaresolverrの設定
   • 環境変数の変更。
   • FlareSolverrをCloudflareに設定する。
   • Plex用FlareSolverrの設定。
   • Prometheus用FlareSolverrの設定
   • FlareSolverrを他のアプリに設定する。 
4. Flaresolverrの使用
   • Linuxの "curl "コマンドでFlareSolverrを使う。
   • PythonのRequestsライブラリでFlareSolverrを使う。 
5. まとめ 

1.Flaresolverrの紹介。

a.Flaresolverrとは何ですか、またCloudflareとの関係は？

Cloudflareは、基本的にウェブサイトのセキュリティ（DDoS攻撃の回避）、パフォーマンス、ユーザーデータの保護を維持するためのボット対策ツールを提供しています。

ボットに対処し、人間を特定するために、CloudFlareは数学的課題を伴うJavaScriptコードを含む障害を（ブラウザに）提示する。Cloudflareで保護されたウェブサイトへの従来のアクセスは、フィンガープリンティングの課題、CAPTCHA、その他の人間の相互作用を証明するテストなど、さまざまな障害を受ける必要がありました。このような障害は、基本的に悪意のあるボットの行動を阻止するために構築されています。 

フレアソルバー は、Cloudflareのボット対策がもたらすこれらの課題に対処（または回避）するために構築されたオープンソースのプロキシサーバーです。

注意： すべてのボットが悪意のある行動のために作られているわけではありません！ボットとは、単にタスクを実行する自動化されたプログラムのことです。スパム、ハッキング、詐欺など、悪意のある目的のために設計されたボットが存在するのは確かですが、合法的なユースケースのために設計されたボットも存在します。例えば、検索エンジンのクローラー、チャットボット、ソーシャルメディアボット、ウェブスクレイパー、監視・警告ボット、バーチャルアシスタンスなどです。 

b.FlareSolverrはどのように機能するのですか？

FlareSolverrは、Cloudflareのアンチボットプロトコルを回避するために設計されたプロキシサーバーとして動作します。 実際のブラウザの動作をシミュレートすることで、課題に取り組み、セキュリティチェックをナビゲートし、ウェブページのコンテンツをレンダリングすることができる。 

下の写真を参照。

• ユーザー（つまりPython HTTPクライアント）がリクエストを開始する。
• FlareSolverrは（アイドル状態で）ユーザーからのリクエストを待ち、その後 Python Selenium 、そして 未検出のクロムeDriverでウェブブラウザ（Chrome）のインスタンスを作成する。 
• そしてリクエストをサイト（CloudFlareによって保護されている）に転送する。Cloudflareのチャレンジが解決されるのを待つ。 
• ターゲットサイトは通常通りリクエストに応答する。そしてCloudflareもリクエストに応答する。なぜなら、その課題は問題なく解決されたからである。
• HTMLコードがスクレイピングされ、クッキーがユーザーに送り返される。
• 結果として得られるHTMLコードとクッキーは、Python Requestsのような他のHTTPクライアントで利用するために、クライアントがアクセスできる。

c.利点と欠点。

FlareSolverrは、Cloudflareのアンチボット機構をバイパスするための貴重なツールになります。CloudFlareで保護されたコンテンツにアクセスしたいユーザーは、FlareSolverrの恩恵を受けることができます。しかし、デメリットや使用上の注意点もあります。

利点がある。

• 自動バイパス処理： FlareSolverrの自動化されたアプローチにより、Cloudflareの課題を手動で解決する必要がなくなります。
• 効率的なスクレイピング： FlareSolverrを使えば、CloudflareのCDNでホストされているウェブサイトから効率的にデータをスクレイピングできます。
• アクセシビリティの向上： 本物のウェブブラウザになりすますことで、Cloudflareで保護されたコンテンツへのスムーズなアクセスを可能にします。
• シームレスな統合： フレアソルバーは Python Selenium 、そして 未検出のChromeDriver.この統合により、このソリューションを既存のスクレイピング・ワークフローに簡単に組み込むことができます。
• 汎用性がある： FlareSolverrのソリューションから取得したHTMLコードとクッキーは、Python Requestsのような他のHTTPクライアントで使用することができます。 

どのようにするか PythonとRequestsライブラリを使ったウェブスクレイプ を作成し、FlareSolverrをプロジェクトに組み込みます。 

デメリット

• 法的および倫理的懸念： FlareSolverrの最も重要な使用法は、その法的および倫理的な懸念である。ボット対策機構を回避することは、特定のウェブサイトやサービスの利用規約に違反する可能性があります。 
• ウェブサイトの安定性： 保護機能を回避するためにFlareSolverrや同様のツールを使用すると、ターゲットとなるウェブサイトのサーバーにさらなる負荷がかかる可能性がある。
• 資源消費： Cloudflareの課題を回避するには、追加のブラウザインスタンスを起動し、JavaScriptのパズルを解く必要がある。これらのタスクはどちらも、より多くの計算リソースを消費します。
• 第三者サービスへの依存： FlareSolverrはSelenium、ChromeDriver、その他のサードパーティツールに依存しています。そのため、これらのツールが更新されていなかったり、動作していなかったりすると、FlareSolverrも影響を受ける。 
• Captchaへの挑戦： FlareSolverrは、多くのアンチボット機構を扱うことができますが、CAPTCHAが提示される場合があります。CAPTCHAは、意図的に自動システムが解くのが難しいように設計されています。 更新しました！2023年8月現在、FlareSolverrのキャプチャ・ソルバーはどれも動作しません。 

2.Flaresolverrのインストール

このセクションでは、FlareSolverrを様々なオペレーティング・システムにインストールする方法をステップ・バイ・ステップで説明します。ここでは、FlareSolverrをLinux（ターミナルとヘッドレス・ブラウザ経由）、Docker、そして最後にWindowsにインストールします。 

免責事項： 本ガイドに記載されている情報は、一般的な目的のためにのみ提供されるものであり、正確性、完全性、最新性を保証するものではありません。また、本情報の利用により発生した損失や損害について、弊社は一切の責任を負いません。外部ウェブサイトへのリンクは、推奨を意味するものではなく、その内容に関して責任を負うものではありません。FlareSolverrの使用は法的な意味を持つ場合がありますので、関連する法律や使用条件を遵守してください。本ガイドは、専門家のアドバイスに代わるものではありません。このガイドを使用することにより、これらの条件に同意したものとみなされます。

a.LinuxへのFlareSolverrのインストール（ターミナル経由）

LinuxへのFlaresolverrのインストールは簡単です。このガイドでは、システム上でFlaresolverrを起動し、実行するための手順を説明します。ここでは、Ubuntu 22.04にFlareSolverrをインストールします。

前提条件

インストール作業を始める前に、PythonとPython Package Manager（pip）があることを確認してください。pipはFlaresolverrのインストールと依存関係の管理に必要です。

インストールの手順

以下の手順に従って、Flaresolverr（コンパイル済みバイナリ）をLinuxシステムにインストールしてください：

• Linuxマシンでターミナル・ウィンドウを起動する。 
• ディレクトリの作成 ここにFlareSolverrのダウンロードを保存します。 

例えば、こうだ：

• バイナリーをダウンロード wgetコマンドを使えば、Flaresolverrの公式URLから直接バイナリをダウンロードすることができる。 最新リリース リンクをコピー)

• アーカイブを取り出す： ダウンロードしたアーカイブの内容を展開するには、tarコマンドを使用します：

• 解凍したディレクトリに移動する。

• これで、./flaresolverrコマンドを使ってFlareSolverrを実行できる：

おめでとう！ 上記のようなメッセージが表示された場合、FlareSolverrが稼働していることを意味します。この出力は、ウェブブラウザのインストールテストが成功し、FlareSolverrサービスがhttp://0.0.0.0:8191。

FlareSolverrにアクセスする！

FlareSolverrがLinuxマシンのバックグラウンドで実行されているはずです。 アドレス0.0.0.0は、Flaresolverrがホストマシンの利用可能なすべてのネットワークインターフェイスにバインドされていることを示します。つまり、同じネットワーク上のどのデバイスからでも、マシンのIPアドレスまたはホスト名を使用してFlaresolverrにアクセスできることを意味します。

トラブルシューティング 

仮想マシン（GUIなし）からFlareSolverrを実行しているため、次のようなエラーが発生しました。

1. "以下のエラーが表示されている場合："error while loading shared libraries: libatk-1.0.so.0: cannot open shared object file：No such file or directory" -- ERROR Chrome / Chromium version not detected!" ChromeまたはChromiumブラウザに必要な依存関係をインストールする必要があります。 

以下のコマンドを実行する：

2. エラーが表示されたら「OSError：Xvfbが見つかりません。Please install it and try again. "というエラーが表示された場合、Flaresolverrの機能のためにWebブラウザを起動するために必要なXvfbが見つからないことを意味します。Xvfbは、アプリケーションが物理的なディスプレイなしでグラフィカル・インターフェースを実行できるようにする仮想フレームバッファXサーバーです。Xvfbは、ヘッドレス・ブラウザの表示環境をシミュレートするために使用されます。物理的なディスプレイがない場合でも、ヘッドレスブラウザが正しく動作するために必要です。

以下のコマンドでXvfbをインストールする： 

また、ヘッドレス・ブラウザを使っている場合は、後でFlareSolverrの環境変数で定義する必要があります。これについては、次のセクションで詳しく説明します。

b.DockerへのFlaresolverrのインストール

以下は、FlareSolverrをDockerにインストールするためのステップバイステップのガイドです。すでにDockerがインストールされていることを前提としています。

ここでは、Ubuntu 22.04 Jammy上で動作するDockerバージョン24.0.5を使用して、ステップバイステップのガイドを示します。Dockerのインストール方法の詳細については、以下の公式サイトを参照してください。 ガイド. 

• FlareSolverrのDockerイメージは、次の場所で見つかります。 ドッカーハブ. このイメージは、x86を含むさまざまなアーキテクチャでサポートされている： リナックス/386, x86-64: linux/amd64ARM32： linux/arm/v7そしてARM64である： linux/arm64.
• FlareSolverr コンテナを起動する。 Docker ComposeまたはDocker CLIのいずれかを使用します。FlareSolverrはdocker-compose.yml設定ファイルを提供しており、CLIよりもはるかに簡単です（Docker Composeがインストールされている場合）。また、composeファイルですでに参照されているため、イメージのプルも不要です。
  • を含むリポジトリをクローンする。 docker-compose.yml 設定ファイル：

• リポジトリディレクトリに移動する：

• Docker Composeを使用してコンテナを起動する（このコマンドを実行するための管理者権限があることを確認するか、sudoを使用する）：

インストールの確認.

を実行して、FlareSolverr コンテナが実行されているかどうかを確認する：

• が表示されるはずです。 フレアソルバー コンテナをリストに加える。

FlareSolverrへのアクセス

FlareSolverrがDockerコンテナで実行されているはずです。ウェブ・ブラウザで'http://localhost:8191'にアクセスすることでアクセスできる。

これで完了だ！これでDockerコンテナを使ったFlareSolverrのインストールは完了です。これで、Cloudflareによって保護されたウェブサイトからのチャレンジを回避するために、FlareSolverrを使用できるようになった。

c.WindowsへのFlareSolverrのインストール

FlareSolverrは、Windowsのx64アーキテクチャでのみ利用可能なコンパイル済みバイナリを使用して、Windowsにインストールすることをお勧めします。 ソースからインストールすることも可能ですが、アーキテクチャの制限からWindowsではお勧めできません。さらに、FlareSolverrのDockerコンテナ「イメージ」は、主にLinuxベースのホスト・マシン（Windowsではない）で実行するように設計されています。

WindowsにFlareSolverrをインストールするには、以下の手順に従ってください：

• FlareSolverrのバイナリをダウンロードする： Additional FlareSolverrリリース ページをご覧ください。Assets "セクションで最新リリースを探し、Windows用の適切なダウンロードを見つける。zipファイルになっているはずです。Windows x64用のFlareSolverrのzipファイルをダウンロードしてください。
• FlareSolverrのバイナリを解凍して実行する： ダウンロードしたFlareSolverr.exeを実行します。実行すると、ターミナルが開き、FlareSolverr User-Agentが正常に実行されていることが表示されます。
• Windowsファイアウォールからこのアプリケーションへのアクセスを許可します。 

これで完了です！プリコンパイルされたバイナリを使って、WindowsにFlareSolverrをインストールし、実行することができました。

3.Flaresolverrの設定

Flaresolverrのインストールが完了したら、いよいよ設定を行います。

FlareSolverrをCloudflareやPlexのようなWebアプリケーションやサービスに設定するには、必要な環境変数を設定する必要がある。FlareSolverrのインストールに成功したら、環境変数を変更できるはずだ。 

FlareSolverrは、その動作を設定するために使用できる環境変数を提供します。これらの変数に関する情報は FlareSolverrのGitHubリポジトリ.

a.環境変数の変更。

Linuxで変数を設定する。 

Linuxでは、ターミナルでFlareSolverrのプロセスを開始する前に、"export "コマンドで環境変数を設定して、FlareSolverrの環境変数を変更する。 その方法はこうだ：

• 変更したい環境変数をエクスポートする。
• 例えば、LOG_LEVELをデバッグに変更し、タイムゾーンを変更するには、次のように実行する： 

Dockerで変数を変更する。

DockerでFlareSolverrの変数を変更するには、テキストエディタでdocker-compose.ymlファイルを開いて修正する必要がある。

• FlareSolverrサービスに対応するservicesセクションを見つける。flaresolverrサービス定義の中に、environmentセクションがあります。ここで環境変数を更新します。 
• 例えば、LOG_LEVEL環境変数をデバッグに変更したり、TimeZoneやデフォルトのポートを変更したり、ウェブブラウザをヘッドレスモードで実行したりすることができる。

以下は、これらのシナリオごとにFlareSolverrを設定する手順です：

Windowsで変数を設定する。 

Windowsで変数を変更するには まず、FlareSolverrがインストールされているディレクトリに移動し、"set "コマンドの後に変更したい変数を続けて実行する。 

FlareSolverrの変数を設定する方法がわかったところで、特定のWebアプリケーション用に変数を変更する方法を見てみましょう。 

b.FlareSolverr を Cloudflare 用に設定する： 

環境変数を調整することで、FlareSolverrがCloudflareの課題をバイパスする方法を設定できます。 重要なのは CAPTCHA_SOLVER 変数と LOG_LEVEL 変数です。

• 以下の変更は、CAPTCHAソルバを "hcaptcha "に設定し、ロギングレベルをデバッグに上げます。

• FlareSolverrを起動する：

• これでFlareSolverrはCloudflareの課題を効果的に処理できるように設定されたはずだ。

注意： 2023年9月現在、どのキャプチャ・ソルバーも稼働していない。CloudFlareのチャレンジは、数学的なタスクやブラウザのテストだけでなく、人の介入を必要とする場合もあります。キャプチャチャレンジの場合、FlareSolverrは "Captcha detected but no automatic solver is configured "エラーを表示します。

c.FlareSolverr for Plexを設定する：

Plex用のFlareSolverrを設定する必要があるのは、以下のような場合です。 プレックス・メディア・サーバー がCloudflareの保護の背後にある。 すでにご存知かもしれませんが、Cloudflareのセキュリティ対策は、Plexコンテンツへのアクセスに課題をもたらす可能性があります。 

FlareSolverrをPlexと統合することで、Plex Media Serverの信頼性を向上させることができます。このセットアップにより、Cloudflare関連の障害に遭遇することなく、メディアコンテンツに認証ユーザーが簡単にアクセスできるようになります。

どうすればいいのか？

• 環境変数の設定： Plexの場合、通常PROXY環境変数を設定する必要がある。このプロキシ変数は、Plexのトラフィックをプロキシサーバー経由でルーティングします。また、LOG_LEVELなどの関連する環境変数も調整してください（必要な場合）。

• http://proxy-server-address:proxy-port "は、プロキシサーバーの実際のアドレスとポートに置き換えてください。
• FlareSolverrを起動する：

• これでFlareSolverrがPlexトラフィックのプロキシとして動作するように設定される。

d.FlareSolverr を Prometheus 用に設定する。 

を使用している場合、FlareSolverr は非常に便利です。 プロメテウス (オープンソースの監視ツール）を使って、Cloudflareによって保護されたウェブサービスやAPIを追跡することができます。Prometheusを使用している場合、Cloudflareの保護メカニズムによりエンドポイントにアクセスする際に問題が発生する可能性があります。 FlareSolverrとPrometheusを統合すると、PrometheusがFlareSolverrのプロキシを通してリクエストを行うように設定できます。 

PrometheusとFlareSolverrを統合するには、以下の手順に従ってください：

• Prometheus Exporterを有効にする：
  • FlareSolverrの環境変数PROMETHEUS_ENABLEDをtrueに設定する。
  • Dockerを使用する場合は、Dockerの設定でPrometheusのエクスポーターポート（PROMETHEUS_PORT）を公開します。
• Prometheus Exporter Portを設定します：
  • 環境変数PROMETHEUS_PORTを設定して、エクスポーターのリスニング・ポートを指定する。
• 設定した環境変数でFlareSolverrを実行する。Dockerを使用する場合は、Prometheus exporterポートが公開されていることを確認してください。
• Prometheusの設定ファイル（prometheus.yml）を開き、scrape_configセクションを追加して、FlareSolverrからメトリクスをスクレイピングするように指定します。Prometheusの設定方法については、こちらを参照してください、 公式ガイドをチェックする. 

e.他のアプリケーション用にFlareSolverrを設定する： 

ProwlarrとJackettを含む2つの素晴らしいインデクサー・マネージャー/プロキシが、CloudFlareの挑戦に影響を受けているようだ。いくつかのトレントや ユーズネット・インデクサー は、DDoS攻撃の標的にならないようにCloudflareのプロテクションを使用していますが、これらのツールは一部のサイトにプログラムでアクセスすることはできません。 

FlareSolverr で、適切な CAPTCHA_SOLVER 環境変数に設定します（利用可能な場合）。また、ターゲット・アプリケーションにFlareSolverrのIPまたはホスト名を追加する必要があるかもしれません。以下にいくつかの例を示します： 

• ジャケット Jackettがトレント・トラッカーやユーズネット・インデクサーと正常に通信できるようにするには、以下のことを確認してください：
  • Jackettが稼働していることを確認してください。FlareSolverrのURL（例えばflaresolverr:8191）を設定し、変更を適用します。この設定を長期的に使用したい場合は、Updatesを無効にしてください。 
  • 確認 ジャケット完全ガイド をご覧ください。 

• プロウラー Prowlarrがトレントサイトやユーズネットサイトとうまく会話できるようにするには、Cloudflareが提示するCAPTCHAの課題を克服する必要がある。
  • Prowlarrの設定にアクセスする。Add an Indexer Proxy "に移動し、FlareSolverrを選択する。
  • ホストを入力します。http://flaresolverr:8191。私たちの プローラーガイド をクリックして、このツールの使い方と設定方法を学んでください。 

さらに、次のようなPVR自動化ツールもある。 ソナー, ラダーあるいは バザール これらのサイトの一部からメディアや字幕情報にアクセスしている企業も、間接的に影響を受けています。彼らはサイトの情報にアクセスするためにJackettとProwlarrの両方を使いますが、Cloudflareのアルゴリズムによってすぐに挑戦され、阻止されます。 

4.FlareSolverrを使用する。

FlareSolverrは、Linuxの "curl "コマンドや、Python Requestsを使って使うことができる。 

a.Linuxの "curl "コマンドでFlareSolverrを使う。

Linuxの "curl "コマンドを使うと、FlareSolverrのAPIとやりとりして、さまざまなアクションを実行できる。curlコマンドは、コマンドラインからHTTPリクエストを行うのに役立ちます。素早くシンプルなリクエストに便利なので、FlareSolverrのAPIエンドポイントをテストする場合に最適です。しかし、データ処理や自動化など、より複雑なインタラクションを扱う場合は、「curl」がより複雑になる可能性があることを知っておいてください。

i.新しいセッションの作成

新しいブラウザのインスタンスを起動し、セッションを作成する：

ii.アクティブなセッションのリスト

すべてのアクティブなセッションのリストを取得するには、以下のコマンドを実行する：

iii.セッションの破棄

既存のセッションを破棄するには、以下のコマンドを実行する。

iv.GETリクエストを行う

特定のセッションを使ってGETリクエストを行う。

GETリクエスト・コマンドに対するcurlコマンドの使用例：

b.FlareSolverr と Python Requests ライブラリを使用する。 

PythonはWeb APIを扱うための豊富なライブラリとツールを提供している（これはFlareSolverrに最適だ）。 Pythonを使えば、FlareSolverrと対話するための、より洗練されたスクリプトを作成できる。 このアプローチは、自動化やカスタムスクリプトの作成に最適です。もちろん、Pythonを使うにはスクリプトを開発する必要があり、'curl'コマンドを使うよりも時間がかかり、難しいかもしれません。

Pythonを使うには以下のものが必要だ： 

• システムにPythonがインストールされていることを確認してください。
• Requestsライブラリをインストールします：HTTPリクエストを行うには、このリクエスト・ライブラリを使用する。 
• スクリプトを実行する前に、FlareSolverrが起動していることを確認してください。
• FlareSolverr が正しく設定され、期待されるポート（例えば、8191）でリッスンしていることを確認する。 
• http://localhost:8191 アドレスにアクセスするには、ネットワーク接続が必要です。

以下は、requestsライブラリを使ったPythonスクリプトの例である。 

注意： 私たちはこのテストを行うために私たち自身のURL（seedhost.net/wp）を使用しています。しかし、単純に を自分のターゲット・サイトに追加する。

• 上記のスクリプトをコピーして.pyとして保存してください。そしてあなたのPython環境で実行してください。

• その結果、（セッションの）クッキーを含むHTMLコードが返されるはずです。
• IDLE Shell上で実行されているスクリプト・モジュール（下の図に示す）から、この特定のサイトがCloudflareチャレンジを発信していないことが1行目にわかります。
• このスクリプトは、Cloudflareの裏側にあるサイトで試すことができる。 

5.結論

FlareSolverrは、Webスクレイピングとデータ検索機能を強化するための貴重なツールです。また、Prometheusを使用してCloudflareで保護されたウェブサービスやAPIを監視する場合にも重要なツールです。さらに、FlareSolverrはJackettやProwlarrのようなツールと連携し、（CloudflareのCDNの背後にある）トレントサイトやユーズネットサイトとの通信を確立するのに役立ちます。

このFlareSolverrガイドでは、Linux、Docker、Windows上でのFlareSolverrのインストールについて説明した。Prometheus、Plex、その他のアプリのような様々なサービス用に設定する方法を学んだ。さらに、curlコマンドとPython Requestsライブラリでの使い方も簡単に学んだ。 

このガイドが参考になりましたら幸いです。FlareSolverrに関するご質問やご意見がございましたら、下記のコメント欄にご記入ください。