Go言語[Golang]goqueryスクレイピングをProxy経由で行う方法
この記事は約1 分で読めます。
目次
GolangのプログラムをProxy経由で行うのは簡単です。
Golangの環境変数にProxy設定を書くだけで、Proxy経由でスクレイピングなど他のサイトへのアクセスを含むプログラムを実行できます。
本記事ではスクレイピング（goquery）については割愛し、環境変数の設定方法を記しておきます。
Goの環境変数
1# go env
このコマンドを実行することで、Golangの環境変数を見ることができます。
1GOARCH="amd64"
2GOBIN=""
3GOCACHE="/root/.cache/go-build"
4GOEXE=""
5GOFLAGS=""
6GOHOSTARCH="amd64"
7GOHOSTOS="linux"
8GOOS="linux"
9GOPATH="/root/go"
10GOPROXY=""
11GORACE=""
12GOROOT="/usr/local/go"
13GOTMPDIR=""
14GOTOOLDIR="/usr/local/go/pkg/tool/linux_amd64"
15GCCGO="gccgo"
16CC="gcc"
17CXX="g++"
18CGO_ENABLED="1"
19GOMOD=""
20CGO_CFLAGS="-g -O2"
21CGO_CPPFLAGS=""
22CGO_CXXFLAGS="-g -O2"
23CGO_FFLAGS="-g -O2"
24CGO_LDFLAGS="-g -O2"
25PKG_CONFIG="pkg-config"
26GOGCCFLAGS="-fPIC -m64 -pthread -fmessage-length=0 -fdebug-prefix-map=/tmp/go-build957315940=/tmp/go-build -gno-record-gcc-switches"
GOPROXY=""という項目がありますが、ここにProxyサーバー（URL）を記述しても期待通りの動作はしません。
環境変数にProxy設定をする
1# export HTTPS_PROXY=https://123.456.789.10:8080/
前述のGOPROXY=に対してProxy設定を行うのではなく、HTTPS_PROXYに対してProxyサーバーを設定します。
（または、HTTP_PROXY）
これでIPブロックされてしまったスクレイピング処理もProxy経由で行うことができます。