ブラウザ操作はpuppeteer一択、casperjs使ってる人は乗り換え推奨

2019-09-21

ポエムです。

色々あってアレやコレをごにょごにょしなければいけないことになってしまい、またスクレイピング(正確にはブラウザ操作)地獄に陥ってました。

「公式がスクレイピング禁止！って言ってんだろ」「頻繁に対策入れてるから動かなくなっても知らないよ？」と色々やりたくない理由を言い続けてきたのですが、「やらないと取引が！か、会社が潰れるかもしれないんだ！」みたいな剣幕で迫られたのでやることになってしまったのですが、casperjsでは不可能なことが発覚しました。

対象のサービスがガッツリ対策入れてたため、メンテナンスされてないphantomjsを前提としたcasperjsではお話にならず、seleniumでも通らない(使い込んでないからかも)。仕方ないからpuppeteer使うか…とpuppeteerに切り替えたのですが、これが大正解。

ちょっと癖のあるpuppeteerですが、「テストツール以外のブラウザ操作用途なら」puppeteer一択だと思います。

puppeteerは導入が楽

npm i puppeteer
これだけでインストール完了。

「いやいや、seleniumだって大した手間かからないじゃん」と思う人も居ると思いますが、まあその通りです。ただ、puppeteerは勝手にChromiumをインストールするので(しない方法もあるが)ブラウザのバージョン違いとかで怒られる心配がありません。

ある程度の経験者であればどっちでも良いと思いますが、Railsのインストールでエラーが出てあたふたしてしまうような人だとseleniumは苦戦する可能性があります。でもpuppeteerなら大丈夫。

puppeteerしか通らないWebサービスが色々とある

puppeteerにはslowMoオプションというものがあり、実行速度をいじることが出来ます。これをやっとかないと、「こいつロボ間違いなし、排除します」みたいな感じではじかれるサービスが世の中にはあります。まあ、スクレイピング禁止だからなんですが、でもpuppeteerなら通っちゃう。

また、slowMo関係なくseleniumだと要素指定でも座標指定でも絶対にクリック出来ないボタンみたいなのが設置されているサイトがあります。waitをかけようが、jsで要素いじって調整しようが、どうやってもクリックが出来ない。結果ログインできないみたいなことが割とあります。でもpuppeteerだと通っちゃう。

また、jsで動的に動くエディターみたいなやつに「持ってきたデータをペーストして送信」みたいなことをやろうと思った時、seleniumではどうやっても通らないケースがあるのですが、puppeteerだと同じ事やっても通っちゃうことがあります。

マウスで狙ったエディターの入力エリアを座標でクリック、クリップボードに任意のテキストをセット、キーボード操作でCTRL+Vみたいな感じで通っちゃいます。

何で通るのか理由は忘れましたが。