Youtubeの生放送アーカイブからコメントとスパチャ金額を取得するプログラム

Youtubeの生放送アーカイブからコメントとスパチャ金額を取得する

最近Youtubeというビッグプラットフォームに関連するWebアプリを作成しようと思って、人気のVTuberの生放送データを見られる仕組みを考えています。

一方で、Youtube APIは2022年3月現在ではアーカイブで表示されるコメントとスパチャデータは取得できません。

そのためアーカイブのHTMLから取得する必要があります。

そこで少し調べてみると先駆者がデータを取得するプログラムを公開してくれていました。偉大なる先駆者のページはこちらです。

Youtube APIで生放送のアーカイブの全コメントを拾ったり、スパチャ額の合計を取得する方法

ただ、この方のプログラムをコピーして使ってみても正常に動きませんでした。どうやら一部の処理が不適切だったので取得したコメントとスパチャのデータをJSON形式に変換できなかったみたいです。(言語はPythonだけどJavascriptでも出来ます)

そこで頭から処理を確認していって、いくつかの処理を直すとデータを取得できるようになりました。

今回取得したのは高宮リオン様の生放送データをアーカイブから取得しました。

この配信は大体4時間程度だったのですが、コメント数は12,000件くらいでした。そのくらいのデータを取得するのに大体1～2分程度だったのでそこまで処理時間に困る事はありませんでした。(PCの性能に若干依存する？)

ちなみに上図のA列はコメント、B列はコメントした人のアカウント名、C列はスパチャ金額(0は通常コメント)、D列は配信開始後の秒数です。

他にもいくつかの情報が取得できそうでした。

プログラムを公開するか少し悩んでいますがかなりコードが汚いので今回は出すのをやめておきます。

もし需要がありそうならコメントで言って貰えればプログラムを整形して公開します。

他にもWEBアプリ関係の記事はこちらに貼っておきますね。