豆腐とコンソメ

豆腐とコンソメ

もろもろのプログラム勉強記録

アイドルとのチェキ画像から親密度を図る(1)

やりたいこと

Python始めたばかりで、なにかおもしろいことができないかな!

というところで、取っつきやすいネタを探していました。 いろいろ調べてみると、

  • TwitterAPIを使って、ツイートを取ってくる。
  • CloudVisionを使って、顔認識、ラベル認識を行う。
  • OpenCVを使ってイメージに矩形を書く。

このへんが取っつきやすそうでした。

これを使ってなにかやりたいことないかなぁと思った時に タイトルの「アイドルとのチェキ画像から親密度を図る」なら楽しくできるかも、というところでやってみました。

処理イメージ

以下の順に処理をしていきます。

f:id:konoemario:20170220234807p:plain:w300

  1. Twitterから特定のハッシュタグをもとに検索を行い
    ツイート内に含まれる画像を取得する。
  2. 取得した画像を、CloudVisionへ渡して顔認識 +αを行う。

  3. CloudVisionから返却された顔認識の座標の情報をもとに、画像に矩形を書く。

  4. 投稿者に顔認識結果の画像と、親密度の結果をリプする。

親密度をどう図るか

一番重要な部分です。
が、残念なことに、私にはそこをどうにかする技術がないのです。 ないのですないのです

ここはGoogleさんのCloudVisionに全面的に依存します。 処理イメージの2. の顔認識+αのα部分です。 幸いなことに、CloudVisionには、顔認識の他に、以下の感情を5段階で返却してくれます。

感情 にほんご
Joy 喜び
Sorrow 悲しみ
Anger 怒り
Surprised 驚き

ですので、この結果を使って親密度を計測しようと思います。

普段は、「ぐへへ、腰の位置が近いざんす!」とかで喜んでいるので、この辺をもう少し使えたら、独自性がでるかと思います。

といっても、顔認識の感情も腰の位置も、システムが判断するまでもなく、人が見ればいいのですが。

短いですが、具体的な内容は次回に回したいと思います。

こんな感じのものができます。 f:id:konoemario:20170220235915p:plain

明日、初の勉強会

ドキドキです。
行ってきます。

connpass.com