タダケンのEnjoy Tech

楽しみながらラクに成果を上げる仕組みを考える

「Vue.jsとFirebaseで作るミニWebサービス」は個人でWEBサービスを作ってみたい人にピッタリの本

f:id:tadaken3:20180913193239p:plain こんにちは!
タダケン(@tadaken3)です。

今回は「Vue.jsとFirebaseで作るミニWebサービス」という本をご紹介します。本書はWebサービスを作ってみたい人にまさにピッタリの本です。

著者は「ためしがき」開発者のnabettuさん

「ためしがき」というWebサービスを開発された@nabettuさんによって書かれたものです。

「ためしがき」は、商用利用可能な日本語のフリーフォントをお好きな言葉・文章で試すことができるWebサービスです。

商用可能なフリーフォントで一度にたくさん試すことができて、WEBサイト作成やデザイン作成時のフォント探しにとても便利なサイトです。

はてなブックマークを2000以上を集め、驚異的な注目を集めています。

百聞は一見にしかずなので、まだ触ったことがない方は、ぜひ「ためしがき」を触ってみてください。丁寧に作られたユーザーインターフェース、遊び心のあるアニメーションなど、とても勉強になります。

tameshigaki.jp

その@nabettuさんが、ミニWEBサービス(シングルページアプリケーション)の作り方を教えてくれるのが本書です。

本書を書かれた経緯については@nabettuさんのブログにまとめられています。

サービスを作って人に使ってもらうってめっちゃ楽しいからみんなやろうぜ ってのを伝えたいなってのがまず最初にありまして、

「でもWebサービス開発って結構ハードル高いんでしょう?」って人も一回小さいものを作ってみるとなんとなく流れがわかるので最小限のコンパクトな形にまとめました。

著書「Vue.jsとFirebaseで作るミニWebサービス」が発売されました!🎉本に込めた想いと経緯など - フロントエンドの地獄

これは読むしかありませんね。

本書では、

  • ユーザーインターフェイスを構築するためのJavasricptのフレームワークVue.js
  • Googleが提供するモバイルアプリやWebサービスを開発するためプラットフォームFirebase

を組み合わせてWebサービスを開発していきます。

ちなみになぜVue.jsなのか?なぜFirebaseなのか?ということも上記のブログに書かれています。

いきなりデブロイするところからはじまる

Webサービス開発については、いろいろな技術書がありますが、この本の中でとくに素敵だなと思ったのが、いきなり「サービスをデブロイする」ところからはじまることです。

デプロイとはサイトをサーバーなどに公開して、他の人が利用可能な状態にすることです。基本的なVue CLIの使い方とfirebaseの設定を方法を解説した後、WEBサービスをすぐにデプロイしてしまいます。

最初にデブロイするサイトは、Vue CLIのテンプレートから作られた簡単なものです。ですが、まずデプロイすることで、自分がWebサービス開発の一歩を踏み出したんだという気分になり、一気にテンションがあがります。

ボクは、動いているサイトを見て、テンションもあがり学習意欲もアップしました。

”完成”するまでデプロイはしないものと思っている方もいるのではないでしょうか。Webサービスには”完成”などという段階は存在しません。Webサービスにとってローンチは、数あるマイルストーンの一つにすぎないのです。

引用: 「Vue.jsとFirebaseで作るミニWebサービス」P.16

まずデプロイする理由としては、以下の2つがあげられています。

  • ローカル環境と本番環境が違うことで起きる問題を先に解決できる
  • 見える形にしておくことで、友人などに途中経過をみせてフィードバックをもらいやすくなり、モチベーションの維持につながる

とくに個人開発においては2つ目の理由が大きいと思います。機能を追加したり、デザインを変更した結果を、すぐさま他人に見せてフィードバックしてもらうことで、反応を見ながら、開発を進めることができます。

そのあとは、少しずつ機能を追加していき、そのたびにデプロイして進めていきます。

オリジナルのMarkdownエディタが作れるようになる

また、本書では、

  • Firebaseを利用したログイン認証の実装方法
  • データベースの作成とデータ保存・取得方法
  • Webサービスとして公開するために必要最低限のこと(見た目やセキュリティ対策など)

といったことも学べます。最終的には以下のようなマークダウンエディタを作成することができます。1

mymarkdown

Markdownエディタの作成を通して、Webサービスを開発する上で、基本となるユーザーの管理方法だったり、データの保存・取得方法などを学ぶことができます。加えて、セキュリティ対策などの面に触れている点もとても実用的です。

Webサービスを作りたい、個人開発者を目指しているという方はぜひ本書をお手にとってみてください。本書の内容を学ぶことで、Webサービスを開発する上で、必要な要素を一通り学ぶことができると思います。

改訂新版 Vue.jsとFirebaseで作るミニWebサービス (技術書典シリーズ(NextPublishing))

改訂新版 Vue.jsとFirebaseで作るミニWebサービス (技術書典シリーズ(NextPublishing))

最後に少し宣伝です

今、ボクが所属しているWebサービス開発者集団「入江開発室」のメンバーで「LIKE IT」というサービスを作っています。「LIKE IT」もVue.js + Firebaseで作成していて、「Vue.jsとFirebaseで作るミニWebサービス」を読んだことをきっかけに開発に取り掛かりました。

「LIKE IT」は、自分の好きな本をコメントを付けて、SNSで紹介するサービスで、10月中のリリースを目指しています。

f:id:tadaken3:20180913213332g:plain

「LIKE IT」についての情報は、ボクのTwitterや本ブログで公開していく予定です。

LIKE ITにご興味を持っていただけた方は、Twitterアカウントをフォローもしくは、ブログの読者登録していただけると開発の励みになります!

ぜひ、よろしくお願いいたします。


  1. デザインは超適当です。

人生初!OSSにPull Requestを送ってMergeされた話

f:id:tadaken3:20180920111337p:plain こんにちは!
タダケン(@tadaken3)です。

人生初、オープンソースソフトウェア(OSS)にプルリクエスト(Pull Request)を送りました。

LaradockというDockerでLaravel環境を作るためのOSSで、小さい修正なのですが、無事にマージされました!OSSにプルリクを送るのは、今年の目標の一つだったので、達成できてすなおにうれしいです。

実際のプルリクエストはこちらです。

github.com

本記事では、OSS開発に貢献するために、OSSにプルリクエストを送る方法をまとめました。

実際のコードとドキュメントの内容が異なっていた

事の発端は、あるプログラミング初心者さんからの質問でした。

f:id:tadaken3:20180909143903p:plain

ボクは入江開発室というWEBサービスの開発をしているオンラインサロンに所属しています。

初心者向けのプロジェクトとして、Laradockを使ってあるWEBサービスのクローンを作るプロジェクトがあります。

ボクはメンターの一人としてお手伝いをさせていただいています。

そのときは、Laradockを使ったLarvelの環境構築をお手伝いしていたのですが、その初心者さんの質問により、教材に使っているブログ記事env-exampleの記載が異なっていることがわかりました。

よくよく調べてみると、公式ドキュメントと実際のコードの記述が異なっていることがわかりました。ブログ記事はもちろん修正したのですが、もともとブログ記事は公式ドキュメントを参考に作ったので、これはほかにも混乱する人が出るなと思い、Laradockの公式ドキュメンを修正すべく、プルリクエストをあげようと決意しました。

OSSにプルリクエストするまでの手順

リポジトリのフォークする

まずはプルリクエストをあげたいプロジェクトをコピーして、自分のアカウントにリポジトリの複製を作成します。この作業を「フォーク」といいます。

基本的に他人のリポジトリに対して権限がないためファイルを追加したらり、変更する書き込むことはできません。一方、フォークしたリポジトリは自分の所有物なので、自由に変更ができます。

OSSにプルリクエストを上げる場合は、まずは対象のリポジトリをフォークします。

プロジェクトをフォークするには、githubの右上にある「Fork」ボタンを押します。

f:id:tadaken3:20180909123054p:plain

すると「自分のユーザー名/リポジトリ名」でリポジトリが作成されます。

今回、Laradockのリポジトリをボク(tadaken3)がフォークしたので、「tadaken3/laradock」というリポジトリが作られます。

f:id:tadaken3:20180909123102p:plain

プログラムの追加・修正

forkしたリポジトリは自分のものなので、自由にいじっても問題ありません。forkしたリポジトリを使って、コードを追加したり、ドキュメントを修正していきます。作業が終わったら、コミットしてプッシュします。

プルリクエストの作成

コミットしたらいよいよ、プルリクエストの作成です。フォークした自分のリポジトリにある「New pull requests」ボタンを押します。

f:id:tadaken3:20180909123507p:plain

すると、どのリポジトリのどのブランチに対して、プルリクエストをするか選択画面が表示されます。プルリクエストを取り込んでもらいたいブランチにを選択し、“Create pull request” ボタンを押します。

f:id:tadaken3:20180909123530p:plain

Pull Requestのメッセージを書く

プルリクエストについて、どこをどのように変更したかを説明する文章を書きます。基本的には英語です。Google先生などに頼りながら頑張って書きましょう。つたない英語もで誠意を持って書けばきっと伝わると思います!

無事、マージされてcontributorsの一員に!

あとはマージされるのを楽しみに待ちます。ボクの場合は3日ほどでマージされました。

f:id:tadaken3:20180909124634p:plain

ちょっとした修正ですが、これでLaradockを使い始める際の障壁を一つ取り除けたのかなと思っています。

まとめ

今回はOSSにプルリクエストを送る方法をまとめてみました。

  • リポジトリをフォークする
  • コードを追加・修正する
  • フォークしたリポジトリからもとのリポジトリにプルリクエストをあげる

です。

意外と自分にもできそうじゃありませんか?

Laradockにプルリクエストを送ったことで、こんな小さな修正でも「OSSコミュニティの世界に貢献した」という経験を手に入れることができました。

プルリクエストを出すのに必要なのは、ほんのちょっとした勇気です。あなたが困っていることはきっと他の誰かが困っていることです。ぜひ今日から、世界を良くするための一歩を踏み出してみてください。

この記事が、あなたのOSSデビューの助けになることを切に願っています。

Twitterのフォロー・読者登録をお願いします

タダケンのTwitterアカウントをフォローもしくは、ブログの読者登録していただけると更新の励みになります!ぜひ、よろしくお願いいたします。

GitHub実践入門 ~Pull Requestによる開発の変革 (WEB+DB PRESS plus)

GitHub実践入門 ~Pull Requestによる開発の変革 (WEB+DB PRESS plus)

『人生は、運よりも実力よりも「勘違いさせる力」で決まっている』はあなたの価値観を一変させる悪魔の本

f:id:tadaken3:20180811115931p:plain

こんにちは!
タダケン(@tadaken3)です。

このブログもおかげさまで、読者登録数が256人となりました。読者登録数が100人以上のブログは、はてなブログ全体の上位5%というデータもあります。

https://cdn-ak.f.st-hatena.com/images/fotolife/i/iruca21/20170412/20170412230635.gif 出典:はてなブログの読者数から考えるブロガーレベル - Iruca Log

ここまで更新を続けてこれたのもすべて読者のあなたのおかげです。これからも日々、ブログでの情報発信を頑張っていきたいと思いますのでよろしくお願いします。

さて、本題です。このブログは技術ブログなので、技術書以外の書評はあまり書かないようにしているのですが、あまりにも素晴らしい本を見つけたので紹介します。正直、この本には人生を変えうる力があります。

人生は、運よりも実力よりも「勘違いさせる力」で決まっている

人生は、運よりも実力よりも「勘違いさせる力」で決まっている

  • 作者:ふろむだ
  • 発売日: 2018/08/09
  • メディア: 単行本(ソフトカバー)

「分裂勘違い劇場」のふろむださんとは?

この本は「分裂勘違い劇場」という有名ブログを運営しているふろむださん(@fromdusktildawn)によって書かれた本です。

ふろむださんは、複数の企業を創業し、そのうちの一社を上場させています。「分裂勘違い劇場」のブログもはてなブックマークのホットエントリーの常連で、推定読者は数百万人にのぼります。

あなたもきっと一度ぐらいは記事を見たことがあると思います。そのふろむださんの初の書籍です。

また、初の書籍にも関わず、本書のアマゾンの書籍ランキングもすでに11位となっているもようです。 国民的アイドルの欅坂を超えるってすごくないですか?


はてなブログ界隈では知らない人のいないあの有名アルファブロガーのフミコフミオさん(@Delete_All)も絶賛しています。

delete-all.hatenablog.com

錯覚資産を獲得しろ!

さて前置きが長くなりましたが本題です。

この本に書かれていることを一言で要約すると「錯覚資産を獲得しろ」です。

「錯覚資産」とは著者の造語で「他者による自分への有利な勘違い」のことです。人間は気づかない(無意識)うちに、さまざまな錯覚(勘違い)をしています。その錯覚を利用して、自分を助けてくれる資産とすることが成功への筋道になると著者は語ります。

人間の心の動きからどのように錯覚がおきるのかを説明し、そこから「錯覚資産」という概念と、その効果について丁寧に解説されています。最終的には、錯覚資産を意識的に活用する方法まで記されています。

錯覚資産を獲得することで、仕事での成果を獲得しやすくなります。成果を出すことで、よりよい仕事環境を手に入れ、さらに錯覚資産を獲得するといった形で雪だるま式に錯覚資産を獲得できます。

錯覚資産をうまく利用することで人生にポジティブなフィードバックループを回すことができるようになると力強く説きます。

図解するとこんな感じです。


錯覚資産という概念は、それを知っているだけで、本当に人生に大きなアドバンテージを得ることができます。

あなたもぜひ本書を手にとってみて、「錯覚資産」を獲得してみませんか?

ちなみにこの書評も『人生は、運よりも実力よりも「勘違いさせる力」で決まっている』の文法、メソッドに則って書いています。もしこの書評のトリックを知りたい方は、ぜひ本を読んでみてください。マジでおすすめです。

人生は、運よりも実力よりも「勘違いさせる力」で決まっている

人生は、運よりも実力よりも「勘違いさせる力」で決まっている

  • 作者:ふろむだ
  • 発売日: 2018/08/09
  • メディア: 単行本(ソフトカバー)

読者登録をお願いします

本ブログではデータ分析・サービス開発・初心者向けのプログラミング解説についての記事を公開しています。よろしければ読者登録もしくはタダケンのTwitterアカウントを(@tadaken3)をフォローしていただけると更新の励みになります。

tadaken3.hatenablog.jp

tadaken3.hatenablog.jp

scheduleライブラリを使ってPythonスクリプトを定期実行しよう

f:id:tadaken3:20180730005910p:plain こんにちは!
タダケン(@tadaken3)です。

定期実行といえば真っ先にcronが思い浮かびますが、scheduleはcronを代替するPythonライブラリです。cronにくらべ読みやすく、非常にシンプルです。

windowsでも動作しますし、cronが使えない環境なんかでちょっとした処理をPythonで実行できたりするので、便利です。

scheduleのコンセプト

ジョブのスケジュール実行は、標準モジュールを駆使して、実装することも可能です。ですが、scheduleを使うことでコードを非常にシンプルに保つことができます。

scheduleは「Python job scheduling for humans.」というコンセプトで作成されたライブラリです。直訳すると「人間のためのジョブスケジューラ」でしょうか。Rubyのclockworkにインスパイアされて作成されたようです。

けっこう便利のライブラリなのですが、Qiitaとかを見ていると、自前で実装しているケースがよく見られるので、scheduleの紹介記事を書いてみました。

scheduleを使ってみる

pipをつかってscheduleをインストール

$pip install schedule

scheduleライブラリの書き方は非常にシンプルです。以下のように処理時間を細かく指定して実行できます。

#coding:UTF-8
import schedule
import time

def job():
    #ここにメインの処理を書く
    print("時間ですよ~")

#10分毎にjobを実行
schedule.every(10).minutes.do(job)

#毎時間ごとにjobを実行
schedule.every().hour.do(job)

#AM10:30にjobを実行
schedule.every().day.at("10:30").do(job)

#月曜日にjobを実行
schedule.every().monday.do(job)

#水曜日の13:15にjobを実行
schedule.every().wednesday.at("13:15").do(job)

while True:
    schedule.run_pending()
    time.sleep(1)

scheduleを使うと簡単にジョブスケジューラを実装することができます。windowns環境でcronが使えなかったりするときに、pythonで処理をスケジュール実行できるので便利です。

僕の場合、スクレイピングとか定期的に走らせたいときに重宝しています。

参考資料

最後に少しお願いです。

ここまで読んでいただきありがとうございます。

最後にあなたに少しお願いがあります。この記事が少しでも役に立った、気付きがあったという方は、ぜひこの記事をTwitterにシェアしていただきたいです。

はてなブックマークをしていただく形でも大丈夫です。コメント付きだと、もっと嬉しいです。

ぜひ、よろしくお願いいたします。

↓Twitterもやっています。 twitter.com

退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング

退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング

Laravelの開発環境をLaradockを使って構築する方法

f:id:tadaken3:20180629232929p:plain こんにちは!
タダケン(@tadaken3)です。

今回は、PHPフレームワーク「Laravel」の開発環境の構築方法についてまとめました。本記事では、Dockerを用いたLaradockを使って開発環境を構築する方法をご紹介します。Laradockを使い、以下の構成の開発環境を作成していきましょう。

  • WEBサーバー:Nginx
  • DBサーバー:MySQL
  • DBクライアントツール:phpMyAdmin

LaradockはいくつかのDockerfileとcomposeの設定ファイルで構成されています。例えば、WEBサーバーをApacheに変更したり、DBサーバーをPostgreSQLに変更したりといったこともできます。

動作環境は「macOS High Sierra v10.13.4」です。

Laradockファイルの取得

まずMyProject(お好きな名前)を作成して、そこにLaradockを配置していきます。最終的には以下のような構成になります。

/MyProject
├── laradock
└── src ... (ここにLaravelが配置される)

まずはMyProjectディレクトリを作成し、Laradockを取得します。

$ mkdir MyProject
$ cd  MyProject
$ git clone https://github.com/LaraDock/laradock.git
$ cd laradock

では、laradockディレクトリに入って早速使ってみましょう。

Laradockの設定ファイルを編集する

最初にenv.sampleファイルをコピーして.envファイルを作成します。この.envファイルに環境構築時の設定情報を書き込んでいきます。

$ cp env-example .env

まずはDATAの保存する場所を変更します。標準の設定だとルートディレクトリの配下にファイルが永続化されていたようです。

今回は開発環境ということで、MyProject配下のlaradockディレクトリにファイルを保存するように変更します。

# .env
# Choose storage path on your machine. For all storage systems 

- DATA_PATH_HOST=~/.laradock/data
+ DATA_PATH_HOST=.laradock/data

続いて、MySQLの設定を変更します。標準の設定だとMySQLのバージョンが「latest」となっています。2018年4月19日にリリースされたMySQL 8.0が最新版となります。

ただ、今回は開発環境ということで、最新版のバージョン8.0ではなく、バージョン5.7.22に固定したいと思います。(MySQL8.0はまだリリースされたばかりで一部対応していないツールなどもあるためです)

また、MySQLコンテナが立ち上がる際に作成されるデータベースやユーザー、パスワードなども変更しておきます。

# .env
### MYSQL #################################################
MYSQL_VERSION=5.7.22 # versionを固定
MYSQL_DATABASE=homestead #データベース名を変更
MYSQL_USER=homestead #ユーザー名を変更
MYSQL_PASSWORD=hogehoge #パスワードを変更
MYSQL_PORT=3306
MYSQL_ROOT_PASSWORD=root
MYSQL_ENTRYPOINT_INITDB=./mysql/docker-entrypoint-initdb.d

Docker コンテナを起動する

.envファイルの編集が終わったら、nginx、mySQL、 phpMyAdminのDockerコンテナを立ち上げていきます。(初回はDockerイメージを取得するため時間がかかるかもしれません)

$ docker-compose up -d nginx mysql phpmyadmin

問題なく起動したら http://localhost へアクセスします。

まだ Nginx の 404 ページが表示されていますが、ここに” Laravel “がインストールされることになります。

f:id:tadaken3:20180629230557p:plain

http://localhost:8080にアクセスするとphpMyAdminツールの画面が表示されます。さきほど、.envで設定したユーザー名でログインできるか確認しておきましょう。

f:id:tadaken3:20180629230520p:plain

Workspaceコンテナへの接続

laravelでの開発を行うためにはどうしてもcomposerやnodeなどのツール類が必要になってきますが、これら必要なツールを一式用意してくれるコンテナイメージがworkspaceです。

workspaceコンテナはLaradockでコンテナを立ち上げた際に同時に起動されています。

docker-compose psでコンテナが立ち上がっているか確認します。

$ docker-compose ps
           Name                          Command              State                    Ports                  
--------------------------------------------------------------------------------------------------------------
laradock_docker-in-docker_1   dockerd-entrypoint.sh           Up      2375/tcp                                
laradock_mysql_1              docker-entrypoint.sh mysqld     Up      0.0.0.0:3306->3306/tcp                  
laradock_nginx_1              nginx                           Up      0.0.0.0:443->443/tcp, 0.0.0.0:80->80/tcp
laradock_php-fpm_1            docker-php-entrypoint php-fpm   Up      9000/tcp                                
laradock_phpmyadmin_1         /run.sh supervisord -n          Up      0.0.0.0:8080->80/tcp, 9000/tcp          
laradock_workspace_1          /sbin/my_init                   Up      0.0.0.0:2222->22/tcp

もし起動していなければ、直接起動します。

$ docker-compose up -d workspace

Laravelのインストール

では、いよいよLaravelのインストールをおこなっていきます。Laravelのインストールをするためworkspaceコンテナに接続します。

$ docker-compose exec --user=laradock workspace bash

workspaceコンテナでは composer をはじめ、開発に必要な多くのコマンドが利用できる状態になっています。workspaceコンテナ内でcomposerを使いLaravelのプロジェクトを作成します。

/var/www# composer create-project laravel/laravel src

ちなみにデフォルトでは、workspaceの/var/wwwはプロジェクトルートにマウントされています。そのため、MyProjectの下にappディレクトリが作成され、その下にlaravelのファイルが保存されていきます。

MySQLの接続設定

では、workspaceコンテナで作業を進めていきます。MySQLへ接続できるようにしておきます。laravelのプロジェクトの配下に.env.sampleファイルをコピーして.envファイルを作成します。Laradockの.envファイルとは異なるのでご注意ください。

# cd src
# cp .env.example .env

DBで始まる部分を編集し、MySQLの接続設定を書き込んでいきます。先程、作成したデータベース名、ユーザー名などを入力します。

#.env
DB_CONNECTION=mysql
DB_HOST=mysql
DB_PORT=3306
DB_DATABASE=homestead
DB_USERNAME=homestead
DB_PASSWORD=hogehoge

Laravel には、認証用にデフォルトでテーブル定義が用意されていますので、それを作成してみます。

/var/www/src# php artisan migrate
/var/www/src# php artisan key:generate

データベースへの接続が問題なければ、マイグレーション情報を格納する migrations テーブルをはじめ、いくつかのテーブルが作成されているのが確認できると思います。

設定が終わったら一度、workspaceコンテナから抜けましょう。

最後にLaradockの.envファイルを編集して、アプリケーションのPATHを変更します。APP_CODE_PATH_HOSTの部分を変更するとworkspaceのマウント箇所、nginxの参照先が変わります。

############################
# General Setup
############################

### Application Path
# Point to your application code, will be available at `/var/www`.

APP_CODE_PATH_HOST=../src/

変更が終わったら、nginxコンテナを再起動します。

$ docker-compose up -d nginx

では、ふたたび、http://localhost へアクセスします。 するとLaravelのサイトが表示されます。

f:id:tadaken3:20180629230429p:plain

これでLaradockを使ったLaravelの環境構築は終わりです。Laravel便利ですね。

最後に少しお願いです。

ここまで読んでいただきありがとうございます。

最後にあなたに少しお願いがあります。この記事が少しでも役に立った、気付きがあったという方は、ぜひこの記事をTwitterにシェアしていただきたいです。

はてなブックマークをしていただく形でも大丈夫です。コメント付きだと、もっと嬉しいです。

ぜひ、よろしくお願いいたします。

JSONデータをjqコマンドを使ってシュッと加工する

f:id:tadaken3:20180523231854p:plain こんにちは!
タダケン(@tadaken3)です。

最近、Nintendo Laboのリモコンカーにハマっています。リモコンって大人になってもおもしろいですね。

プログラミングやデータを分析をしているとJSON形式のデータを扱うことが多いと思います。今回はJSON形式のデータをシュッと加工できるjqというツールをご紹介します。

jqとは

jqとはJSONデータからいい感じにデータを加工するコマンドラインツールです。APIをコールしたりすると、JSONで返ってくることがほとんどだと思います。そんなときちょいちょいと加工するときにとても便利です。1

Macにjqをインストールする

今回はMacにHomebrewを使ってインストールします。[^1]HomebrewとはMacOS用のパッケージ管理ツールです。ぼくは基本的に何かツールを入れる際はなるべくHomebrewを介してインストールするようにしています。

Homebrewをソフトウェアやライブラリを導入するのが楽になりますし、ソフトウェアのアップデートなどもおこないやすくなります。詳しくは以下の記事を見てみてください。Homebrewについての解説記事はいつか書きたいなと思います。

macOS 用パッケージマネージャー — Homebrew

さて、話が少し脱線してしまいましたが、jqをbrewを使ってインストールします。ターミナルで以下のコマンドを実行するとjqがインストールされます。

$ brew install jq

インストールが終わったら、jqが正しく動作するか確認します。

以下のコメンドを実行してコマンドのヘルプが表示されるか確認しましょう。

$ jq --help

このようにhelp画面が表示されたらオッケーです。

f:id:tadaken3:20180523215800p:plain

jqを使ってJSONを加工する

サンプルデータの作成

まず、サンプルデータを作成します。sample.jsonというファイルにJSON形式でデータを保存します。

ちなみにデータの中身はぼくが欲しいものです。プレゼントは誕生日の前後365日間受け付けております。

$ echo '{"items":[{"item_id":1,"name":"スタンディングデスク","price":30000},{"item_id":2,"name":"Oculus Go","price":25000}]}'  >> sample.json

実行すると、sample.jsonが作成されていると思います。

jqコマンドを使ってJSONデータをいい感じに表示する

では、さっそくjqコマンドを試していきましょう。

まず、jsonデータの中身を確認します。JSONはいかんせん、見にくいので、jqを使うといい感じに整形して表示してくれます。

サンプルのコマンドを見るとjqのあと「.」(ドット)がありますが、これは「ルート」を表しています。JSONはだいたい入れ子になっているかと思いますが、「.」(ドット)は起点から表示させるという意味になります。

$ jq . sample.json 
{
  "items": [
    {
      "item_id": 1,
      "name": "スタンディングデスク",
      "price": 30000
    },
    {
      "item_id": 2,
      "name": "Oculus Go",
      "price": 25000
    }
  ]
}

さきほどのjsonデータがいい感じに表示されていますね。

jqコマンドを使ってJSONデータからデータを抽出する

では続いて、jqのフィルタを使って、中身を取り出していきましょう。

JSONデータを見るとitemsのなかに配列でデータがはいっています。例えば、itemsの一つ目のデータを取得してい場合は.items[0]と指定します。

$ jq '.items[0]' sample.json
{
  "item_id": 1,
  "name": "スタンディングデスク",
  "price": 30000
}

「スタンディングデスク」の情報が取得できましたね。

では今度はitemsの中に入っているjsonからnameのデータだけ抜き出していきます。フィルタは'.items[].name'のように書きます。

$ jq '.items[].name' sample.json
"スタンディングデスク"
"Oculus Go"

見事に「スタンディングデスク」と「Oculus Go」が表示されました。

ちなみにダブルクォートを消したいときは、-rオプションを使います。ほかのコマンドにパイプで渡したいときに使います。

$ jq  -r '.items[].name' sample.json
スタンディングデスク
Oculus Go

いやすごい便利ですね。

長くなってきたので、今回は説明を省略しますが、jqにはほかにも強力な機能があって、オブジェクトを作ったり、CSV形式に変換したいといったこともできます。 例えば、以下のようにフィルタを設定してあげると、ヘッダーを付けて、カンマ区切りでデータを出力できます。

jq  '["name", "price"],  ( .items[] | [ .name, .price] ) | @csv ' sample.json
"name","price"
"スタンディングデスク",30000
"Oculus Go",25000

まとめ

今回、jsonを加工するための、jqコマンドをご紹介しました。まとめると

  • jqコマンドを使うとJSONをコマンドでいい感じに加工できる
  • 「.」(ドット)がルートを表す
  • フィルタを使って中身のデータを抽出していく

です。jqコマンドはとても強力なので、JSONを加工するときは非常に強い味方になってくれるはずです!

参考資料

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

↓Twitterもやっています。 twitter.com

tadaken3.hatenablog.jp

新しいLinuxの教科書

新しいLinuxの教科書


  1. 今回はMacでのインストール方法を紹介していますが、LinuxやWindows版もあります。

テーブル作成権限がないときにSQLで擬似テーブルを作成する方法

f:id:tadaken3:20180508212442p:plain こんにちは!
タダケン(@tadaken3)です。

データ分析をしていて、「ちょっとしたテーブルを作りたいな〜。けど、テーブルを作成する権限ないわ〜。つらたん」ってときありませんか? ありますよね?

そんなときにWITH句を使ってちょっとしたテーブルを作成する方法をご紹介します。

標準SQLの場合

WITH mst_human_sex AS (
             SELECT 0 AS sex, '不明' AS sex_name
   UNION ALL SELECT 1 AS sex, '男性' AS sex_name
   UNION ALL SELECT 2 AS sex, '女性' AS sex_name
   UNION ALL SELECT 9 AS sex, '適用不能' AS sex_name )
SELECT *
FROM mst_human_sex;

SELECTとUNION ALLを組み合わせてテーブルを作ります。結果はこのようになります。 標準SQLに準拠しているため、多くのデータベースで動くと思います。

sex sex_name
0 不明
1 男性
2 女性
9 適用不能

UNION ALLが比較的重たい処理なので、レコード数が多くなってくるとパフォーマンスに影響が出てくるかもです。

PostgreSQLの場合

PostgreSQLでは同様のことをVALUES句を使って実現できます。可読性も上がりますし、パフォーマンスも優れているため、出来る限りVALUSE句を使って疑似テーブルを作成したほうがよいでしょう。1

WITH mst_human_sex (sex, sex_name) AS (
   VALUES
    (0 , '不明') 
 ,  (1 , '男性')
 ,  (2 , '女性')
 ,  (3 , '適用不能')
)
SELECT *
FROM mst_human_sex;

ちなみに、PostgreSQLの場合、VALUES句はSELECT句と等価なため、SELECTが使えるところなら、どこでも使えます。例えば、

VALUES (1, 'one'), (2, 'two'), (3, 'three') 
ORDER BY 1 desc;

とすると

COLUMN1 COLUMN2
3 three
2 two
1 one

のようにORDER BYも適応されてカラム1の降順で返ってきます。

連番を用いてテーブルを作成する

連番を生成したいときは、generate_series関数が使えます。

WITH series AS
-- 1から5までの連番を作成する
  (SELECT generate_series(1, 5) AS idx)
SELECT *
FROM series;
idx
1
2
3
4
5

まとめ

今回、テーブル作成権限がない場合にちょっとした疑似テーブルを作成する方法をお伝えしました。疑似テーブルはあくまで一時的なものなので、継続的な利用が見込まれたり、他のSQLで使用するシーンがでてきたら、きちんとテーブルとして準備するようにしましょう!

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。


  1. PostgreSQLと書いていますが、SQL-99に準拠しているものはVALUESが使えます。

新しい技術に出会える熱いイベント! 「技術書典4」の参加レポート

f:id:tadaken3:20180422221923p:plain こんにちは!
タダケン(@tadaken3)です。

今日は、秋葉原UDXで開催された技術書典4というイベントに参加してきました。参加レポートをまとめてみました。

技術書典とは

技術書典とは、「技術書」をテーマとする同人イベントです。誰でもお世話になったであろう「技術書」がたくさん集まっているイベントです。それだけでワクワクしますね。技術書典のWebサイトに、イベントの主旨が説明されていますので引用します。

新しい技術に出会えるお祭りです。 技術書典は、いろんな技術の普及を手伝いたいとの想いではじまりました。 技術書を中心として出展者はノウハウを詰め込み、来場者はこの場にしかないおもしろい技術書をさがし求める、技術に関わる人のための場として『技術書典』を開>催します。

過去に3回開催されており、今回は4回目の開催だったようです。ちなみに僕は初参加です。東京はこういうニッチだけど濃いイベントがたくさん開催されているのがいいですよね。前回の技術書典3では、サークル数は合計193サークル(個人170・企業23)、来場者数は3100人だったそうです。すごいですね。

技術書展の当日の様子

入場まで

11時開場とのことだったので、1時間前の10時に秋葉原駅に到着しました。今日はめっちゃ天気が良くて良かったです。さっそく会場のUDXに向かうとすごい人でした。

f:id:tadaken3:20180422102028j:plain
整理券配布の並び列

技術書展では整理券による入場制度が採用されていました。

①まず、整理券をもらうために並ぶ ②整理券に記載されている番号で順番に入場できる

といった感じです。入場できる番号は技術書典のサイトで確認できます。今回は1時間前にいって、整理券をもらうのに10分程度並びました。整理券番号は393番でした。

整理券をもらったあとはプロントで朝食を食べながら、開場まで待機していました。開場11時時点では整理券番号500まで入場できたので、開場後すぐに入場することができました。確実に欲しい本がある場合は、一時間前ぐらいには会場にいっておくことをおすすめします。

f:id:tadaken3:20180422202035j:plainf:id:tadaken3:20180422202707p:plain
入場できる整理券番号はサイト上で確認できる。

並んでいる間、運営さんの「技術季報」を1000円で買うこともできるので、サークルマップや寄稿記事を読みながら入場まで待ちます。ちなみにサークルマップ、サークルリストは公式サイトからも確認できます。また、「技術季報」は入場してから買うこともできます。

f:id:tadaken3:20180422204953j:plainf:id:tadaken3:20180422205004j:plain
技術季報

会場にはこんなポスターが貼られてました。自分で写真を撮るの忘れたでのTwitterから引用させていただきます。

サークル会場の様子

開場時間の11時をすぎると、前の列から運営さんに案内され順々に入場してきます。

まず、会場に入るとすごい熱気でした!

「技術季報」にのっていたサークルリストを数えると、今回の技術書典4は、なんと246ものサークルが参加されていたようです。前回が193なので、50以上も参加サークルが増えているのですね。年々規模が大き聞くなっているようですね。

ちなみに、会場に入るとまずトートバックがもらえます。この中に手に入れた戦利品を入れていくことになります。ただあくまで簡易用のトートバックなので、大きめのリュックなどを持参するほうが良いと思います。両手が空いていると見本誌なども読みやすいので。

f:id:tadaken3:20180422210518j:plain
入場時にもらえるトートバック

販売されている技術書は、ソフトウェア(プログラミングやデザイン、プロジェクト運営など)に関するものから、ハードウェア(ラズパイや電子工作など)まで、さまざまな分野のものがあります。

ブロックチェーンに関する書籍やチャットボット、スマートスピーカーのスキル開発に関する本など、今流行りの技術に関する書籍なども見られました。1冊だいたい500円から1500円ぐらいです。感覚的には1冊1000円のものが一番多かった気がします。だいたいどのサークルも見本誌を用意してくれているので、手にとって内容を確認することができます。

本を選ぶのに夢中で会場の写真を取っていなかったので、またまたTwitterから引用させていただきます。

200を超えるサークルが参加していることもあり、前日までに、ざっとサークルリストに目を通しておくと効率的にサークルを回れます。技術書典公式サイトでは、アカウント登録すると、サークルリストチェックリストが使えるので、そちらを活用するのもいいと思います。

サークルを回っているうちに、今まで知らなかった技術やおもしろそうな技術の本が見つかったりしてついつい財布のひもが緩みがちなので、1000円札を大量に用意しておくことに越したことはないです。

ぼくはPython周りの本を中心にこんな戦利品を手に入れました!プログラミング以外では「Paper Robotics」という紙で作るロボットがあって思わず衝動買いしてしまいました。

まとめ

技術書典はいろいろな技術書が集まる祭典でした。見たことない技術なんかにも本当にワクワクするイベントでした。個人的に技術書典をより楽しむには、

  • 確実に手に入れたい本がある場合開場の1時間前にいくとよいかも。ただ整理券配布方式なので、時間は有効に使える
  • できれば大きめなリュックを持っていく。大量の1000円札は忘れずに
  • 前日までにサークルリストをざっとながめておくとよい。公式がサークルチェックリストも用意してくれているので有効に活用を!

などをやっておくといいかなと!

次回はサークル側で参加したいなと思います。

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

サンプルデータ投入済みのPostgreSQL環境をDockerを使って作成する

f:id:tadaken3:20180402204001p:plain こんにちは!
タダケン(@tadaken3)です。

SQLの練習やSQLのサンプルコードを書くときに、手軽なサンプルデータがはいったデータベースが欲しくなることってありますよね?ボクの場合、ブログでSQLの記事を書く時に、SQLのコードを試す環境があればいいのになと思う時があります。

ということで、Dockerを使ってPostgreSQLチュートリアルのサンプルデータを投入したDockerイメージを作成しました。Dockerイメージの作成手順をまとめています。1

作成したDockerイメージはDocker Hubにアップロードしていますので、データ投入済みのDockerイメージを利用したい場合は、記事の最後にあるを「データ投入済みのDockerイメージを取得する」の部分をご覧ください。

ベースとなるPostgreSQLのコンテナを作成する

まずはベースとなるpostgreSQLのコンテナを作成します。

docker runコマンドで postgreSQLのイメージからコンテナが作成しましょう。ローカルにイメージファイルがない場合は、最新版がダウンロードされます。今回はsampledbという名前でコンテナを作ります。

$ docker run --name sampledb -d  postgres

コンテナができたら、中身を確認しましょう。コンテナの中を確認するには、docker execコマンドを使います。

$ docker exec -it  sampledb /bin/bash

コンテナの中に入ったら、psqlコマンドでpostgreSQLの中身を見ていきましょう。

psqlはpostgreSQLを操作するためのコマンドです。Uオプションでユーザー名を選んで、データベースに接続します。ユーザー名をpostgresにして、データベースに接続します。

$ psql -U postgres

すると、このような感じで、psqlコマンドでデータベースと対話的に問い合わせを行えます。

f:id:tadaken3:20180402202037p:plain

psqlコマンドの使い方は以下のサイトを参考にしてみてください。

dev.classmethod.jp

Postgreチュートリアルからサンプルデータをダウンロードする

ここからは、一旦コンテナから抜けて、ホスト上で作業をします。

サンプルのデータを用意して、それをコンテナ内に設置していきましょう。サンプルデータはPostgreSQLのチュートリアルサイトからダウンロードしてきます。チュートリアルサイトにはDVDレンタルショップのデータが用意されています。サイトからzipファイルでダウンロードしましょう。

www.postgresqltutorial.com

zipファイルをダウンロードしたら、ファイル解凍します。

$ unzip dvdrental.zip

中にはdvdrental.tarというファイルが入っていいます。このファイルをリストアして、データを再現します。dvdrental.tarの中には、DVDレンタルショップにまつわる15個のテーブルが格納されています。データのテーブル間の関係を表すER図はこちらです。

f:id:tadaken3:20180331075035p:plain
DVD RENTAL SHOPのER図

ホストとコンテナ間でファイルをやり取りするにはdocker cpコマンドを使います。今回はホストからコンテナにdvdrental.tarファイルをコピーします。

# コンテナ名:ディレクトリを指定することでホストのファイルをコピーする
$ docker cp dvdrental.tar sampldb:/tmp/dvdrental.tar

これで、dvdrental.tarファイルがホストからsampledbコンテナ内の /tmpディレクトリにコピーされます。

データベースの初期化設定をする

データベースの初期化時の設定する内容は/docker-entrypoint-initdb.dにシェルスクリプトかSQLで保存します。/docker-entrypoint-initdb.d.sqlファイルや.shファイルを置いて置くことで、初回起動時に実行してくれます。

今回はcreate_db.shというファイルを用意しました。中身は以下のとおりです。

#!/bin/sh

# psqlコマンドでdvdrentalというデータベースを作成する
psql -U postgres -c "create database dvdrental"

# dvdrental.tarからリストアをする
echo "import dvd rental data..."
pg_restore -U postgres -d dvdrental /tmp/dvdrental.tar

先程、/tmpディレクトリにdvdrental.tarをコピーしたの同様に、create_db.shをコンテナにコピーします。

# create_db.shを/docker-entrypoint-initdb.dにコピーする
$ docker cp create_db.sh sampldb:/docker-entrypoint-initdb/create_db.sh

作成したコンテナからデータ投入済みのイメージを作成する

コンテナからDockerイメージを作成するには、docker commitコマンドを使用します。sampledbというコンテナをもとに、tadaken3/postgres-dvdrental-databaseというイメージを作成します。

$ docker commit sampledb tadaken3/postgres-dvdrental-database

では、作成したイメージ(tadaken3/postgres-dvdrental-database)を元にdvdrental-dbというコンテナをあらためて作ります。

$ docker run -d --name dvdrental-db tadaken3/postgres-dvdrental-database

先程、ご紹介したdocker execコマンドとpsqlコマンドを組み合わせて、きちんとデータベースが作られているか見ていきます。

$ docker exec -it dvdrental-db psql -U postgres -d dvdrental -c "\dt"

するとテーブル一覧が表示され、正しくサンプルデータが取り込まれていることが確認できました。

f:id:tadaken3:20180402202720p:plain

データ投入済みのDockerイメージを取得する

今回作成したDockerイメージはDocker Hubにアップしています。docker pullコマンドでイメージを取得することができますので、もしPostgreSQLのサンプルデータが必要な場合はぜひ活用してみてください。

$ docker pull tadaken3/postgres-dvdrental-database

Dockerfileと必要なファイルをまとめたものはこちらです。

github.com

まとめ

今回はDockerを使って、サンプルデータが投入された状態のPostgreSQL環境の作り方を紹介しました。

  • PostgreSQLのサンプルデータは、公式のチュートリアルからダウンロードできる
  • Dockerを使って、データベースの初期化設定をする場合は /docker-entrypoint-initdb.d を使う

こういった環境を用意しておくとSQLのコードを試すときに便利ですね。

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

参考資料

dev.classmethod.jp

kakakakakku.hatenablog.com


  1. 本記事では、Dockerの詳しい説明やインストール方法はこちらをご覧になってみてください。https://www.ogis-ri.co.jp/otc/hiroba/technical/docker/part1.html

【Python】誰でも簡単に予測モデルが作れるProphetでTOPIXの予測モデルを作ってみた

f:id:tadaken3:20180324123817p:plain こんにちは!
タダケン(@tadaken3)です。

今回は時系列予測ツールProphetを使って、過去のデータから未来を予言する予測モデルの作成を試してみました。 ビジネスでは日々発生する時系列データ(DAU、売上など)に対する予測を作成する必要があります。

Prophetを使うことで、とても簡単に予測モデルを作ることができます。Prophetはオープンソースで開発されておりPythonとRのライブラリが公開されています。今回はTOPIXのデータを使用して、Python版のProphetの使い方を解説します。

Prophetを使ってあなたも予言者に

PorphetとはFacebookが作成した時系列データの予測ツール です。Prophetには、「Forcasting at Scale.」というコピーが掲げられており、このような特徴があります。

  • 分析のエキスパートでなくても、簡単に時系列データの予測ができる
  • 予測モデルの結果も視覚的に把握できる
  • ドメイン知識をもとにモデル調整も直感的にできる

データを用意するだけで精度の高い予測モデルを簡単に作ることができます。また作ったモデルを視覚的に把握することができるので、モデルのチューニングも行いやすいのがメリットです。

ちなみにProphetは予言者という意味になります。

TOPIXのデータを準備する

TOPIXのcsvファイルを取得する

実際のビジネスの現場ではDAUなどKPIの予測に使うことが多いと思いますが、今回はTOPIXのデータを使用して予測モデルを作っていきます。

TOPIXのデータはWall Street Journalのサイトからダウンロードできます。今回は2000年1月1日から2018年3月23日のデータを使用しました。

Quote Not Found - Wall Street Journal

期間を指定して「DOWNLOAD A SPREADSHEET」を押します。

f:id:tadaken3:20180324111619p:plain
Wall Street Journalのサイトからデータをダウンロードする

PandasでProphetに取り込むための前処理を行う

今回はGoogle Colaboratory(以下、Colab)を用いて分析をしていきます。

まずは先程、ダウンロードしたCSVファイルをColabに取り込みます。

#CSVファイルの読み込み
from google.colab import files
uploaded = files.upload()

Colabでローカルファイルを取り扱う方法については、こちらの記事を参考にしてください。

tadaken3.hatenablog.jp

続いて、読み込んだデータをデータフレームで扱えるようにします。

# 読み込んだデータをpandasのdataframe扱えるようにする
import io
import pandas as pd
import numpy as np

df = pd.read_csv(io.StringIO(uploaded['HistoricalPrices.csv'].decode('utf-8')))

# 中身を確認する
df.head()

f:id:tadaken3:20180324111914p:plain
データの確認をする

データフレームをProphetにインプットする形に前処理をします。 ここで一つ注意があります。入力に使用するカラム名とデータの中身を以下の形式にする必要があります。

カラム名 備考
ds datetime 時系列情報(タイムスタンプ)
y 数値 実績値

また数字の変動が大きい場合は対数変換(log)をしておくと精度が上がります。 今回は、TOPIXの終値を使って、モデルを作成します。

カラム名やデータの形式をこのように変換します。 データはグラフで確認もしておきましょう。

# prophetでモデルを作成する際は、datetimeをdsカラムに、yに値を入れる。
# inputは必ずこの形式に。
%matplotlib inline
import matplotlib.pyplot as plt

df['ds'] = pd.to_datetime(df['Date']).dt.date #date型に変換
df['y']  = np.log(df[' Close']) #データの変化が大きいため、対数変換をする。
df['y'].plot()

f:id:tadaken3:20180324025829p:plain
TOPIXのデータ

これで準備が整いました。

データをもとに予測モデルを作成する

prophetのインストールとモデルの作成

まずはpipでprophetをインストールします。

!pip install fbprophet

インストールが終わったら、さっそく予測モデルを作成していきましょう。

Prophetではいろいろなパラメータをつかって予測モデルをチューニングすることができるのですが、今回はデフォルト設定で作成します。

from fbprophet import Prophet

#デフォルト設定でモデルを作成する
model = Prophet()
model.fit(df)

これで予測モデルができました。簡単ですね。

モデルをもとに未来予測をしてみる

では、作成したモデルを使って、未来予測をしてみましょう。 予言者の本領発揮です。

#モデルをもとに予測をする
# periodに期間を入れる。この場合365日分の予測値が出力される
future = model.make_future_dataframe(periods=365)
forecast = model.predict(future)
forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']].tail()

結果はデータフレームでこのような形で返ってきます。

f:id:tadaken3:20180324113056p:plain
予測モデルの結果

yhatが予測値になります。対数変換しているので、e(約2.6)をyhatの値で乗算するともとに戻せます。 この場合、2019年3月23日の予測値は約7.48なので、実際にTOPIXの値としては、1786.46になります。

数値で見てもいいのですが、Prophetにはビジュアライズの機能もあります。

#予測モデルをグラフで表示
model.plot(forecast);

f:id:tadaken3:20180324025852p:plain
Prophetの予測モデル

黒い点が実際の値、青い濃い線が予測モデルになります。2013年以降上昇トレンドがつついており、2019年も上昇するトレンドが続きそうですね。

予測モデルの構成要素

トレンドや周期性についての分析結果は、model.plot_components()にて見ることができます。

#トレンドや周期性を表示する
model.plot_components(forecast)

f:id:tadaken3:20180324030010p:plain
構成要素のグラフ
上から、トレンド性、年周期性、週周期性のグラフです。 それぞれのグラフから以下のようなことが読み取れます。

  • [トレンド性] 2012年の年末から上昇トレンド。2013年のはじめからにトレンドが緩やかになっている
  • [年周期] 2月から5月にかけては上昇する周期性がある
  • [週周期] 土日が下がっているように見えるが、これは相場閉まっているため。

直感的でわかりやすいですね。

予測モデルの精度を検証する

検証用データの生成

では続いて、この予測モデルがどれくらいの精度があるのか検証していきます。

精度検証をするには、prophetのdiagnosticsクラスを使います。 diagnosticsは日本語で「診断」という意味になります。

#diagnosticsは日本語で診断
from fbprophet import diagnostics

#精度検証をする。horizonに検証したい期間を入力する
cv = diagnostics.cross_validation(model, horizon='365 days')
cv.tail()

f:id:tadaken3:20180324113757p:plain

詳しい説明は省きますが、cross_validationメソッドを使うと、交差検証法という手法で、訓練データとテストデータに分けて、何度か予測値の算出を行ってくれます。cvの中身をを簡単に説明します。yが実績値、yhatが予測値になります。この2つの差がどれくらいあるのかを計算してモデルの精度を検証します。

MAPE(平均絶対誤差率)を使って予測モデルの精度をはかる

今回はMAPE(平均絶対誤差率)という指標を使います。実績値に対して予測値にどれくらい誤差率があるのかという指標になります。

cvのデータをもとに以下のように計算できます。

def cal_mape(df):
    return((df['yhat'] - df['y']).div(df['y']).abs().sum()*(1/len(df)))
 
cal_mape(cv)

f:id:tadaken3:20180324115349p:plain
MAPEの計算。画像では他の指標も算出はしています。

今回モデルで365日の予測を行った場合のMAPEの値は2.8%でした。MAPEは小さいほど精度が高いということになります。

上記に加えて、100日、150日、200日、250日ごとにMAPEの値を計算するとこのようになります。

f:id:tadaken3:20180324115117p:plain

150日を超えたあたりから予測の精度が低下していますね。 実際はここからモデルを調整して予測の精度を上げていくことになります。

まとめ

Prophetの基本的な使い方を解説しました。 Prophetは簡単に時系列分析ができ、非常に強力なツールですので、ぜひみなさんも試してみてはいかがでしょうか。

今回、実施祭に使用したColabのノートブックはこちらになります。 実際に試してみたい方はぜひ参考にしてみてください。

drive.google.com

参考資料

facebook.github.io

d.hatena.ne.jp

data.gunosy.io

funyakofunyao.click

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

↓Twitterもやっています。 twitter.com

免責事項:当ブログのご利用につきましては、全ては自己責任、自己判断でお願いいたします。何らかのトラブルや損失・損害等発生した場合、当ブログでは一切の責任を負いかねます。投資は自己責任で。

tadaken3.hatenablog.jp

すぐに使える! 業務で実践できる! Pythonによる AI・機械学習・深層学習アプリのつくり方

すぐに使える! 業務で実践できる! Pythonによる AI・機械学習・深層学習アプリのつくり方

Google ColaboratoryでTwitterのツイート数を可視化してみる

f:id:tadaken3:20180311235628p:plain

こんにちは!
タダケン(@tadaken3)です。

前回はGoogle Colaboratoryの使い方をご紹介しました。

tadaken3.hatenablog.jp

今回はGoogle Colaboratoryを使ってTwitterのデータからツイート数を時系列で集計し可視化していきます。

上記の分析を通して、本記事の中では、

  • Google ColaboratoryでローカルPCにあるデータを取り込む方法
  • Google Colaboratoryで分析した結果をローカルPCに保存する方法

といったローカルPCのデータをGoogle Colaboratoryで取り扱い方法をご紹介します。

データ分析においては機械学習や多変量解析といった手法ばかりが注目されがちですが、適切な課題設定とデータの前処理をきっちりと行なうことが非常に重要です。

ツイート履歴のCSVファイルを取得する

全ツイートの履歴は公式ページの設定から取得できます。

「設定とプライバシー」をクリックします。 f:id:tadaken3:20180311234319j:plain

画面下の方にあるコンテンツのところから全ツイートのデータをメールで送ることができます。 f:id:tadaken3:20180311234333j:plain

しばらくするとメールが送られきます。添付のZipファイルにTweets.csvというファイルがあります。この中にツイートの履歴データが入っています。 f:id:tadaken3:20180311234346j:plain

ローカルにあるCSVファイルをColaroratoryに取り込む

それではさっそく、取得したTweets.csvをColaboratoryに取り込んでいきましょう。

ローカルのファイルを読み込むにはgoogle.colabモジュールのfilesクラスを使います。google.colabはColaboratoryのためのモジュールです。filesクラスでは、その名の通りファイル関連をあつかうクラスとなります。

ローカルPCにあるファイルをColaboratoryにアップロードするにはfilesクラスのuploadメソッドを使用します。 Colaroratoryのセルに以下のようにコードを書いて実行してみてください。

# ファイルの読み込みも可能
from google.colab import files

uploaded = files.upload()

するとColaboratoryのセルの下にファイルをアップロードするためのボタンが表示されました。 ここからローカルのファイルを選択して、アップロードします。

f:id:tadaken3:20180311234659j:plain

ファイルを選択して、アップロードが終了すると、変数「uploaded」の中に

{ファイル名:コンテンツ}

という形で、ディクショナリとして、データが格納されます。

pandasで日付ごとにツイート数を集計していく

ここからは、Pythonのデータ分析ライブリPandasを使って、データを集計してきます。 まずは、読み込んだデータをPandasのDataframeで扱えるようにします。

以下のコードをセルで実行してみてください。

# 読み込んだデータをpandasのdataframeで扱えるようにする
import pandas as pd
import io

df = pd.read_csv(io.StringIO(uploaded['tweets.csv'].decode('utf-8')))

# 中身を確認する
df.head()

データがdataframeで扱えるようになっていますね。

f:id:tadaken3:20180311234856j:plain

あとは、このデータを使って、グラフを表示するところまで一気にやってみましょう。 データを可視化するにはmatplotlibを使います。

import matplotlib.pyplot as plt

# timestampをもとにdate列を作成
df['timestamp'] = pd.to_datetime(df['timestamp'])
df['date'] = df['timestamp'].dt.date

#日付ごとの集計する
tweets_cnt = df.groupby('date').size()

# グラフを表示する
tweets_cnt.plot()

上記のコードを実行するとグラフが表示されます。

f:id:tadaken3:20180311233750p:plain

2017年の初め頃に、スパイクしていますね。暇だったのか、Botが暴発したのでしょうね(適当)

作成したグラフを画像ファイルとしてローカルに保存する

では、作成したグラフをローカルPCに保存してみましょう。 google.colabモジュールのfilesクラスのdownloadメソッドを使うことで、ファイルをダウンロードできます。

# グラフを表示する
tweets_cnt.plot()

# ローカルにグラフを保存する
filename = 'tweet_cnt.png'
plt.savefig(filename)
files.download(filename) 

コードを実行するとダイアログが表示されるのでファイルの保存場所を指定します。

f:id:tadaken3:20180311233725p:plain

指定したフォルダにtweet_cnt.pngが保存されます。 今回は画像ファイルをダウンロードしましたが、CSVファイルなどももちろんダウンロードできます。

まとめ

今回は以下のテクニックをご紹介しました。

  • Google ColaboratoryでローカルPCにあるデータを取り込む
  • Google Colaboratoryで分析した結果をローカルPCに保存する

Google Colaboratoryを使っていろいろと分析してみるとおもしろいですね。 ぜひ、いろいろ試してみたください。

2018年3月21日追記

Google Colaboratoryで、ツイートの内容のテキストマイニング(Wordcloud・Word2vec)を試されたからあげさん(id:karaage)の記事です。 こちらも参考になるかと思います!

karaage.hatenadiary.jp

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

参考リンク

ツイート数の可視化ネタは、以下のブログ記事を参考にさせていただきました。

temcee.hatenablog.com

Google Colaboratoryを使えばブラウザ上でPythonの実行環境が簡単に手に入る

f:id:tadaken3:20180308192136p:plain こんにちは!
タダケン(@tadaken3)です。

Googleが機械学習の教育や研究用に提供しているGoogle Colaboratoryを試してみました。ColaboratoryはJupyter notebookを基盤としたオープンソースプロジェクトです。Chromeのデスクトップ版で動作します。

Colaboratoryを使えば、Chromeブラウザ上で無料でPythonの実行環境を手に入れる ことができます。今回は、Colaboratoryの使い方を解説します。

バリバリのデータ分析者にも、Pythonでプログラミングを学んでみたいと思っている初学者にもおすすめのツールです。

そもそもJupyter notebookとは

Jupyter notebookはPythonの対話型実行環境をより便利に拡張した環境です。Pythonのプログラムをすぐに実行し、結果を表やグラフですぐに確認できるため、データ解析や機械学習など、試行錯誤しながら、データを扱う場合に、とても役立つツールです。

Jupyter notebookについては、以下のブログを参考にしてみてください。

news.mynavi.jp

Jupyter notebookは、対話しながらPythonプログラムを実行できるので、試行錯誤しながらコードをかくことができます。

そのため、Python初心者にも最適だったりするのですが、いかんせん、Pythonの環境を用意した上で、さらにJypyter notebookをインストールしたりしないといけません。ほかにも、Windowsで日本語を扱おうとすると文字化けしたりなどもします。

プログラミングを学ぶ上では最適なのですが、環境構築に若干難があり、プログラミングが全くの初心者には、敷居があるのが事実です。いわゆる環境構築の壁です。プログラミングを学ぶ前に環境構築で躓いてしまうパターンです。

ですが、Google Colaboratoryであれば、ブラウザひとつで、Pythonの実行環境が作れてしまいます。

f:id:tadaken3:20180308190518p:plain
実際のGoogle Colaboratoryの画面

Google Colaboratoryを起動する

さっそく、Google Colaboratoryを使っていきましょう。

Google ColaboratoryのサイトにChromeブラウザでアクセスするだけです。

https://colab.research.google.com/

はじめて起動すると、チュートリアル用のnotebookが開きます。初回以降は、直近に開いていたnotebookが立ち上がります。

f:id:tadaken3:20180308183653p:plain

notebookを新規作成するには、「ファイル>Python 3 のノートブックを新規作成」をクリックします。Python 2 とPython 3の違いはPython自体のバージョンの違いです。

f:id:tadaken3:20180308184407j:plain

すると以下のようにまっさらなnotebookが立ち上がります。

f:id:tadaken3:20180308183723p:plain

ここにコードを書いていきます。

Google ColaboratoryでPythonのコードを実行する

Colaboratoryには、セルという概念があります。複数行のコードを実行し、その結果を見て、コンピュータとあたかも対話しながら、コードを書いていくことができます。

さっそく、この部分に

f:id:tadaken3:20180308183900j:plain

print('Hello Colaboratory')

と入力してみて、「Shift + Enter」を押してみてください。すると「Hello Colaboratory」が実行結果として返ってきます。

f:id:tadaken3:20180308183929p:plain

セルはどんどん足していくことができます。では、セルを追加してみましょう。セルを追加するには、「コード」をクリックします。すると新しいセルが追加されました。

f:id:tadaken3:20180308184104j:plain

追加されたセルに以下のコードを打ち込んで、さきほどと同様に「Shift + Enter」を実行してみてください。

import datetime

today = datetime.date.today()
print(today)

今度は今日の日付が表示されました。

f:id:tadaken3:20180308184127p:plain

Colaboratoryはセル単位でコードを実行できる点が特徴です。ファイルを読み込んだり、集計したデータを加工したり、グラフに表示したりといったこと、少しずつ確認しながらすすめることができ、データ分析の環境ではよく使われています。

試行錯誤しながらコードを書くことができるので、Pythonの学習にも最適です。

セルを削除するには、セルの右上にあるメニューから「ゴミ箱」ボタンを押すと削除されます。

f:id:tadaken3:20180308184254j:plain

作成したnotebookを保存する

notebookの名前は左上でのタイトル部分で直接編集できます。

今回は「first_step.ipynb」という名前で保存します。

「.ipynb」という拡張子は、Jypyter notebookがもともとIPython Notebookだったことによるものです。

f:id:tadaken3:20180308184429p:plain

notebookを保存するには「ファイル>保存」をクリックします。

f:id:tadaken3:20180308184545j:plain

notebookはGoogle Drive上に保存されます。無事にnotebookが保存されていますね。

f:id:tadaken3:20180308185859j:plain

まとめ

Google Colaboratoryの基本的な使い方をご紹介しました。Google Colaboratoryには

  • Google ColaboratoryはJupyter notebookベースのPythonの対話型実行環境
  • Google ColaboratoryはChromeブラウザがあれば無料で利用できる
  • コードはセル単位で実行し、結果を確認しながらコーディングできる
  • ファイルはGoogle Driveに保存

といった特徴があります。次回は、Twitterのデータを使ってGoogle ColaboratoryでローカルPCにあるファイルを取り込む方法をお伝えします。

tadaken3.hatenablog.jp

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

↓Twitterもやっています。 twitter.com

tadaken3.hatenablog.jp

みんなのPython 第4版

みんなのPython 第4版

【SQL】CASE式を使ってアンケートのデータを集計する

f:id:tadaken3:20180223221620p:plain こんにちは!
タダケン(@tadaken3)です。

ふだん、データアナリストとして、いろいろなデータを集計し分析しています。 アクセスログなどはもちろんお客様から取得したアンケートのデータを集計することもあります。

今回はSQLを使ってアンケート結果を集計する場合の基本的な内容1をまとめてみました。

アンケートの中身を確認する

例えば、以下のようなアンケートがあったとします。

アンケート Q1. あなたの好きな食べ物は?(いくつでも)
1. バナナ
2. リンゴ
3. ぶどう

Q2. あなたの性別は?
1. 男性
2. 女性

Q3. あなたの名前は?(自由記述)

好きな食べ物に関するアンケートですね。 このアンケートの回答結果がこのようになりました。

SELECT * FROM answer;

f:id:tadaken3:20180223213832p:plain

バナナを好きと回答した人には、q1_1のカラムに1が入っており、 同様にリンゴを好きと回答した人には、q1_2のカラムに1が入っています。 nameには記載してもらった名前、genderには性別の情報が保存されています。

このデータをSQLで集計してみましょう。

単純な集計をする

アンケートを集計する際にはN表(回答数)と%表(回答割合)を集計することが多いです。 まずは単純にQ1のアンケート結果を集計するSQLを紹介します。

-- 単純集計 N表
SELECT
   count(CASE WHEN q1_1=1 THEN name ELSE null END) AS q1_1
  ,count(CASE WHEN q1_2=1 THEN name ELSE null END) AS q1_2
  ,count(CASE WHEN q1_3=1 THEN name ELSE null END) AS q1_3
  ,count(name) AS n
FROM answer

CASE式で、q1_1に1が入っている場合のみnameを集計します。 結果はこのようになります。CASE式を使ってデータの縦持ちから横持ちに変換します。

f:id:tadaken3:20180223213917p:plain

回答者数が5人で、

  • バナナ(q1_1)を好きな人が2人
  • リンゴ(q1_2)を好きな人が2人
  • ぶどう(q1_3)を好きな人が3人

ということがわかりました。

続いて、回答比率(%表)を集計してみましょう。

-- 単純集計 %表
WITH src AS (
SELECT
   count(CASE WHEN q1_1=1 THEN name ELSE null END) AS q1_1
  ,count(CASE WHEN q1_2=1 THEN name ELSE null END) AS q1_2
  ,count(CASE WHEN q1_3=1 THEN name ELSE null END) AS q1_3
  ,count(name) AS n
FROM answer
) 
SELECT
   q1_1 / n as q1_1
  ,q1_2 / n as q1_2
  ,q1_3 / n as q1_3
  ,n
FROM src

WITHでN数(サンプル数)を集計し、各回答結果をN数で割ってあげます。 Window関数などを使っても集計できますが、個人的にはWITH句を使ったほうが可読性が高いと思います。

結果はこのとおりです。

f:id:tadaken3:20180223214233p:plain

バナナを好きな人は、全体の約4割(2/5)です。

クロス表を集計する

続いてアンケートでよくあるクロス集計を行ってみましょう。 今回の場合、性別ごとに好きな食べ物に違いがないか集計してみます。

---クロス集計 N表
SELECT
   gender
  ,count(CASE WHEN q1_1=1 THEN name ELSE null END) AS q1_1
  ,count(CASE WHEN q1_2=1 THEN name ELSE null END) AS q1_2
  ,count(CASE WHEN q1_3=1 THEN name ELSE null END) AS q1_3
  ,count(name) AS n
FROM answer
GROUP BY gender

N表はこちらです。GROUP BYでgenderを指定してあげるだけでOKです。

f:id:tadaken3:20180223214358p:plain

回答者のうち、男性が3人、女性が2人ということがわかりましたね。

つづいて%表も見ていきましょう。

---クロス集計 %表
WITH src AS (
SELECT
   gender
  ,count(CASE WHEN q1_1=1 THEN name ELSE null END) AS q1_1
  ,count(CASE WHEN q1_2=1 THEN name ELSE null END) AS q1_2
  ,count(CASE WHEN q1_3=1 THEN name ELSE null END) AS q1_3
  ,count(name) AS n
FROM answer
GROUP BY gender
) 
SELECT
   gender
  ,q1_1 / n as q1_1
  ,q1_2 / n as q1_2
  ,q1_3 / n as q1_3
  ,n
FROM src

%表はこちらです。先程と同様にN数部分をWITHで集計し、各設問の回答数をN数で割ることによって比率を算出します。

f:id:tadaken3:20180223214459p:plain

まとめ

今回はSQLを使って、アンケートのデータを集計する方法をお伝えしました。

コツは

  • CASE式を使ってデータの持ち方をかえる
  • WITH句でN数を先に計算してから比率を集計する

でした。2

読者登録をお願いします

本ブログではプログラミング、データ分析についてボクが学んだことを公開しています。 よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。


  1. Postgresql / Redshift / HIVEではうまく動作すると思います。

  2. 複数回答をデータを使っていますが、単一回答でもデータの持ち方が同じであれば、SQLはそのまま使えます。

SketchでMacアプリのアイコンを作成する

f:id:tadaken3:20180213235024p:plain こんにちは!
タダケン(@tadaken3)です。

最近、electron + ReactでMarkdown エディタ(Macアプリ)を作っています。 Reactの勉強用に作っているのですが、オリジナルのアイコンがあった方が気分が高まりますよね。

今回はSketchを使ってMacアプリのアイコンの作り方をまとめてみました。

Sketchでアイコン用の素材を用意する

アイコンの画像はSketchで作成します。 512 x 512pxのアートボードを用意し、そこに好きなようにアイコンを作成します。 とくに意味はありませんが、富士山を描いてみました。1

f:id:tadaken3:20180213225747p:plain

アイコンを作成するには以下のサイズの画像を用意する必要があります。

  • icon_512x512@2x.png (1024px)
  • icon_512x512.png
  • icon_256x256@2x.png
  • icon_256x256.png
  • icon_128x128@2x.png
  • icon_128x128.png
  • icon_32x32@2x.png
  • icon_32x32.png
  • icon_16x16@2x.png
  • icon_16x16.png

ちょっと大変そうですね。でも安心してください。

Sketchでは画像サイズを変更してexportする機能があります。

サイズを2xとすると、元のサイズの2倍に、256wと指定するとサイズを256pxでexportされます。ファイル出力時にPrefix/Suffixを指定することもできます。プリセットに登録すれば、これらの設定を再利用することも可能です。

f:id:tadaken3:20180213230328p:plain
exportの設定

実際の出力結果はこのとおりです。「XXXX.iconset」というディレクトリに保存します。XXXXの部分はアプリ名などを入れてください。

f:id:tadaken3:20180213230929p:plain

各サイズのPNGを合体させ、1つのアイコンファイルにする

さてPNGが揃ったら、あとはそれをアイコンファイル(.icns)にするだけです。

まずは、ターミナルを起動します。

Macにはicon作成用のiconutilというコマンドが用意されているので、先程画像を入れたディレクトリに対して、以下のコマンドを実行します。

$ iconutil -c icns XXX.iconset

すると、「XXX.icns」というファイルが作成されます。こちらがMacアプリのアイコン素材になります。f:id:tadaken3:20180213231631p:plain

electronのアプリにアイコン画像を設定する

アプリをパッケージングするのにはelectron-packagerを使用します。その際に、iconオプションでicon.icnsファイルの場所を指定するとアプリのアイコンがパッケージングされます。

$ electron-packager . sample --platform=darwin --arch=x64  --icon=images/icon.icns

一番下が今回作成したアイコンです。

f:id:tadaken3:20180213232522p:plain

まとめ

SketchでMacアプリのアイコン画像を作成する方法をお伝えしました。

  • Sketchで512 x 512pxでアイコン画像を作成する
  • Sketchのexport機能で必要な画像サイズを書き出す
  • Macのiconutilコマンドで一つにまとめる

オリジナルのアイコンがあるとそれだけでテンションが上りますね。 ちなみに作成しているMarkdown Editorはこちらです。プルリクお待ちしております。

github.com

読者登録をお願いします

本ブログではプログラミング、アプリ開発についてボクが学んだことを公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。


  1. 本職がデザイナーではない上、Sketchを使い始めたばかりなので、デザインセンスはご了承ください。