タダケンのEnjoy Tech

楽しみながらラクに成果を上げる仕組みを考える

JSONデータをjqコマンドを使ってシュッと加工する

f:id:tadaken3:20180523231854p:plain こんにちは!
タダケン(@tadaken3)です。

最近、Nintendo Laboのリモコンカーにハマっています。リモコンって大人になってもおもしろいですね。

プログラミングやデータを分析をしているとJSON形式のデータを扱うことが多いと思います。今回はJSON形式のデータをシュッと加工できるjqというツールをご紹介します。

jqとは

jqとはJSONデータからいい感じにデータを加工するコマンドラインツールです。APIをコールしたりすると、JSONで返ってくることがほとんどだと思います。そんなときちょいちょいと加工するときにとても便利です。1

Macにjqをインストールする

今回はMacにHomebrewを使ってインストールします。[^1]HomebrewとはMacOS用のパッケージ管理ツールです。ぼくは基本的に何かツールを入れる際はなるべくHomebrewを介してインストールするようにしています。

Homebrewをソフトウェアやライブラリを導入するのが楽になりますし、ソフトウェアのアップデートなどもおこないやすくなります。詳しくは以下の記事を見てみてください。Homebrewについての解説記事はいつか書きたいなと思います。

macOS 用パッケージマネージャー — macOS 用パッケージマネージャー

さて、話が少し脱線してしまいましたが、jqをbrewを使ってインストールします。ターミナルで以下のコマンドを実行するとjqがインストールされます。

$ brew install jq

インストールが終わったら、jqが正しく動作するか確認します。

以下のコメンドを実行してコマンドのヘルプが表示されるか確認しましょう。

$ jq --help

このようにhelp画面が表示されたらオッケーです。

f:id:tadaken3:20180523215800p:plain

jqを使ってJSONを加工する

サンプルデータの作成

まず、サンプルデータを作成します。sample.jsonというファイルにJSON形式でデータを保存します。

ちなみにデータの中身はぼくが欲しいものです。プレゼントは誕生日の前後365日間受け付けております。

$ echo '{"items":[{"item_id":1,"name":"スタンディングデスク","price":30000},{"item_id":2,"name":"Oculus Go","price":25000}]}'  >> sample.json

実行すると、sample.jsonが作成されていると思います。

jqコマンドを使ってJSONデータをいい感じに表示する

では、さっそくjqコマンドを試していきましょう。

まず、jsonデータの中身を確認します。JSONはいかんせん、見にくいので、jqを使うといい感じに整形して表示してくれます。

サンプルのコマンドを見るとjqのあと「.」(ドット)がありますが、これは「ルート」を表しています。JSONはだいたい入れ子になっているかと思いますが、「.」(ドット)は起点から表示させるという意味になります。

$ jq . sample.json 
{
  "items": [
    {
      "item_id": 1,
      "name": "スタンディングデスク",
      "price": 30000
    },
    {
      "item_id": 2,
      "name": "Oculus Go",
      "price": 25000
    }
  ]
}

さきほどのjsonデータがいい感じに表示されていますね。

jqコマンドを使ってJSONデータからデータを抽出する

では続いて、jqのフィルタを使って、中身を取り出していきましょう。

JSONデータを見るとitemsのなかに配列でデータがはいっています。例えば、itemsの一つ目のデータを取得してい場合は.items[0]と指定します。

$ jq '.items[0]' sample.json
{
  "item_id": 1,
  "name": "スタンディングデスク",
  "price": 30000
}

「スタンディングデスク」の情報が取得できましたね。

では今度はitemsの中に入っているjsonからnameのデータだけ抜き出していきます。フィルタは'.items[].name'のように書きます。

$ jq '.items[].name' sample.json
"スタンディングデスク"
"Oculus Go"

見事に「スタンディングデスク」と「Oculus Go」が表示されました。

ちなみにダブルクォートを消したいときは、-rオプションを使います。ほかのコマンドにパイプで渡したいときに使います。

$ jq  -r '.items[].name' sample.json
スタンディングデスク
Oculus Go

いやすごい便利ですね。

長くなってきたので、今回は説明を省略しますが、jqにはほかにも強力な機能があって、オブジェクトを作ったり、CSV形式に変換したいといったこともできます。 例えば、以下のようにフィルタを設定してあげると、ヘッダーを付けて、カンマ区切りでデータを出力できます。

jq  '["name", "price"],  ( .items[] | [ .name, .price] ) | @csv ' sample.json
"name","price"
"スタンディングデスク",30000
"Oculus Go",25000

まとめ

今回、jsonを加工するための、jqコマンドをご紹介しました。まとめると

  • jqコマンドを使うとJSONをコマンドでいい感じに加工できる
  • 「.」(ドット)がルートを表す
  • フィルタを使って中身のデータを抽出していく

です。jqコマンドはとても強力なので、JSONを加工するときは非常に強い味方になってくれるはずです!

参考資料

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。


  1. 今回はMacでのインストール方法を紹介していますが、LinuxやWindows版もあります。

テーブル作成権限がないときにSQLで擬似テーブルを作成する方法

f:id:tadaken3:20180508212442p:plain こんにちは!
タダケン(@tadaken3)です。

データ分析をしていて、「ちょっとしたテーブルを作りたいな〜。けど、テーブルを作成する権限ないわ〜。つらたん」ってときありませんか? ありますよね?

そんなときにWITH句を使ってちょっとしたテーブルを作成する方法をご紹介します。

標準SQLの場合

WITH mst_human_sex AS (
             SELECT 0 AS sex, '不明' AS sex_name
   UNION ALL SELECT 1 AS sex, '男性' AS sex_name
   UNION ALL SELECT 2 AS sex, '女性' AS sex_name
   UNION ALL SELECT 9 AS sex, '適用不能' AS sex_name )
SELECT *
FROM mst_human_sex;

SELECTとUNION ALLを組み合わせてテーブルを作ります。結果はこのようになります。 標準SQLに準拠しているため、多くのデータベースで動くと思います。

sex sex_name
0 不明
1 男性
2 女性
9 適用不能

UNION ALLが比較的重たい処理なので、レコード数が多くなってくるとパフォーマンスに影響が出てくるかもです。

PostgreSQLの場合

PostgreSQLでは同様のことをVALUES句を使って実現できます。可読性も上がりますし、パフォーマンスも優れているため、出来る限りVALUSE句を使って疑似テーブルを作成したほうがよいでしょう。1

WITH mst_human_sex (sex, sex_name) AS (
   VALUES
    (0 , '不明') 
 ,  (1 , '男性')
 ,  (2 , '女性')
 ,  (3 , '適用不能')
)
SELECT *
FROM mst_human_sex;

ちなみに、PostgreSQLの場合、VALUES句はSELECT句と等価なため、SELECTが使えるところなら、どこでも使えます。例えば、

VALUES (1, 'one'), (2, 'two'), (3, 'three') 
ORDER BY 1 desc;

とすると

COLUMN1 COLUMN2
3 three
2 two
1 one

のようにORDER BYも適応されてカラム1の降順で返ってきます。

連番を用いてテーブルを作成する

連番を生成したいときは、generate_series関数が使えます。

WITH series AS
-- 1から5までの連番を作成する
  (SELECT generate_series(1, 5) AS idx)
SELECT *
FROM series;
idx
1
2
3
4
5

まとめ

今回、テーブル作成権限がない場合にちょっとした疑似テーブルを作成する方法をお伝えしました。疑似テーブルはあくまで一時的なものなので、継続的な利用が見込まれたり、他のSQLで使用するシーンがでてきたら、きちんとテーブルとして準備するようにしましょう!

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。


  1. PostgreSQLと書いていますが、SQL-99に準拠しているものはVALUESが使えます。

新しい技術に出会える熱いイベント! 「技術書典4」の参加レポート

f:id:tadaken3:20180422221923p:plain こんにちは!
タダケン(@tadaken3)です。

今日は、秋葉原UDXで開催された技術書典4というイベントに参加してきました。参加レポートをまとめてみました。

技術書典とは

技術書典とは、「技術書」をテーマとする同人イベントです。誰でもお世話になったであろう「技術書」がたくさん集まっているイベントです。それだけでワクワクしますね。技術書典のWebサイトに、イベントの主旨が説明されていますので引用します。

新しい技術に出会えるお祭りです。 技術書典は、いろんな技術の普及を手伝いたいとの想いではじまりました。 技術書を中心として出展者はノウハウを詰め込み、来場者はこの場にしかないおもしろい技術書をさがし求める、技術に関わる人のための場として『技術書典』を開>催します。

過去に3回開催されており、今回は4回目の開催だったようです。ちなみに僕は初参加です。東京はこういうニッチだけど濃いイベントがたくさん開催されているのがいいですよね。前回の技術書典3では、サークル数は合計193サークル(個人170・企業23)、来場者数は3100人だったそうです。すごいですね。

技術書展の当日の様子

入場まで

11時開場とのことだったので、1時間前の10時に秋葉原駅に到着しました。今日はめっちゃ天気が良くて良かったです。さっそく会場のUDXに向かうとすごい人でした。

f:id:tadaken3:20180422102028j:plain
整理券配布の並び列

技術書展では整理券による入場制度が採用されていました。

①まず、整理券をもらうために並ぶ ②整理券に記載されている番号で順番に入場できる

といった感じです。入場できる番号は技術書典のサイトで確認できます。今回は1時間前にいって、整理券をもらうのに10分程度並びました。整理券番号は393番でした。

整理券をもらったあとはプロントで朝食を食べながら、開場まで待機していました。開場11時時点では整理券番号500まで入場できたので、開場後すぐに入場することができました。確実に欲しい本がある場合は、一時間前ぐらいには会場にいっておくことをおすすめします。

f:id:tadaken3:20180422202035j:plainf:id:tadaken3:20180422202707p:plain
入場できる整理券番号はサイト上で確認できる。

並んでいる間、運営さんの「技術季報」を1000円で買うこともできるので、サークルマップや寄稿記事を読みながら入場まで待ちます。ちなみにサークルマップ、サークルリストは公式サイトからも確認できます。また、「技術季報」は入場してから買うこともできます。

f:id:tadaken3:20180422204953j:plainf:id:tadaken3:20180422205004j:plain
技術季報

会場にはこんなポスターが貼られてました。自分で写真を撮るの忘れたでのTwitterから引用させていただきます。

サークル会場の様子

開場時間の11時をすぎると、前の列から運営さんに案内され順々に入場してきます。

まず、会場に入るとすごい熱気でした!

「技術季報」にのっていたサークルリストを数えると、今回の技術書典4は、なんと246ものサークルが参加されていたようです。前回が193なので、50以上も参加サークルが増えているのですね。年々規模が大き聞くなっているようですね。

ちなみに、会場に入るとまずトートバックがもらえます。この中に手に入れた戦利品を入れていくことになります。ただあくまで簡易用のトートバックなので、大きめのリュックなどを持参するほうが良いと思います。両手が空いていると見本誌なども読みやすいので。

f:id:tadaken3:20180422210518j:plain
入場時にもらえるトートバック

販売されている技術書は、ソフトウェア(プログラミングやデザイン、プロジェクト運営など)に関するものから、ハードウェア(ラズパイや電子工作など)まで、さまざまな分野のものがあります。

ブロックチェーンに関する書籍やチャットボット、スマートスピーカーのスキル開発に関する本など、今流行りの技術に関する書籍なども見られました。1冊だいたい500円から1500円ぐらいです。感覚的には1冊1000円のものが一番多かった気がします。だいたいどのサークルも見本誌を用意してくれているので、手にとって内容を確認することができます。

本を選ぶのに夢中で会場の写真を取っていなかったので、またまたTwitterから引用させていただきます。

200を超えるサークルが参加していることもあり、前日までに、ざっとサークルリストに目を通しておくと効率的にサークルを回れます。技術書典公式サイトでは、アカウント登録すると、サークルリストチェックリストが使えるので、そちらを活用するのもいいと思います。

サークルを回っているうちに、今まで知らなかった技術やおもしろそうな技術の本が見つかったりしてついつい財布のひもが緩みがちなので、1000円札を大量に用意しておくことに越したことはないです。

ぼくはPython周りの本を中心にこんな戦利品を手に入れました!プログラミング以外では「Paper Robotics」という紙で作るロボットがあって思わず衝動買いしてしまいました。

まとめ

技術書典はいろいろな技術書が集まる祭典でした。見たことない技術なんかにも本当にワクワクするイベントでした。個人的に技術書典をより楽しむには、

  • 確実に手に入れたい本がある場合開場の1時間前にいくとよいかも。ただ整理券配布方式なので、時間は有効に使える
  • できれば大きめなリュックを持っていく。大量の1000円札は忘れずに
  • 前日までにサークルリストをざっとながめておくとよい。公式がサークルチェックリストも用意してくれているので有効に活用を!

などをやっておくといいかなと!

次回はサークル側で参加したいなと思います。

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

サンプルデータ投入済みのPostgreSQL環境をDockerを使って作成する

f:id:tadaken3:20180402204001p:plain こんにちは!
タダケン(@tadaken3)です。

SQLの練習やSQLのサンプルコードを書くときに、手軽なサンプルデータがはいったデータベースが欲しくなることってありますよね?ボクの場合、ブログでSQLの記事を書く時に、SQLのコードを試す環境があればいいのになと思う時があります。

ということで、Dockerを使ってPostgreSQLチュートリアルのサンプルデータを投入したDockerイメージを作成しました。Dockerイメージの作成手順をまとめています。1

作成したDockerイメージはDocker Hubにアップロードしていますので、データ投入済みのDockerイメージを利用したい場合は、記事の最後にあるを「データ投入済みのDockerイメージを取得する」の部分をご覧ください。

ベースとなるPostgreSQLのコンテナを作成する

まずはベースとなるpostgreSQLのコンテナを作成します。

docker runコマンドで postgreSQLのイメージからコンテナが作成しましょう。ローカルにイメージファイルがない場合は、最新版がダウンロードされます。今回はsampledbという名前でコンテナを作ります。

$ docker run --name sampledb -d  postgres

コンテナができたら、中身を確認しましょう。コンテナの中を確認するには、docker execコマンドを使います。

$ docker exec -it  sampledb /bin/bash

コンテナの中に入ったら、psqlコマンドでpostgreSQLの中身を見ていきましょう。

psqlはpostgreSQLを操作するためのコマンドです。Uオプションでユーザー名を選んで、データベースに接続します。ユーザー名をpostgresにして、データベースに接続します。

$ psql -U postgres

すると、このような感じで、psqlコマンドでデータベースと対話的に問い合わせを行えます。

f:id:tadaken3:20180402202037p:plain

psqlコマンドの使い方は以下のサイトを参考にしてみてください。

dev.classmethod.jp

Postgreチュートリアルからサンプルデータをダウンロードする

ここからは、一旦コンテナから抜けて、ホスト上で作業をします。

サンプルのデータを用意して、それをコンテナ内に設置していきましょう。サンプルデータはPostgreSQLのチュートリアルサイトからダウンロードしてきます。チュートリアルサイトにはDVDレンタルショップのデータが用意されています。サイトからzipファイルでダウンロードしましょう。

www.postgresqltutorial.com

zipファイルをダウンロードしたら、ファイル解凍します。

$ unzip dvdrental.zip

中にはdvdrental.tarというファイルが入っていいます。このファイルをリストアして、データを再現します。dvdrental.tarの中には、DVDレンタルショップにまつわる15個のテーブルが格納されています。データのテーブル間の関係を表すER図はこちらです。

f:id:tadaken3:20180331075035p:plain
DVD RENTAL SHOPのER図

ホストとコンテナ間でファイルをやり取りするにはdocker cpコマンドを使います。今回はホストからコンテナにdvdrental.tarファイルをコピーします。

# コンテナ名:ディレクトリを指定することでホストのファイルをコピーする
$ docker cp dvdrental.tar sampldb:/tmp/dvdrental.tar

これで、dvdrental.tarファイルがホストからsampledbコンテナ内の /tmpディレクトリにコピーされます。

データベースの初期化設定をする

データベースの初期化時の設定する内容は/docker-entrypoint-initdb.dにシェルスクリプトかSQLで保存します。/docker-entrypoint-initdb.d.sqlファイルや.shファイルを置いて置くことで、初回起動時に実行してくれます。

今回はcreate_db.shというファイルを用意しました。中身は以下のとおりです。

#!/bin/sh

# psqlコマンドでdvdrentalというデータベースを作成する
psql -U postgres -c "create database dvdrental"

# dvdrental.tarからリストアをする
echo "import dvd rental data..."
pg_restore -U postgres -d dvdrental /tmp/dvdrental.tar

先程、/tmpディレクトリにdvdrental.tarをコピーしたの同様に、create_db.shをコンテナにコピーします。

# create_db.shを/docker-entrypoint-initdb.dにコピーする
$ docker cp create_db.sh sampldb:/docker-entrypoint-initdb/create_db.sh

作成したコンテナからデータ投入済みのイメージを作成する

コンテナからDockerイメージを作成するには、docker commitコマンドを使用します。sampledbというコンテナをもとに、tadaken3/postgres-dvdrental-databaseというイメージを作成します。

$ docker commit sampledb tadaken3/postgres-dvdrental-database

では、作成したイメージ(tadaken3/postgres-dvdrental-database)を元にdvdrental-dbというコンテナをあらためて作ります。

$ docker run -d --name dvdrental-db tadaken3/postgres-dvdrental-database

先程、ご紹介したdocker execコマンドとpsqlコマンドを組み合わせて、きちんとデータベースが作られているか見ていきます。

$ docker exec -it dvdrental-db psql -U postgres -d dvdrental -c "\dt"

するとテーブル一覧が表示され、正しくサンプルデータが取り込まれていることが確認できました。

f:id:tadaken3:20180402202720p:plain

データ投入済みのDockerイメージを取得する

今回作成したDockerイメージはDocker Hubにアップしています。docker pullコマンドでイメージを取得することができますので、もしPostgreSQLのサンプルデータが必要な場合はぜひ活用してみてください。

$ docker pull tadaken3/postgres-dvdrental-database

Dockerfileと必要なファイルをまとめたものはこちらです。

github.com

まとめ

今回はDockerを使って、サンプルデータが投入された状態のPostgreSQL環境の作り方を紹介しました。

  • PostgreSQLのサンプルデータは、公式のチュートリアルからダウンロードできる
  • Dockerを使って、データベースの初期化設定をする場合は /docker-entrypoint-initdb.d を使う

こういった環境を用意しておくとSQLのコードを試すときに便利ですね。

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

参考資料

dev.classmethod.jp

kakakakakku.hatenablog.com


  1. 本記事では、Dockerの詳しい説明やインストール方法はこちらをご覧になってみてください。https://www.ogis-ri.co.jp/otc/hiroba/technical/docker/part1.html

【Python】誰でも簡単に予測モデルが作れるProphetでTOPIXの予測モデルを作ってみた

f:id:tadaken3:20180324123817p:plain こんにちは!
タダケン(@tadaken3)です。

今回は時系列予測ツールProphetを使って、過去のデータから未来を予言する予測モデルの作成を試してみました。 ビジネスでは日々発生する時系列データ(DAU、売上など)に対する予測を作成する必要があります。

Prophetを使うことで、とても簡単に予測モデルを作ることができます。Prophetはオープンソースで開発されておりPythonとRのライブラリが公開されています。今回はTOPIXのデータを使用して、Python版のProphetの使い方を解説します。

Prophetを使ってあなたも予言者に

PorphetとはFacebookが作成した時系列データの予測ツール です。Prophetには、「Forcasting at Scale.」というコピーが掲げられており、このような特徴があります。

  • 分析のエキスパートでなくても、簡単に時系列データの予測ができる
  • 予測モデルの結果も視覚的に把握できる
  • ドメイン知識をもとにモデル調整も直感的にできる

データを用意するだけで精度の高い予測モデルを簡単に作ることができます。また作ったモデルを視覚的に把握することができるので、モデルのチューニングも行いやすいのがメリットです。

ちなみにProphetは予言者という意味になります。

TOPIXのデータを準備する

TOPIXのcsvファイルを取得する

実際のビジネスの現場ではDAUなどKPIの予測に使うことが多いと思いますが、今回はTOPIXのデータを使用して予測モデルを作っていきます。

TOPIXのデータはWall Street Journalのサイトからダウンロードできます。今回は2000年1月1日から2018年3月23日のデータを使用しました。

I0000.JP Stock Price & News - TOPIX Index - Wall Street Journal

期間を指定して「DOWNLOAD A SPREADSHEET」を押します。

f:id:tadaken3:20180324111619p:plain
Wall Street Journalのサイトからデータをダウンロードする

PandasでProphetに取り込むための前処理を行う

今回はGoogle Colaroratory(以下、Colab)を用いて分析をしていきます。

まずは先程、ダウンロードしたCSVファイルをColabに取り込みます。

#CSVファイルの読み込み
from google.colab import files
uploaded = files.upload()

Colabでローカルファイルを取り扱う方法については、こちらの記事を参考にしてください。

tadaken3.hatenablog.jp

続いて、読み込んだデータをデータフレームで扱えるようにします。

# 読み込んだデータをpandasのdataframe扱えるようにする
import io
import pandas as pd
import numpy as np

df = pd.read_csv(io.StringIO(uploaded['HistoricalPrices.csv'].decode('utf-8')))

# 中身を確認する
df.head()

f:id:tadaken3:20180324111914p:plain
データの確認をする

データフレームをProphetにインプットする形に前処理をします。 ここで一つ注意があります。入力に使用するカラム名とデータの中身を以下の形式にする必要があります。

カラム名 備考
ds datetime 時系列情報(タイムスタンプ)
y 数値 実績値

また数字の変動が大きい場合は対数変換(log)をしておくと精度が上がります。 今回は、TOPIXの終値を使って、モデルを作成します。

カラム名やデータの形式をこのように変換します。 データはグラフで確認もしておきましょう。

# prophetでモデルを作成する際は、datetimeをdsカラムに、yに値を入れる。
# inputは必ずこの形式に。
%matplotlib inline
import matplotlib.pyplot as plt

df['ds'] = pd.to_datetime(df['Date']).dt.date #date型に変換
df['y']  = np.log(df[' Close']) #データの変化が大きいため、対数変換をする。
df['y'].plot()

f:id:tadaken3:20180324025829p:plain
TOPIXのデータ

これで準備が整いました。

データをもとに予測モデルを作成する

prophetのインストールとモデルの作成

まずはpipでprophetをインストールします。

!pip install fbprophet

インストールが終わったら、さっそく予測モデルを作成していきましょう。

Prophetではいろいろなパラメータをつかって予測モデルをチューニングすることができるのですが、今回はデフォルト設定で作成します。

from fbprophet import Prophet

#デフォルト設定でモデルを作成する
model = Prophet()
model.fit(df)

これで予測モデルができました。簡単ですね。

モデルをもとに未来予測をしてみる

では、作成したモデルを使って、未来予測をしてみましょう。 予言者の本領発揮です。

#モデルをもとに予測をする
# periodに期間を入れる。この場合365日分の予測値が出力される
future = model.make_future_dataframe(periods=365)
forecast = model.predict(future)
forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']].tail()

結果はデータフレームでこのような形で返ってきます。

f:id:tadaken3:20180324113056p:plain
予測モデルの結果

yhatが予測値になります。対数変換しているので、e(約2.6)をyhatの値で乗算するともとに戻せます。 この場合、2019年3月23日の予測値は約7.48なので、実際にTOPIXの値としては、1786.46になります。

数値で見てもいいのですが、Prophetにはビジュアライズの機能もあります。

#予測モデルをグラフで表示
model.plot(forecast);

f:id:tadaken3:20180324025852p:plain
Prophetの予測モデル

黒い点が実際の値、青い濃い線が予測モデルになります。2013年以降上昇トレンドがつついており、2019年も上昇するトレンドが続きそうですね。

予測モデルの構成要素

トレンドや周期性についての分析結果は、model.plot_components()にて見ることができます。

#トレンドや周期性を表示する
model.plot_components(forecast)

f:id:tadaken3:20180324030010p:plain
構成要素のグラフ
上から、トレンド性、年周期性、週周期性のグラフです。 それぞれのグラフから以下のようなことが読み取れます。

  • [トレンド性] 2012年の年末から上昇トレンド。2013年のはじめからにトレンドが緩やかになっている
  • [年周期] 2月から5月にかけては上昇する周期性がある
  • [週周期] 土日が下がっているように見えるが、これは相場閉まっているため。

直感的でわかりやすいですね。

予測モデルの精度を検証する

検証用データの生成

では続いて、この予測モデルがどれくらいの精度があるのか検証していきます。

精度検証をするには、prophetのdiagnosticsクラスを使います。 diagnosticsは日本語で「診断」という意味になります。

#diagnosticsは日本語で診断
from fbprophet import diagnostics

#精度検証をする。horizonに検証したい期間を入力する
cv = diagnostics.cross_validation(model, horizon='365 days')
cv.tail()

f:id:tadaken3:20180324113757p:plain

詳しい説明は省きますが、cross_validationメソッドを使うと、交差検証法という手法で、訓練データとテストデータに分けて、何度か予測値の算出を行ってくれます。cvの中身をを簡単に説明します。yが実績値、yhatが予測値になります。この2つの差がどれくらいあるのかを計算してモデルの精度を検証します。

MAPE(平均絶対誤差率)を使って予測モデルの精度をはかる

今回はMAPE(平均絶対誤差率)という指標を使います。実績値に対して予測値にどれくらい誤差率があるのかという指標になります。

cvのデータをもとに以下のように計算できます。

def cal_mape(df):
    return((df['yhat'] - df['y']).div(df['y']).abs().sum()*(1/len(df)))
 
cal_mape(cv)

f:id:tadaken3:20180324115349p:plain
MAPEの計算。画像では他の指標も算出はしています。

今回モデルで365日の予測を行った場合のMAPEの値は28%でした。MAPEは小さいほど精度が高いということになります。

上記に加えて、100日、150日、200日、250日ごとにMAPEの値を計算するとこのようになります。

f:id:tadaken3:20180324115117p:plain

150日を超えたあたりから予測の精度が低下していますね。 実際はここからモデルを調整して予測の精度を上げていくことになります。

まとめ

Prophetの基本的な使い方を解説しました。 Prophetは簡単に時系列分析ができ、非常に強力なツールですので、ぜひみなさんも試してみてはいかがでしょうか。

今回、実施祭に使用したColabのノートブックはこちらになります。 実際に試してみたい方はぜひ参考にしてみてください。

drive.google.com

参考資料

facebook.github.io

d.hatena.ne.jp

data.gunosy.io

funyakofunyao.click

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

免責事項:当ブログのご利用につきましては、全ては自己責任、自己判断でお願いいたします。何らかのトラブルや損失・損害等発生した場合、当ブログでは一切の責任を負いかねます。投資は自己責任で。

Google ColaroratoryでTwitterのツイート数を可視化してみる

f:id:tadaken3:20180311235628p:plain

こんにちは!
タダケン(@tadaken3)です。

前回はGoogle Colaroratoryの使い方をご紹介しました。

tadaken3.hatenablog.jp

今回はGoogle Colaroratoryを使ってTwitterのデータからツイート数を時系列で集計し可視化していきます。

上記の分析を通して、本記事の中では、

  • Google ColaroratoryでローカルPCにあるデータを取り込む方法
  • Google Colaroratoryで分析した結果をローカルPCに保存する方法

といったローカルPCのデータをGoogle Colaroratoryで取り扱い方法をご紹介します。

データ分析においては機械学習や多変量解析といった手法ばかりが注目されがちですが、適切な課題設定とデータの前処理をきっちりと行なうことが非常に重要です。

ツイート履歴のCSVファイルを取得する

全ツイートの履歴は公式ページの設定から取得できます。

「設定とプライバシー」をクリックします。 f:id:tadaken3:20180311234319j:plain

画面下の方にあるコンテンツのところから全ツイートのデータをメールで送ることができます。 f:id:tadaken3:20180311234333j:plain

しばらくするとメールが送られきます。添付のZipファイルにTweets.csvというファイルがあります。この中にツイートの履歴データが入っています。 f:id:tadaken3:20180311234346j:plain

ローカルにあるCSVファイルをColaroratoryに取り込む

それではさっそく、取得したTweets.csvをColaroratoryに取り込んでいきましょう。

ローカルのファイルを読み込むにはgoogle.colabモジュールのfilesクラスを使います。google.colabはColaroratoryのためのモジュールです。filesクラスでは、その名の通りファイル関連をあつかうクラスとなります。

ローカルPCにあるファイルをColaroratoryにアップロードするにはfilesクラスのuploadメソッドを使用します。 Colaroratoryのセルに以下のようにコードを書いて実行してみてください。

# ファイルの読み込みも可能
from google.colab import files

uploaded = files.upload()

するとColaroratoryのセルの下にファイルをアップロードするためのボタンが表示されました。 ここからローカルのファイルを選択して、アップロードします。

f:id:tadaken3:20180311234659j:plain

ファイルを選択して、アップロードが終了すると、変数「uploaded」の中に

{ファイル名:コンテンツ}

という形で、ディクショナリとして、データが格納されます。

pandasで日付ごとにツイート数を集計していく

ここからは、Pythonのデータ分析ライブリPandasを使って、データを集計してきます。 まずは、読み込んだデータをPandasのDataframeで扱えるようにします。

以下のコードをセルで実行してみてください。

# 読み込んだデータをpandasのdataframeで扱えるようにする
import pandas as pd
import io

df = pd.read_csv(io.StringIO(uploaded['tweets.csv'].decode('utf-8')))

# 中身を確認する
df.head()

データがdataframeで扱えるようになっていますね。

f:id:tadaken3:20180311234856j:plain

あとは、このデータを使って、グラフを表示するところまで一気にやってみましょう。 データを可視化するにはmatplotlibを使います。

import matplotlib.pyplot as plt

# timestampをもとにdate列を作成
df['timestamp'] = pd.to_datetime(df['timestamp'])
df['date'] = df['timestamp'].dt.date

#日付ごとの集計する
tweets_cnt = df.groupby('date').size()

# グラフを表示する
tweets_cnt.plot()

上記のコードを実行するとグラフが表示されます。

f:id:tadaken3:20180311233750p:plain

2017年の初め頃に、スパイクしていますね。暇だったのか、Botが暴発したのでしょうね(適当)

作成したグラフを画像ファイルとしてローカルに保存する

では、作成したグラフをローカルPCに保存してみましょう。 google.colabモジュールのfilesクラスのdownloadメソッドを使うことで、ファイルをダウンロードできます。

# グラフを表示する
tweets_cnt.plot()

# ローカルにグラフを保存する
filename = 'tweet_cnt.png'
plt.savefig(filename)
files.download(filename) 

コードを実行するとダイアログが表示されるのでファイルの保存場所を指定します。

f:id:tadaken3:20180311233725p:plain

指定したフォルダにtweet_cnt.pngが保存されます。 今回は画像ファイルをダウンロードしましたが、CSVファイルなどももちろんダウンロードできます。

まとめ

今回は以下のテクニックをご紹介しました。

  • Google ColaroratoryでローカルPCにあるデータを取り込む
  • Google Colaroratoryで分析した結果をローカルPCに保存する

Google Colaroratoryを使っていろいろと分析してみるとおもしろいですね。 ぜひ、いろいろ試してみたください。

2018年3月21日追記

Google Colaroratoryで、ツイートの内容のテキストマイニング(Wordcloud・Word2vec)を試されたからあげさん(id:karaage)の記事です。 こちらも参考になるかと思います!

karaage.hatenadiary.jp

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

参考リンク

ツイート数の可視化ネタは、以下のブログ記事を参考にさせていただきました。

temcee.hatenablog.com

Google Colaboratoryを使えばブラウザ上でPythonの実行環境が簡単に手に入る

f:id:tadaken3:20180308192136p:plain こんにちは!
タダケン(@tadaken3)です。

Googleが機械学習の教育や研究用に提供しているGoogle Colaboratoryを試してみました。ColaboratoryはJupyter notebookを基盤としたオープンソースプロジェクトです。Chromeのデスクトップ版で動作します。

Colaboratoryを使えば、Chromeブラウザ上で無料でPythonの実行環境を手に入れる ことができます。今回は、Colaboratoryの使い方を解説します。

バリバリのデータ分析者にも、Pythonでプログラミングを学んでみたいと思っている初学者にもおすすめのツールです。

そもそもJupyter notebookとは

Jupyter notebookはPythonの対話型実行環境をより便利に拡張した環境です。Pythonのプログラムをすぐに実行し、結果を表やグラフですぐに確認できるため、データ解析や機械学習など、試行錯誤しながら、データを扱う場合に、とても役立つツールです。

Jupyter notebookについては、以下のブログを参考にしてみてください。

news.mynavi.jp

Jupyter notebookは、対話しながらPythonプログラムを実行できるので、試行錯誤しながらコードをかくことができます。

そのため、Python初心者にも最適だったりするのですが、いかんせん、Pythonの環境を用意した上で、さらにJypyter notebookをインストールしたりしないといけません。ほかにも、Windowsで日本語を扱おうとすると文字化けしたりなどもします。

プログラミングを学ぶ上では最適なのですが、環境構築に若干難があり、プログラミングが全くの初心者には、敷居があるのが事実です。いわゆる環境構築の壁です。プログラミングを学ぶ前に環境構築で躓いてしまうパターンです。

ですが、Google Colaboratoryであれば、ブラウザひとつで、Pythonの実行環境が作れてしまいます。

f:id:tadaken3:20180308190518p:plain
実際のGoogle Colaboratoryの画面

Google Colaboratoryを起動する

さっそく、Google Colaboratoryを使っていきましょう。

Google ColaboratoryのサイトにChromeブラウザでアクセスするだけです。

Colaboratory – Google

はじめて起動すると、チュートリアル用のnotebookが開きます。初回以降は、直近に開いていたnotebookが立ち上がります。

f:id:tadaken3:20180308183653p:plain

notebookを新規作成するには、「ファイル>Python 3 のノートブックを新規作成」をクリックします。Python 2 とPython 3の違いはPython自体のバージョンの違いです。

f:id:tadaken3:20180308184407j:plain

すると以下のようにまっさらなnotebookが立ち上がります。

f:id:tadaken3:20180308183723p:plain

ここにコードを書いていきます。

Google ColaboratoryでPythonのコードを実行する

Colaboratoryには、セルという概念があります。複数行のコードを実行し、その結果を見て、コンピュータとあたかも対話しながら、コードを書いていくことができます。

さっそく、この部分に

f:id:tadaken3:20180308183900j:plain

print('Hello Colaboratory')

と入力してみて、「Shift + Enter」を押してみてください。すると「Hello Colaboratory」が実行結果として返ってきます。

f:id:tadaken3:20180308183929p:plain

セルはどんどん足していくことができます。では、セルを追加してみましょう。セルを追加するには、「コード」をクリックします。すると新しいセルが追加されました。

f:id:tadaken3:20180308184104j:plain

追加されたセルに以下のコードを打ち込んで、さきほどと同様に「Shift + Enter」を実行してみてください。

import datetime

today = datetime.date.today()
print(today)

今度は今日の日付が表示されました。

f:id:tadaken3:20180308184127p:plain

Colaboratoryはセル単位でコードを実行できる点が特徴です。ファイルを読み込んだり、集計したデータを加工したり、グラフに表示したりといったこと、少しずつ確認しながらすすめることができ、データ分析の環境ではよく使われています。

試行錯誤しながらコードを書くことができるので、Pythonの学習にも最適です。

セルを削除するには、セルの右上にあるメニューから「ゴミ箱」ボタンを押すと削除されます。

f:id:tadaken3:20180308184254j:plain

作成したnotebookを保存する

notebookの名前は左上でのタイトル部分で直接編集できます。

今回は「first_step.ipynb」という名前で保存します。

「.ipynb」という拡張子は、Jypyter notebookがもともとIPython Notebookだったことによるものです。

f:id:tadaken3:20180308184429p:plain

notebookを保存するには「ファイル>保存」をクリックします。

f:id:tadaken3:20180308184545j:plain

notebookはGoogle Drive上に保存されます。無事にnotebookが保存されていますね。

f:id:tadaken3:20180308185859j:plain

まとめ

Google Colaboratoryの基本的な使い方をご紹介しました。Google Colaboratoryには

  • Google ColaboratoryはJupyter notebookベースのPythonの対話型実行環境
  • Google ColaboratoryはChromeブラウザがあれば無料で利用できる
  • コードはセル単位で実行し、結果を確認しながらコーディングできる
  • ファイルはGoogle Driveに保存

といった特徴があります。次回は、Twitterのデータを使ってGoogle ColaboratoryでローカルPCにあるファイルを取り込む方法をお伝えします。

tadaken3.hatenablog.jp

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

「Apps Script dashboard」でGoogle Apps Scriptのプロジェクトが一元管理できるようになった

f:id:tadaken3:20180126003010p:plain こんにちは!
タダケン(@tadaken3)です。

2018年1月11日に、Google Apps Scriptに新しい機能が追加されました。GASのプロジェクトを一元管理できる「Apps Script dashboard」です。今ままでは、GASのスクリプトがどこに保存されているか、わかりにくかったのですが、「Apps Script dashboard」ができたことによって、プロジェクト(スクリプト)の管理が格段にやりやすくなりました。

今回は「Apps Script dashboard」についてご紹介いたします。

Google Apps Scriptはプロジェクトの管理がとても煩雑だった

Google Apps Scriptには大きく分けて2種類あります。「スタンドアロンスクリプト」と「コンテナバインドスクリプト」です。

「スタンドアロンスクリプト」はその名の通り、スタンドアロンで実行される単体のスクリプトプロジェクトとなります。Google ドライブからGoogle Apps Scriptのプロジェクトファイルを新規作成していきます。

「コンテナバインドスクリプト」はスプレッドシート、ドキュメント、フォームといった親ファイルに紐づく形で保存される形式のスクリプトプロジェクトです。スプレッドシート、ドキュメント、フォームなどから新規作成します。

  • スタンドアロンスクリプト: 単体のスクリプト
  • コンテナバインドスクリプト: スプレッドシート、ドキュメント、フォームといった親ファイルに紐づくスクリプト

スプレッドシートの機能を使いたい場合などは、コンテナバインドスクリプトを使って、スプレッドシートに紐づけた形でスクリプトを書いていくケースが多いです。

「コンテナバインドスクリプト」は紐付いたスプレッドシートの情報を参照できるメソッド(getActiveSpreadSheet、getUiなどの)を使用することができる点がメリットでした。

一方で、スクリプトがスプレッドシートやドキュメントに紐付けられて保存されるので、どのスプレッドシートに、どんなスクリプトが書かれているのかは、自分で管理しておく必要がありました。

スクリプトが書かれたファイル名を自分で覚えておかないといけなかったり、いちいちファイルを開かないとスクリプトがあるかわからなかったりで、とてもとても不便でした。

でも、もう安心です。

Apps Script dashboardがあれば、「スタンドアロンスクリプト」であろうが、「コンテナバインドスクリプト」であろうが一元管理できます。

「Apps Script dashboard」を早速使ってみる

「Apps Script dashboard」にアクセスするには下のリンクをクリックします。

Apps Script – Google Apps Script

ログインをするとプロジェクト一覧画面が表示されます。

f:id:tadaken3:20180125214932p:plain
プロジェクト一覧


見ていただくとわかるように、すべてのGASプロジェクトが一覧で表示されています。プロジェクト名で検索することもできますし、dashboardから直接GASのファイルにアクセスすることもできます。メニューから「プロジェクトを開く」をクリックすると、スクリプトエディタが立ち上がります。 f:id:tadaken3:20180125222247j:plain

プロジェクト名の横にはアイコンが表示され、スタンドアロンなのか、スプレッドシート、フォームなどに紐付いているものなのかもひと目でわかるようになっています。

f:id:tadaken3:20180125221603p:plain
プロジェクト名


プロジェクトの実行状況をモニタリングする

Apps Script dashboardには、プロジェクトの実行状況を監視する機能もあります。これも使うのは簡単で、監視したいプロジェクトを選択して、メニューから「監視を開始」をクリックするだけです。

f:id:tadaken3:20180125234316j:plain

左メニューの「監視対象のプロジェクト」をクリックすると、監視対象となったプロジェクトの実行状況をモニタリングできます。

f:id:tadaken3:20180125235534p:plain

モニタリング画面では、直近7日間の

  • エラー率
  • スクリプトの実行数数
  • 実行ユーザー数

が確認できます。シンプルですが、とても便利ですね。

また、プロジェクトを監視対象としなくても、メニューの「実行数」から、すべてのスクリプトの実行状況がわかります。

  • 実行開始時間
  • 期間(実行にかかった時間)
  • 関数 (実行された関数名)
  • ステータス

などが確認できます。こちらは、プロジェクト名などでフィルターすることもできます。

f:id:tadaken3:20180125235746p:plain

時間主導型トリガーをつかって、定期的に実行しているスクリプトの状況も簡単に把握できるようになりました。

まとめ

「Apps Script dashboard」の機能をご紹介しました。「Apps Script dashboard」を使うことで

  • GASのすべてのプロジェクトを一元管理する
  • スクリプトの実行状況もモニタリングする

といったことが簡単におこなえるようになりました。これでGASの開発もはかどりますね。

読者登録をお願いします

本ブログではGoogle Apps Scriptについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

詳解! GoogleAppsScript完全入門 ~GoogleApps & G Suiteの最新プログラミングガイド~

詳解! GoogleAppsScript完全入門 ~GoogleApps & G Suiteの最新プログラミングガイド~

Reactを学ぶ上で理解しておきたいJavascriptの歴史

f:id:tadaken3:20180120205214p:plain こんにちは!
タダケン(@tadaken3)です。

Reactの開発を始める上で大変だと感じるのが、babel、ES6、webpackといった用語・ツールが多いことでした。

前回は、「create-react-app」を使ったので、このあたりを意識せず、開発環境を構築したのですが、実際に開発を進めたりコードを読む上で、こういった用語の意味やツールを使う背景を理解しておくにこしたことはありません。

tadaken3.hatenablog.jp

そこで、今回はReactを学ぶ上で理解しておきたいJavascriptの歴史を簡単にまとめてみました。

Javacriptの標準仕様について

JavaScriptの標準仕様はECMAScriptと呼ばれています。国際団体EcmaインターナショナルによってJavaScriptの中核的な仕様がECMAScriptとして標準化されています。

標準化される以前は、ブラウザごとに言語仕様の独自拡張が行われていたため、ブラウザ間の互換性が極めて低かったそうです。ECMAScriptが策定されたことにより、ブラウザ間での互換性が向上しました。

現在、大抵のブラウザは、ECMAScript 5.1以上に対応しています。ECMAScript 5.1は、略してES5と表記します。

そして、書店にあるJavascriptの入門書はES5に基づいて書かれていることが多いです。

イマドキのJavacript(ES6)

Javascriptの標準仕様なのですが、今までよりも大幅に進化したECMASCript 6th Editionが2015年に策定されました。ECMAScript 6th editionの6を取ってES6と呼ばれていましたが、2015年に標準化されたため正式名称はES2015になりました。

ES6(ES2015)では、以下のような機能が新たに追加されました。

  • let constキーワードによる変数宣言
  • class構文
  • 関数の引数のデフォルトパラメータ(Default Parameters)
  • アロー関数(Arrow Functions)
  • 分割代入(Destructing Assignment)
  • 配列展開(Array Spread)
  • 関数の可変長引数(Rest Parameters)
  • 関数のデフォルト引数
  • テンプレート文字列(Template Strings)
  • importとexportによるモジュール構文(Module)

簡単にまとめますと現在のjavascriptの標準規格としては

の2つが存在していることになります。

ES5とES6の違いは以下の記事などを参考にしてみてください。

qiita.com

そして、ReactではES6にそって、開発を進めていくことが推奨されています。

ES6をES5に変換するBabel

Reactは基本的にES6で開発を進めていくことになるのですが、ここでひとつ疑問が生じます。新しく策定されたES6は機能が追加されてコードが書きやすくなったのですが、ブラウザの対応状況はどうなっているのか?ということです。

2017年現在、主要なPC/MacのブラウザはES6に対応しています。一方、スマホ用のブラウザでは、ES6が限定的にしかサポートされていなかったりもします。

現在のインターネットの利用状況を考えると、スマホなどモバイル端末を無視することはできません。

ES6で書かれたJavascriptをES5に変換してしまうツールが登場します。これがBabelというツールです。1

ES6でかかれたReactのコードをES5に変換して、古いブラウザで使えるようにしようというのがイマドキのフロントエンドのお作法です。

まとめ

今回は、Reactを使う上で、理解しておきたいJavascriptの歴史を簡単にまとめました。重要なポイントは以下の点です。

  • JavaScriptの標準仕様はECMAScriptで定められている
  • ほんとどのブラウザが対応しているES5と2015年に新しく策定されたES6(ES2015)がある
  • ReactはES6で開発することが推奨されている
  • 現存するブラウザに対応するため、BabelをつかってES6で書いたコードをES5に変換する

次回もReactに関して学んだことをまとめていきたいと思います。

読者登録をお願いします

本ブログではプログラミングについての記事を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。


  1. babel単体でも利用可能ですが、一般的にはwebpackというビルドツールと併用して使います。ほかにも、CSS、styleのローダーと組わせて使うことが多いからです。webpackについても今度まとめようと思います。

Reactを学ぶメリットとReactの開発環境を簡単に構築する方法

f:id:tadaken3:20180325115545p:plain こんにちは。
タダケン(@tadaken3)です。

今年はフロントエンドをきちんと学んで、個人開発でサービスをリリースしたいと考えてます。いろいろ調べてみて、その中でもReactの学習を進めたいなと感じました。

調べていく中で感じたReactのメリットとReactの開発環境構築についてをまとめます。1

tadaken3.hatenablog.jp

Reactとは

ReactはWebサイト上のUIパーツを構築するためのJavasciptのライブラリです。Facebook社が開発しておりで、Facebookを始め米国のいくつかの有名なWebサービスでも使われています。

Reactは「コンポーネント志向」という思想で設計されています。WEB画面は、ヘッダー、メニュー、商品一覧、ショッピングカートなどの様々なパーツに分かれて作らています。Reactではこららをパーツをひとつのコンポーネントとして扱います。様々なコンポーネントを組み合わせて、UIを構築します。

なぜ、Reactを学ぼうと思ったのか。 Reactを学ぶメリット

フロントエンド技術には、Reactの他にVueやAngularといったフレームワークやライブラリがあります。

Reactの特徴のひとつに「Learn Once, Write Anywhere」(一度学べば、どこでも書ける)という考えがあります。Reactには、プラットフォームをまたいでコードを活用できるエコシステムが存在しています。例えば、以下のような範囲でReactの知識を活かすことができそうだと感じました。

  • WEBフロントエンド: React
  • モバイルアプリ(iOS,Android): ReactNative
  • デスクトップアプリ(Mac,Windows): React + Electron
  • サーバーサイド: Node.js + React

学習の目標として、サービスをひとりで立ち上げたいなと思っています。個人で開発することを考えているため、学習や開発に使える時間が平日の仕事終わりや土日に限られています。

「Learn Once, Write Anywhere」の考えにより、Reactに加えて、Node.jsやelectronを学べば、javascriptでかなりの範囲をカバーすることができます。効率よく開発をすすめることが重要な個人開発において、非常に大きなメリットに感じました。

学習のための戦略

また、本業がデータアナリストであり、フロントエンドの業務経験は全くありません。自分のまわりに詳しい人がいるわけでもないので、基本独学で、Reactを習得していくことになります。

Reactはフロントエンドのライブラリとしては、比較的歴史があり、書籍やネット上の情報が充実している印象があります。このあたりもReactを学ぼうと思ったメリットです。

Reactを学習するための戦略としては、inkdropというメモアプリをひとりで開発しているTAKUYAさんのブログを参考にしました。

blog.odoruinu.net

上記のブログ記事を参考に

  • まず、入門書を写経して、基本を学ぶ
  • 基本が理解できたら、有名なプロダクトをForkして、開発のノウハウを盗む

という流れで学習を進めて行くつもりです。

Reactの開発環境を構築する

ということで早速、Reactの開発環境を構築していきます。

Node.jsのインストール

まずは、Reactの開発環境の土台作りです。Javacriptの処理系であるNode.jsをインストールします。Macを使用しているのでHomebrewを使っていインストールしました。

$ brew install node.js
$ node -v
v9.3.1

Javasriptのライブラリやツール類はnpmというパッケージ(ライブラリ)で配布・管理されています。npmパッケージのインストールはnpmコマンドで行います。npmコマンドはNode.jsと一緒にインストールされています。npmのバージョンを確認します。これで土台が整いました。

$ npm -v
v5.3.0

create-react-appを使って、Reactの開発環境を構築する

Reactの開発環境は、Facebook製ツール「create-react-app」を使うことにしました。コマンド一発でReactの開発環境を構築してくれるCLIツールです。参考にしたのは以下の記事です。

mae.chab.in

以下のコマンドでグローバルにcreate-react-appをインストールします。

$ npm install -g create-react-app


create-react-appがインストールできたら、create-react-appコマンドが使えるようになります。

create-react-appコマンドの後にこれから作成するプロジェクトのディレクトリ名を指定して、コマンドを実行します。

$ create-react-app my-first-app


create-react-appコマンドを実行すると、指定したディレクトリ名のディレクトリが作られ、その中に開発に必要なビルドツールや構文チェックツールがインストールされます。

作成されたプロジェクトのディレクトリに移動します。

$ cd my-first-app


以下のコマンドを実行してみます。

$ npm start

すると、サーバーが立ち上がります。 f:id:tadaken3:20180114010803p:plain

http://localhost:3000/にアクセスすると、以下のページが表示されます。

f:id:tadaken3:20180114010916p:plain

これでReactの開発環境が整いました。srcディレクトリ内のApp.jsを変更すると、ブラウザの画面が更新されます。さっそく、じゃんけんアプリを試しに動かしてみました。

f:id:tadaken3:20180114011638p:plain

まとめ

Reactを学ぶメリットとReactの開発環境についてまとめました。今後はReactの要素を学び、学習した内容をブログにアウトプットとしてきたいと思います。

読者登録をお願いします

本ブログではプログラミングについてボクが学んだことを公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。


  1. フロントエンドは全くの初心者なので、間違えなどありましたらご指摘いただけますと幸いです。

運動をつづけるために「運動報告部 for ぼっち」というLINE ボットを作ってみた

こんにちは。
タダケン(@tadaken3)です。

先日、運動を継続するために「運動報告部」というLINEグループを作った記事が話題になっていました。運動報告部をつくったことにより、運動が習慣化できたというお話です。

www.buzzfeed.com

「運動報告部」の実践方法と効果について

「運動報告部」とは社会人になって運動をはじめる→挫折するを繰り返してきたライターの@HikaruYozaさんが編み出した方法です。ざっくり内容をまとめますと、

  • 仲の良い2〜3人で「運動報告部」というLINEグループを作成
  • そこで運動したことを報告する
  • 他の人は「えらい」と運動したことを褒める
  • 会話は基本「報告」と「えらい」に抑える

を実践し、一年間運動を継続できたということでした。

シンプルな運用ですが、とても効果的なようですね。また、運動以外にも応用が効きそうな点が素晴らしいなと感じます。

ただ、一点、問題があるとすると

「運動をする友だちがいないとできない」

ことです。そうです

ぼっちだと実践できないんです。

ボットを作って解決

「運動報告部がぼっちではできない」問題を解決するために、「運動報告部 for ぼっち」というLINEボットを作成しました。

使い方はとてもシンプルで

  • ジムに行ったら「ジム」
  • 走ったら「走った」

というように「報告」をするとボットが「えらい」と言ってくれます。1

f:id:tadaken3:20180107154830p:plain

「運動報告部 for ぼっち」をLINEで友だち登録する

友だち登録する方法は簡単です。以下のボタンを押すかQRコードを読み込んでいただくと、LINEアプリが立ち上がり、友だち登録できます。もしよかったら友だち登録して、試してみてください!

かがくの ちからって すげー!

こちらをクリックするか

友だち追加

QRコードで登録できます。
f:id:tadaken3:20180107152835p:plain

開発環境について

最初はGoogle App Engineでガッツリ作ろうかと思ったのですが、必要機能がとてもシンプルですし、あまり時間をかけたくなかったので、以下の記事を参考にGoogle Apps Scriptで作成しました。2

inside.pixiv.net

ざっくりとして手順はこのようになります。

  • LINE@のアカウントを開設
  • GASでWEBサーバーを作成
  • 返信機能を実装

実装自体は1時間程度でできましたが、どちらかというと、LINE@のアカウント設定に時間がかかりました。(アイコン画像やアカウント説明を書いたりなど)

Githubにコードをあげていますので、ご興味のある方はご覧いただければ!

github.com

ちなみにボク自身は以下の仕組みを利用して、運動を継続しています。よければこちらもご参考にしてみてください。

tadaken3.hatenablog.jp

おまけ

こんな風に励ましてもくれます。

f:id:tadaken3:20180107193351p:plain

読者登録をお願いします

本ブログではGoogle Apps Scriptに情報を公開しています。よろしければ読者登録していただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

詳解! GoogleAppsScript完全入門 ~GoogleApps & G Suiteの最新プログラミングガイド~

詳解! GoogleAppsScript完全入門 ~GoogleApps & G Suiteの最新プログラミングガイド~


  1. ネタで作ったところもありますので、不具合などございましたら、本ブログもしくはTwitterなどからお問い合わせいただけると幸いです。

  2. GASだとスケールできないので使ってくれる人が増えたらちゃんと考えます。

「詳解!Google Apps Script完全入門」を読めばプログラミングを習得できるのか?

f:id:tadaken3:20180325125201p:plain こんにちは!
タダケン(@tadaken3)です。

先日、「ノンプログラマーのためのスキルアップ研究会」を主催されているタカハシさん(@ntakahashi0505)から、「詳解!Google Apps Script完全入門」を献本いただきました。この場を借りてお礼を言わせていだきます。

さて、今回は書籍の内容とGAS本を使ってのおすすめの勉強法をご紹介します。

「詳解!Google Apps Script完全入門」をうまく使えば、プログラミング未経験の方でも、Google Apps Scriptを習得できるのではないかと思います。

Google Apps Scriptとは

まず、「Google Apps Scriptって何?」って方もいらっしゃる方と思いますので、簡単に説明いたします。

Google Apps Script (略称GAS)は、Googleが提供するサーバーサイドのスクリプト言語です。GASを使えば、スプレッドシートやGmail、Googleカレンダーをプログラムで操作することができます。めちゃくちゃ大雑把に言いますと、エクセルのVBA・マクロのようなものです。

例えば、

  • Googleフォームで作ったお問い合わせフォームに自動返信機能を作る
  • スプレッドシートの内容をGoogleカレンダーに一気に登録する
  • 特定の条件に合致したGmailのデータをスプレッドシートに保存して分析する

といったことができます。

GASはVBAよりもできることがむちゃくちゃ多いので、業務の効率化・自動化などにかなり役立ちます。

また、Googleのクラウドサーバー上で実行されるため、自分のPCの電源が入っていなくとも、任意タイミングで実行することもできます。例えば、特定の時間になったら、サーバ上でスクリプトを実行するといったこともできます。

サラッと書いていますが、ちゃんとやろうと思うとサーバーなどを用意したりしないといけないので、けっこう大変だったりします。

待ちに待ったGAS本の発売

そんな便利なGASなのですが、マイナー言語のため日本語の書籍はほとんど存在せず、基本的には公式ドキュメントもしくはネット上の記事を参考にするしかありませんでした。

著者のタカハシさんは「いつも隣にITのお仕事」というブログを運営されています。日夜、「IT×働き方改革」をミッションに掲げ、ITを使って仕事を効率化するためノウハウを公開しています。その中でGASの記事も公開されておりました。

ボク自身はタカハシさんが運営するブログ「いつも隣にITのお仕事」のブログ記事を参考にしながら、四苦八苦してGASを習得しました。

ある程度のプログラミング経験があれば、公式ドキュメントやWEB上の記事からGASを理解することはできるかもしれませんが、プログラミング初心者の場合はさらに大変だと思います。

そこでこの本です。

「詳解!Google Apps Script完全入門」には

  • GASのベースとなっているJavascriptの基本文法
  • クラウドサーバーで実行する上のルールや癖
  • スプレッドシートや、Gmailなどの各サービスを取り扱う上でのポイント

などがまとまっており、この本を読めば、GASの基本的な要素は、網羅できる内容になっております。

ほんとにGASを習得した時の苦労は何だったのか。もっと早く出してくれればよかったのに!と思う内容です。

「詳解!Google Apps Script完全入門」を使ったおすすめの勉強法

「詳解!Google Apps Script完全入門」はとても素晴らしい本なのですが、ひとつ書いてないことがあります。

それは

「何を作れば良いのか」

ということです。

プログラミングを勉強したことがある方はわかるかと思うのですが、基礎的な文法などを理解したあと、悩みどころがあります。

「基本はわかった!ではこのあと、何を作ったらいいのか?」

こういったことに悩んで、プログラミングを挫折してしまうケースが多いように感じますし、自分も昔そうでした。

でも安心してください!著者のタカハシさんが運営する「いつも隣にITのお仕事」には沢山のレシピが公開されています。

こういったレシピを参考に、自分が作りたいものを作りながら、わからないところや自分なりに改良したい部分を本を参考して学習してくのが効率的です。

動くものが作れると学習のモチベーションにつながります。小さいスクリプトでも試しに作ってみると色々と改良したいところが出てきます。

そこで本を読みながら、自分なり改良してみます。最初はちょっとしたものしか作れないかもしれませんが、コツコツ続けていくと、ちょっと大きめのシステムが作れるようなっていきます。

ボクはこのように学習を進めながら、プログラミングを習得してきました。

「詳解!Google Apps Script完全入門」と「いつも隣にITのお仕事」はこうしたプログラミング学習の最初の一歩を踏み出すにはとても最適なコンテンツだと思います。

とくに年末年始はまとまった時間が取れると思いますので、プログラミングを習得するには最適です。ぜひ年末年始は「詳解!Google Apps Script完全入門」を読んで、GASの勉強をしてみてはいかがでしょうか。

詳解! GoogleAppsScript完全入門 ~GoogleApps & G Suiteの最新プログラミングガイド~

詳解! GoogleAppsScript完全入門 ~GoogleApps & G Suiteの最新プログラミングガイド~

読者登録をお願いします!

本ブログでは、Google Apps Scriptやプログラミングに関する記事を公開しています。(ときどき、それ以外のことも)読者登録してもらうと更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

「Digdag」を使って依存関係のあるタスクをコードベースで管理する

f:id:tadaken3:20171219003555p:plain こんにちは!
タダケン(@tadaken3)です。

会社で使っている分析基盤に、Digdagというワークフローエンジンを導入しました。digdagはとても魅力的なツールで、ぜひより多くの人にも使ってほしいなと思い、Digdagの導入方法をまとめてみました。

ところで、ボクはディグダといえば、ポケモンを思い出します。

Digdagとは

Digdagは複雑なタスクを実行するためのTresure Dataが開発したOSSのワークフローエンジンです。

例えば、

  • 外部APIからデータを取得する
  • 取得したデータを成形する
  • データをデータベースにインサートする

みたいな処理を順番に実行したいとします。

cronで実行することもできますが、何らかの理由でAPIからデータ取得に時間がかかったりした場合、その後の処理がエラーとなってしまいます。

ワークフローエンジンを使えば、タスクの依存関係も含めて管理するとことがでますし、エラーが発生した場合に、リトライをしたり、通知を送ったりすることができます。

類似のツールとしてAirflow、Luigiなどがあります。Digdagは、ワークフローを「*.dig」というファイルに記述していくのですが、他のツールと比較して、ワークフローの内容をシンプルに記述できる点がわかりやすくて良いなと感じ導入しました。

シンプルなツールですが、スケジュール機能、WEB上でモニタリング画面なども提供されています。詳しい内容は開発者の以下のスライドをご覧ください。

www.slideshare.net

Digdagをインストールする

centOS 7.4で試しています。digdagを動かすためには、Java 8(8u72) 以上が必要になります。基本的に公式のチュートリアル通りにインストールすれば、オッケーです。

$ curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest"
$ chmod +x ~/bin/digdag
$ echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc

念のため、きちんとインストールできたか、確認します。

$ digdag --version

digファイルを作成してワークフローを記述する

digdag initでプロジェクトファイルが作成されます。コマンドを実行してみます。

$ digdag init project-name

porject-nameディレクトリの配下にproject-name.digというファイルが作られます。

$ cd project-name
$ ls
project-name.dig

このdigファイルにワークフローを記述していきます。フォーマットはYAML拡張です。 このような感じで記述してきます。

timezone: Asia/Tokyo # Timezoneの設定

schedule: #スジェジュールを記載します。この場合、毎日7時に実行されます。
  daily>: 07:00:00 

+step1: #タスク1 (+がタスクを表します)
  sh>:echo "start task1 ${session_time}"
  
+step2: #タスク2
  sh> : ./src/sample_script.sh #シェルスクリプトも実行できます。
  _error: #タスクが失敗したときの処理も記述できます。
     echo>: echo "failure!"
     sh>: ./src/error_notify.sh #

少し話がそれますが、ボクはSlackやLINEなどに通知をするためのシェルスクリプトを作って、エラー時に通知するようにしています。

とくにLINE Notifyはトークンを用意するだけで簡単に通知が送れるので、色々試しているときは、LINE Notifyを重宝しています。

LINE Notifyの詳細については、以下の記事を参考にしてみてください。

コマンドラインから LINE にメッセージを送れる LINE Notify : LINE Engineering Blog

ワークフローを実行する

digファイルの記述ができたら、ワークフローを実行します。まずは手動で実行できるか試してみましょう。以下のコマンドで、ワークフローを手動で実行できます。

$ digdag run project-name.dig

ワークフローを定期実行するには、schedulerを起動します。以下のコマンドを実行すると、先程のdigファイルがschedulerに登録されます。設定されたタスクが毎日7字に実行されるようになります。

$ digdag sched

digファイルを更新すると、scheduler1にも自動で反映されます。

まとめ

駆け足でありましたが、digdagの使い方をまとめてみました。digdagを使うとタスクの依存関係などをコードベースでかつ簡単に管理できるようになります。

digファイルを記述していくだけでいいので、覚えることも少なくて、そのあたりがとても魅力的だなと思います。

cronで消耗している方は、ぜひ試してみてはいかがでしょうか。

参考URL

読者登録をお願いします!

本ブログでは、副業やプログラミングに関する記事を公開しています。(ときどき、それ以外のことも)読者登録してもらうと更新の励みになります。ぜひ一緒にプログラミングを学びましょう。


  1. Digdagには3つのモードがあります。ローカルモード、サーバーモード、クライアントモードです。今回はお試しということで、ローカルモードのスケジューラーの機能を利用していますが、本格的に利用するのであれば、サーバーモードを使った方が良いようです。digファイルはそのまま流用できます。

【書評】「Webサービスのつくり方」を読めば、きっとものづくりがしたくなる!

f:id:tadaken3:20180325115650p:plain こんにちは!
タダケン(@tadaken3)です。

ちょっと古い本なのですが、今日は「Webサービスのつくり方」のご紹介をしたいと思います。

「Webサービスのつくり方」の概要

著者は「ボケて」や「君のラジオ」といったWebサービス・アプリを開発してきたゆーすけべーさん

本書ではWebサービスづくりにおける「心構え」「下準備」「企画」「設計」「開発」「プロモーション」「運用」という各過程を、丁寧にそして楽しく解説されています。本書を読めば、Webサービス制作の全体像を俯瞰することができます。また、エッセイ形式なので、どこから読んでもOKな構成です。

Perl好きな著者によって書かれた本のためサンプルコードは基本Perlです。とくに難しいコードではないので、他の言語の知識があれば、基本的に理解できると思います。

「Webサービスのつくり方」を読んで感じたこと

著書自体は2012年に発刊されているので、今となっては古くなっているところもあるのですが、Webサービスやアプリを開発する上で、学びがたくさんあります。

この本が好きな理由は、本を読むと「何か作りたい」という気持ちになりことです。

「何かを作りたい」という気持ちはプログラミングを学習する上での強いモチベーションに繋がりますし、やはりものづくりは楽しいです。とくに気分が乗らないときは、この本を読んでテンションを上げています。

一般的な技術書では「どう作るのか」の部分が中心になっていますが、本書は「何を作るのか」という点にフォーカスが当てられています。プログラミングの書籍や技術ブログを読んでもみえてこない「どんなサービスを作るのか?学んだ技術でどうやってサービスやアプリをつくるのか?」という部分が具体的に勉強できます。

基本エッセイなので、サラッと読めるところも気に入っています。これが読み返したりするのにちょうどいいのかもしれません。

また、この本の良いところとして、開発以外の工程について、きちんと触れているところです。とくに開発した後の「プロモーション」「運用」の部分はWebサービスを作って終わりにせず、きちんと育ていくために重要な要素です。

プレリリースをする方法やWebサービスを運用しているサーバー監視方法まで触れられています。(ただし、紹介されている監視ソフトやサービスなどはさすがに古くなっています)

最後に

個人的に日記アプリを作りたいと考えて企画を考えているところです。そんなときふと思い出して読み返してみて、やっぱり良い本だなと感じたので、紹介してみました。

日記アプリの企画も本書を参考にしながら、ブラッシュアップしていきたいと思います。

読者登録をお願いします!

本ブログではGoogle Apps Script、Pythonの役立つテクニックを公開しています。よろしければ、本ブログの読者もしくはTwitterアカウントのフォロワーになっていただけると更新の励みになります。ぜひ一緒にプログラミングを学びましょう。

Webサービスのつくり方 ~「新しい」を生み出すための33のエッセイ (Software Design plus)

Webサービスのつくり方 ~「新しい」を生み出すための33のエッセイ (Software Design plus)