Publish | Democratizing Data

オライリーから「仕事ではじめる機械学習第2版」を出版しました

Sat, 24 Apr 2021 16:48:57 -0700

Table of Contents

4/23に「仕事ではじめる機械学習第2版」をtokorotenさんとhagino3000さんとともに出版しました。電子版は、Kindleでは購入できない ¹ のでぜひオライリー・ジャパンのサイトからDRMフリーのPDF、EPUBをご購入ください。

コードは今回はGitHubとGoogle Colaboratoryにあります。詳しくは、GitHubのレポジトリをご覧ください。

https://github.com/oreilly-japan/ml-at-work

なお、第一版のコードは1st-editionタグにあります。

同人誌や初版のEbookが出た2017年から4年の歳月を経て、この度改訂版を出すこととなりました。

皆さまのおかげでAmazonの書籍ランキングでも、予約のタイミングなのに10位になったこともあったそうです。ありがたい限りです。

[2021/04/26追記]
ジュンク堂書店池袋本店とEbookの販売でも1位を獲得したようです。ありがたや〜

おかげさまで、「仕事ではじめる機械学習第2版」がジュンク堂池袋店とオライリージャパンのEbook販売でダブル1位になりました。皆さまのおかげです、ありがとうございます！ pic.twitter.com/mOOeVO9B7p
— Aki Ariga (@chezou) April 26, 2021

[/追記]

改訂版の見どころ

おかげさまで、第1版も非常に好評をいただいて、紙版が出てから3年間地道に応援いただいていました。今回、改訂にあたって古くなった情報を見直したり、新しく書き直し、追加したりと様々行いました。その結果、約1/3が新たに執筆されたページとなり、厚さも前回よりかなり分厚くなっています。

第２版、めっちゃ分厚くなってるやんか pic.twitter.com/TNWOsqMf8N
— ところてん (@tokoroten) April 16, 2021

大きな違いは初版の目次と比較していただいてもわかるかとは思いますが、以下のポイントが大きな変更点になります。

機械学習基盤とML Opsの章の追加 (chezou)
効果検証の章の大幅改訂（hagino3000）
退職予測をテーマに予測モデルの解釈をする (tokoroten)
オンライン広告における機械学習モデルの役割と運用 (hagino3000)
エンジニア向けの数式を少なくしたバンディットアルゴリズム解説 (tokoroten)

おまけ:目次

オライリー・ジャパンのサイトに行くのも面倒くさいという方のために、以下目次です。

まえがき

第I部

1章　機械学習プロジェクトのはじめ方
 1.1　機械学習はどのように使われるのか
 1.2　機械学習プロジェクトの流れ
 1.2.1　ビジネス課題を機械学習の課題に定式化する
 1.2.2　類似の課題を、論文を中心にサーベイする
 1.2.3　機械学習をしなくて良い方法を考える
 1.2.4　システム設計を考える
 1.2.5　特徴量、教師データとログの設計をする
 1.2.6　実データの収集と前処理をする
 1.2.7　探索的データ分析とアルゴリズムを選定する
 1.2.8　学習、パラメータチューニング
 1.2.9　システムに組み込む
 1.3　実システムにおける機械学習の問題点への対処方法
 1.3.1　人手でゴールドスタンダードを用意して、予測性能のモニタリングをする
 1.3.2　予測モデルをモジュール化してアルゴリズムのA/Bテストができるようにする
 1.3.3　モデルのバージョン管理をして、いつでも切り戻し可能にする
 1.3.4　データ処理のパイプラインごと保存する
 1.3.5　開発/本番環境の言語/フレームワークを揃える
 1.4　機械学習を含めたシステムを成功させるには
 1.5　この章のまとめ

2章　機械学習で何ができる？
 2.1　どのアルゴリズムを選ぶべきか？
 2.2　分類
 2.2.1　パーセプトロン
 2.2.2　ロジスティック回帰
 2.2.3　SVM
 2.2.4　ニューラルネットワーク
 2.2.5　k-NN
 2.2.6　決定木、ランダムフォレスト、GBDT
 2.3　回帰
 2.3.1　線形回帰の仕組み
 2.4　クラスタリング・次元削減
 2.4.1　クラスタリング
 2.4.2　次元削減
 2.5　その他
 2.5.1　推薦
 2.5.2　異常検知
 2.5.3　頻出パターンマイニング
 2.5.4　強化学習
 2.6　この章のまとめ

3章　学習結果を評価するには
 3.1　分類の評価
 3.1.1　正解率を使えば良いのか？
 3.1.2　データ数の偏りを考慮する適合率と再現率
 3.1.3　F値でバランスの良い性能を見る
 3.1.4　混同行列を知る
 3.1.5　多クラス分類の平均の取り方: マイクロ平均、マクロ平均
 3.1.6　ROC曲線とAUC
 3.1.7　分類モデルを比較する
 3.2　回帰の評価
 3.2.1　平均二乗誤差
 3.2.2　決定係数
 3.3　機械学習を組み込んだシステムのA/Bテスト
 3.4　この章のまとめ

4章　システムに機械学習を組み込む
 4.1　システムに機械学習を含める流れ
 4.2　システム設計
 4.2.1　混乱しやすい「バッチ処理」と「バッチ学習」
 4.2.2　バッチ処理で学習、予測、予測結果をDB経由でサービングする
 4.2.3　バッチ処理で学習、リアルタイム処理で予測、予測結果をAPI経由でサービングする
 4.2.4　バッチ処理で学習、エッジのリアルタイム処理で予測する
 4.2.5　リアルタイム処理で学習をする
 4.2.6　各パターンのまとめ
 4.3　教師データを取得するためのログ設計
 4.3.1　特徴量や教師データに使いうる情報
 4.3.2　ログを保持する場所
 4.3.3　ログを設計する上での注意点
 4.4　この章のまとめ

5章　学習のためのリソースを収集する
 5.1　学習のためのリソースの取得方法
 5.2　公開されたデータセットやモデルを活用する
 5.3　開発者自身が教師データを作る
 5.4　同僚や友人などにデータ入力してもらう
 5.5　クラウドソーシングを活用する
 5.6　サービスに組み込み、ユーザーに入力してもらう
 5.7　この章のまとめ

6章　継続的トレーニングをするための機械学習基盤
 6.1　機械学習システム特有の難しさ
 6.1.1　データサイエンティストvs ソフトウェアエンジニア
 6.1.2　同一の予測結果を得る難しさ
 6.1.3　継続的トレーニングとサービングの必要性
 6.2　継続的トレーニングとML Ops
 6.2.1　リリースのアジリティを上げるための機械学習基盤
 6.2.2　ML Ops：機械学習基盤におけるCI/CD/CTを目指す取り組み
 6.3　機械学習基盤のステップ
 6.3.1　共通の実験環境
 6.3.2　予測結果のサービング
 6.3.3　学習、予測共通の処理のパイプライン化
 6.3.4　モデルの継続的学習・デプロイ
 6.4　予測結果のサービングを継続し続けるために
 6.4.1　監視・モニタリング
 6.4.2　定期的なテスト
 6.5　この章のまとめ

7章　効果検証：機械学習にもとづいた施策の成果を判断する
 7.1　効果検証の概要
 7.1.1　ビジネス指標（メトリクス）を用いた施策の評価
 7.1.2　施策実行後の効果検証の重要性
 7.1.3　オフライン検証とオンライン検証
 7.1.4　指標の選定
 7.2　因果効果の推定
 7.2.1　相関関係と因果関係の区別
 7.2.2　ルービンの因果モデル
 7.2.3　セレクションバイアスによるみせかけの効果
 7.2.4　ランダム化比較試験
 7.2.5　過去との比較で判断するのは難しい
 7.3　仮説検定の枠組み
 7.3.1　なぜ仮説検定なのか
 7.3.2　コインは歪んでいるか
 7.3.3　獲得ユーザーの継続利用率の比較
 7.3.4　差の信頼区間を求める
 7.3.5　偽陽性と偽陰性
 7.3.6　p値ハック
 7.4　A/Bテストの設計と実施
 7.4.1　2 群の抽出と標本サイズ
 7.4.2　継続的なA/Bテストと終了判定
 7.4.3　A/Aテストによる均質さの確認
 7.4.4　施策同士の相互作用に注意
 7.4.5　A/Bテストの仕組み作り
 7.5　オフライン検証
 7.5.1　ビジネス指標を使った予測モデルの評価
 7.5.2　反実仮想の扱い
 7.5.3　Off Policy Evaluation
 7.6　A/Bテストができないとき
 7.6.1　観察データを使った効果検証
 7.7　この章のまとめ
 7.8　こぼれ話：絶対に成功するA/Bテスト、A/Bテストの母集団ハック
 7.8.1　母集団コントロールによるA/Bテストのハック
 7.8.2　休眠顧客へのアプローチ
 7.8.3　バックボタンハック
 7.8.4　母集団ハックを見抜く
 7.8.5　休眠顧客を使った低リスク実験による成功事例の積み上げ

8章　機械学習のモデルを解釈する
 8.1　Google Colaboratory にインストールされているライブラリをバージョンアップする
 8.2　学習用のファイルをアップロードして確認する
 8.3　線形回帰の係数から原因を読み解く
 8.4　ロジスティック回帰の係数から原因を読み解く
 8.5　回帰係数のp値を求める
 8.6　決定木の可視化から原因を読み解く
 8.7　ランダムフォレストのFeature Importance の可視化
 8.8　SHAPによる寄与の可視化
 8.9　従業員満足度をSHAPで可視化する
 8.10　この章のまとめ

第II部

9章　Kickstarterの分析、機械学習を使わないという選択肢
 9.1　Kickstarter のAPIを調査する
 9.2　Kickstarter のクローラーを作成する
 9.3　JSONデータをCSVに変換する
 9.4　Excel で軽く眺めてみる
 9.5　ピボットテーブルで色々と眺めてみる
 9.6　達成したのにキャンセルされたプロジェクトを見てみる
 9.7　国別に見てみる
 9.8　レポートを作る
 9.9　今後行いたいこと
 9.10　この章のまとめ

10章　Uplift Modelingによるマーケティング資源の効率化
 10.1　Uplift Modelingの四象限のセグメント
 10.2　A/Bテストの拡張を通じたUplift Modelingの概要
 10.3　Uplift Modelingのためのデータセット生成
 10.4　2 つの予測モデルを利用したUplift Modeling
 10.5　Uplift Modelingの評価方法、AUUC
 10.6　実践的な問題での活用
 10.7　Uplift Modelingを本番投入するには
 10.8　この章のまとめ

11章　バンディットアルゴリズムによる強化学習入門
 11.1　バンディットアルゴリズムの用語の整理
 11.2　確率分布の考え方
 11.3　事後分布の考え方
 11.4　事後分布の信用区間上限を用いた実装例
 11.5　UCB1
 11.6　確率的なバンディットアルゴリズム
 11.6.1　Softmax 法
 11.6.2　Thompson Sampling 法
 11.7　各種バンディットアルゴリズムの比較
 11.8　文脈付き多腕バンディットのブートストラップ法による実装
 11.9　現実の問題での課題
 11.9.1　報酬が届くのに時間がかかる
 11.9.2　オフライン実験するためのログデータがバンディットによって偏っている
 11.9.3　有効なアームは流行の移り変わりで時間変化する
 11.9.4　最善なアームが最適ではないことがある、多様性の価値
 11.9.5　アームが途中から追加される
 11.10　バンディットアルゴリズムと、A/Bテスト、Uplift Modelingの関係性
 11.11　この章のまとめ

12章　オンライン広告における機械学習
 12.1　オンライン広告のビジネス設定
 12.1.1　広告枠の売買
 12.1.2　DSPの行動方策
 12.1.3　ファーストプライスオークションの特徴
 12.1.4　入札の流れ
 12.2　問題の定式化
 12.2.1　市場価格と勝率
 12.2.2　効用（Utility）
 12.3　予測の役割と実装
 12.3.1　オーディエンスのレスポンス予測
 12.3.2　勝率（市場価格）の予測
 12.4　広告配信ログの特徴
 12.4.1　フィードバックループ
 12.4.2　不均衡データ
 12.4.3　カーディナリティの大きなカテゴリ変数
 12.4.4　打ち切りデータ
 12.5　機械学習予測モデルの運用
 12.5.1　予測を外したときの対処
 12.5.2　継続的なモデルの訓練
 12.6　この章のまとめ

あとがき
参考文献
索引

https://twitter.com/chezou/status/1385414782396747779 ↩︎
(海外移住に出産に本業のデスマラッシュにと、全員なぜか締切と重なる様々な出来事があった) ↩︎

オライリーから「仕事ではじめる機械学習」が出版されます

Fri, 20 Oct 2017 03:19:18 +0900

技術書典2で好評だった技術書供養寺の薄い本が、この度技術書典3に合わせて商業誌になります！今回も Takashi Nishibayashiさんとところてんさんとの共著になります。と言っても、基本電子版のみなので技術書典会場では購入できませんし、手にとって見ていただくことが出来ませんのでお気をつけください。なお、自社イベントであるCloudera World Tokyo 2017でプリント・オン・デマンドで物理本を少部数限定で販売する予定です。

【追記】Ebookはこちらから買えます

【/追記】

【追記2】電子版大好評に付き2018年1月16日に物理版も出ました。Amazonさんで売り切れている場合は、お近くの本屋さんにお問い合わせください。

【/追記】

まえがきより

どういう本なの？

まえがきのスクリーンショットを貼りましたが、この本は多くの機械学習の本とは異なり、機械学習の実務で使えるようになるために知りたい、機械学習を含めたシステムのアーキテクチャや機械学習プロジェクトの進め方、効果検証をどうするのかということをまとめました。

めざすところのイメージ

既に多く刊行されているTensorFlowやChainerでディープラーニングをしてみようというものでもなければ、機械学習の理論をわかりやすく解説するといった類のものでもありません。ゼロから作るDeep LearningやCourseraのMachine Learningで学んだけど、実際の仕事に活かすにはどうしたら良いだろう？という疑問に答えているつもりです。また、大学の講義などで機械学習は学んだけど、実際仕事で機械学習のプロジェクトを進めるときはどうすればいいんだろう？という人にも得るものがあると思います。もちろん、敢えて数学の基礎には触れないなど、全てのことを網羅的に書けているわけではありませんが、僕やhagino3000さん、tokorotenさんたちの「業務をする上で身についた当たり前」をdumpした本になります。

hagino3000さんのA/Bテストの話はp値だけでなく検定力の話も含まれております、どういう罠があるかという気をつけるポイントも触れられています。

tokorotenさんのキックスターターの分析は、機械学習をする前の探索的分析とレポーティングの例としてとても面白いです。特に彼独特の語り口で、思考を追いかけるような気持ちで楽しめます。

【追記】

tomo_makesさんにわかりやすい図解をしていただきました。ありがとうございます！【/追記】

薄い本との差分は？

技術書典2で ”Big Mouth Data 2017 Spring” を購入いただいた皆様ありがとうございます。そんな皆様にも、新たに書き下ろしの章が増え、強力なレビューアー陣によるマサカリを反映した読みやすい文章などもう一度おすすめできる内容になったかと思います。

マサカリを投げきった人の感想

以下のような差分があります。

hagino3000さんによる、統計的検定と効果検証、A/Bテストの章を追加
tokorotenさんによるマーケティング施策への機械学習としてUplift Modelingの章の追加
chezouより機械学習の評価の章の追加
瀧澤さんによる日本語の大幅なimprove
美しいカラー図表

結局、ページ数としてはPDFで200ページ近くという思っていたより大きいボリュームになり、読み応えたっぷりになりました。

どこで買えるの？

オライリー・ジャパンのEbook Storeで10/22(日)買えるようになります。物理本については、11/7(火)のCloudera World Tokyoにお越しになっていただければ会場限定でPODのものが買えます。（サイン会も予定しています）

なお、同日販売の知人の書籍としては Yoshiki Shibukawaさんの「Goならわかるシステムプログラミング」とtk0miyaさんの「Sphinxをはじめよう」が出ます。とくにお二人には同人誌のときにSphinx方面でのサポートを絶賛していただきました。よければ合わせて読んでみてください。

Shibu’s Diary: ASCII.jpの連載「Goならわかるシステムプログラミング」がパワーアップして書籍化されます
_My blog about Software Development (Python, Sphinx, JavaScript, etc)_blog.shibu.jp

1章機械学習プロジェクトのはじめ方
- 1.1 機械学習はどのように使われるのか
- 1.2 機械学習プロジェクトの流れ
— 1.2.1 問題を定式化する
— 1.2.2 機械学習をしなくて良い方法を考える
— 1.2.3 システム設計を考える
— 1.2.4 アルゴリズムを選定する
— 1.2.5 特徴量、教師データとログの設計をする
— 1.2.6 前処理をする
— 1.2.7 学習・パラメータチューニング
— 1.2.8 システムに組み込む
- 1.3 実システムにおける機械学習の問題点への対処方法
— 1.3.1 人手でゴールドスタンダードを用意して、予測性能のモニタリングをする
— 1.3.2 予測モデルをモジュール化をしてアルゴリズムのA/Bテストができるようにする
— 1.3.3 モデルのバージョン管理をして、いつでも切り戻し可能にする
— 1.3.4 データ処理のパイプラインごと保存する
— 1.3.5 開発/本番環境の言語/フレームワークは揃える
- 1.4 機械学習を含めたシステムを成功させるには
- 1.5 この章のまとめ
2章機械学習で何ができる？
- 2.1 どのアルゴリズムを選ぶべきか？
- 2.2 分類
— 2.2.1 パーセプトロン
— 2.2.2 ロジスティック回帰
— 2.2.3 SVM
— 2.2.4 ニューラルネットワーク
— 2.2.5 k-NN
— 2.2.6 決定木、ランダムフォレスト、GBDT
- 2.3 回帰
— 2.3.1 線形回帰の仕組み
- 2.4 クラスタリング・次元削減
— 2.4.1 クラスタリング
— 2.4.2 次元削減
- 2.5 その他
— 2.5.1 推薦
— 2.5.2 異常検知
— 2.5.3 頻出パターンマイニング
— 2.5.4 強化学習
- 2.6 この章のまとめ
3章学習結果を評価しよう
- 3.1 分類の評価
— 3.1.1 正解率を使えば良いのか？
— 3.1.2 データ数の偏りを考慮する適合率と再現率
— 3.1.3 F値でバランスの良い性能を見る
— 3.1.4 混同行列を知る
— 3.1.5 多クラス分類の平均のとり方: マイクロ平均、マクロ平均
— 3.1.6 分類モデルを比較する
- 3.2 回帰の評価
— 3.2.1 平均二乗誤差
— 3.2.2 決定係数
- 3.3 機械学習を組み込んだシステムのA/Bテスト
- 3.4 この章のまとめ
**4章システムに機械学習を組み込む
**- 4.1 システムに機械学習を含める流れ
- 4.2 システム設計
— 4.2.1 混乱しやすい「バッチ処理」と「バッチ学習」
— 4.2.2 バッチ処理で学習＋予測結果をWebアプリケーションで直接算出する（リアルタイム処理で予測）
— 4.2.3 バッチ処理で学習＋予測結果をAPI経由で利用する（リアルタイム処理で予測）
— 4.2.4 バッチ処理で学習＋予測結果をDB経由で利用する（バッチ処理で予測）
— 4.2.5 リアルタイム処理で学習をする
— 4.2.6 各パターンのまとめ
- 4.3 ログ設計
— 4.3.1 特徴量や教師データに使いうる情報
— 4.3.2 ログを保持する場所
— 4.3.3 ログを設計する上での注意点
- 4.4 この章のまとめ
**5章学習のためのリソースを収集しよう
**- 5.1 学習のためのリソースの取得方法
- 5.2 公開されたデータセットやモデルを活用する
- 5.3 開発者自身が教師データを作る
- 5.4 同僚や友人などにデータ入力してもらう
- 5.5 クラウドソーシングを活用する
- 5.6 サービスに組み込み、ユーザに入力してもらう
- 5.7 この章のまとめ
**6章効果検証
**- 6.1 効果検証の概要
— 6.1.1 効果検証までの道程
— 6.1.2 オフラインで検証しにくいポイント
- 6.2 仮説検定の枠組み
— 6.2.1 コインは歪んでいるか
— 6.2.2 二群の母比率の差の検定
— 6.2.3 偽陽性と偽陰性
- 6.3 仮説検定の注意点
— 6.3.1 繰り返し検定をしてしまう
— 6.3.2 有意差とビジネスインパクト
— 6.3.3 複数の検定を同時に行う
- 6.4 因果効果の推定
— 6.4.1 ルービンの因果モデル
— 6.4.2 セレクションバイアス
— 6.4.3 ランダム化比較試験
— 6.4.4 過去との比較は難しい
- 6.5 A/Bテスト
— 6.5.1 2群の抽出と標本サイズ
— 6.5.2 A/Aテストによる均質さの確認
— 6.5.3 A/Bテストの仕組み作り
— 6.5.4 テストの終了
- 6.6 この章のまとめ

第II部

**7章映画の推薦システムをつくる
**- 7.1 シナリオ
— 7.1.1 推薦システムとは
— 7.1.2 応用シーン
- 7.2 推薦システムをもっと知ろう
— 7.2.1 データの設計と取得
— 7.2.2 明示的データと暗黙的データ
— 7.2.3 推薦システムのアルゴリズム
— 7.2.4 ユーザー間型協調フィルタリング
— 7.2.5 アイテム間型協調フィルタリング
— 7.2.6 モデルベース協調フィルタリング
— 7.2.7 内容ベースフィルタリング
— 7.2.8 協調フィルタリングと内容ベースフィルタリングの得手・不得手
— 7.2.9 評価尺度
- 7.3 MovieLensのデータの傾向を見る
- 7.4 推薦システムの実装
— 7.4.1 Factorization Machineを使った推薦
— 7.4.2 いよいよFactorizatoin Machineで学習する
— 7.4.3 ユーザーと映画以外のコンテキストも加える
- 7.5 この章のまとめ
**8章 Kickstarterの分析、機械学習を使わないという選択肢
**- 8.1 KickstarterのAPIを調査する
- 8.2 Kickstarterのクローラを作成する
- 8.3 JSONデータをCSVに変換する
- 8.4 Excelで軽く眺めてみる
- 8.5 ピボットテーブルでいろいろと眺めてみる
- 8.6 達成したのにキャンセルされたプロジェクトを見てみる
- 8.7 国別に見てみる
- 8.8 レポートを作る
- 8.9 今後行いたいこと
- 8.10 おわりに
**9章 Uplift Modelingによるマーケティング資源の効率化
**- 9.1 Uplift Modelingの四象限のセグメント
- 9.2 A/Bテストの拡張を通じたUplift Modelingの概要
- 9.3 Uplift Modelingのためのデータセット生成
- 9.4 2つの予測モデルを利用したUplift Modeling
- 9.5 Uplift Modellingの評価方法、AUUC
- 9.6 実践的な問題での活用
- 9.7 Uplift Modelingを本番投入するには
- 9.8 この章のまとめ
参考文献
あとがき