メニューの開閉
2017年4月にSprocketに新しいメンバーが加わった。空久保和史と緒方 竜一郎だ。なぜ、彼らはこのタイミングでSprocketを選んだのか。彼らのこれまでの経歴とともに、入社の動機、これからの目標について迫った。
深田：空久保さんには、ラインマネージャーとして、納品、運用業務整理、プロダクトの方向性など、事業成長を支える土台を作る仕事を任せています。最初に、これまでの経歴をお話ください。
空久保：新卒でIBMにエンジニアとして入社しました。しかしスタートアップに興味があったので、5年後にディー・エヌ・エー（ＤｅＮＡ）に転職しました。DeNAでは、子会社で決済代行会社のペイジェントの代表に就任し、経営を任されていました。その後、オンライン動画プラットフォームのブライトコーブで技術統括を担当しました。外資系のSaaSベンダーのスタートアップでは、日本のスタートアップとの違いを肌で感じましたね。
深田：どういったところで違いがあるんですか？
Sprocketでは、Web接客を自動的に最適化するAI機能「Autosegment」を2017年5月にリリースしました。この機能はWeb接客シナリオを表示すべき相手を機械学習により判別して、シナリオの出し分けを行います。すでに、Sprocketの既存クライアントの実環境にて運用を開始しています。
https://www.sprocket.bz/4421/
今回は、AI機能の開発を担当する森下健、シナリオの設計を担当するプロデューサの馴松直樹、そして代表取締役の深田浩嗣の3人の対談の様子をお届けします。
ここにもちょっと書いたのですが、NPI(Neural Programmer-Interpreters) という仕組みがあります。NPIはDeepLearningで「プログラムの実行」を学習させようという試みです。「プログラムの実行」方法を人間がプログラム言語で組み立てるのではなく、「プログラムの実行」をNPIが事例をみて学習するというのが醍醐味かなと思います。
ベイズ最適化(参考：ベイズ最適化入門, 機械学習のためのベイズ最適化入門)を使うと、機械学習の時の各種Try&Errorで決めざるを得ないようなハイパーパラメータの探索を効率よく実施できる可能性があります。
考え方などは最近色々解説記事が増えてきたおかげで理解はできるのですが、GridSearchのライブラリみたいな形ではWeb上で見つけられなかったので、今回作りました。きっと車輪の再発明なのだと思うのですが、まあ再発明は勉強にはなるので良しとします。
※ Keras2 を対象にしています。
Kerasのコードはシンプルでモジュール性が高いのでシンプルに記述可能で、理解しやすく使いやすいです。
ただし、標準で用意されている以外のLayerや学習をさせようとすると、あまりサンプルがなくてどう書いていいかわからなくなることが多いです。
最近いくつか変わったModelを書いた時に学んだTipsを備忘録も兼ねて共有します。
Container を使うと便利Lambdaを使った簡易変換は便利LayerじゃないところからLoss関数に式を追加したい場合
遅まきながら、VAT(Virtual Adversarial Training)という学習方法を知ったのですが、Kerasでの実装が見つからなかったので実装してみました。
VATは簡単にいうと、「通常の入力X→出力Y」と「なるべく結果が異なるように入力Xに微小なノイズdを入力に加えた入力(X+d)→出力Y'」から「KL-Divergence(Y, Y')」を損失関数に余分に加えて学習をする手法です。
これだけだと何言ってるかわからないと思うので、詳しくは元の論文か、この方の解説をご覧になると良いかと思います。
VATは学習における位置づけとしては「正則化」に近いという話で、DropoutやNoiseを加える代わりになる可能性があります。Dropoutとかのパラメータを調整するのも面倒なので、VATで代用できると嬉しい気がします。
Kerasだとコスト関数や正則化関数に入力Xを使うようにするのが少し厄介なのですが、そこさえなんとかなれば、ChainerやTheanoでの実装があるので移植すればOKです。
先日、KerasでVAT(Virtual Adversarial Training)を使ってMNISTをやってみるを投稿したのですが、もう少しマシっぽい実装ができたので共有します。
前回からの違いは、
Model.losses に VATのLossを付けるようにし、学習時に妙な変換をしなくてよくした（これが大きい違い）K.stop_gradient() を付けており、VAT計算から発生する余分な(?)差分の伝播を止めた（ということになると思う）(あまり結果は変わらないけど...)というところです。
GAN(Generative Adversarial Networks: 敵対的生成ネットワーク)という生成モデルの中でも面白い構造の仕組みを最近よく見かけます。Generator(生成者)とDiscriminator(識別者)が互いに競い合って精度を上げていく構造は、美術界での贋作者(=Generator)と鑑定士(Discriminator)の勝負のようでギャラリーフェイクのような世界を彷彿とさせます。仕組み自体に浪漫を感じます。さらにそれで精度良い生成ができるのだから本当に不思議です。
ただ、GANは学習が難しいというのが課題だったようなのですが、この BEGAN というのは二者の対立のバランスを取りながら学習することでこの課題を解決するとのこと。BEGANは結構内容がシンプルで理解しやすかったので、Kerasで実装してみました。
「いちばんやさしいコンバージョン最適化の教本」が発売されて早1ヶ月。紀伊国屋書店新宿店でビジネス書ランキング3位に輝くなど、売れ行きも好調です。著者の深田浩嗣に本書についての思いを聞いてみました。
2017年1月13日に、日頃お世話になっているパートナー様をご招待し、「Sprocketパートナー新年会」を開催しました。Sprocketの導入企業様は、昨年比で5倍に増えていますが、急成長はパートナー企業様があってこそ。日頃の感謝をお伝えするとともに、今後のSprocketの戦略や現在の活動などを紹介しました。
Sprocketにデータサイエンティストとして入社した森下健。深田とは同世代で大学院時代の同期でもある。今回は、2人の対談を通して、Web接客ツールSprocket（スプロケット）が人工知能、機械学習の要素を取り入れて、どのように進化するのか、今後の展望について探っていく。
深田：先日のインタビューで賢いコンピュータについての興味があるという話がありましたが、どういうきかっけがあって興味を持ったんですか？
森下：子どものときに、テーブルトークRPGのゲームマスターに憧れがありました。テーブルトークRPGというのは、コンピュータを使わず、紙とペン、ルールブックでストーリーを進めるRPGで、ゲームマスターはそのゲームの進行やルールを決める人。ゲームがおもしろくなるかどうかは、ゲームマスターの腕次第というわけです。このゲームマスターをコンピュータで作れないか、そういう思いがありましたね。
深田：子どもの頃からコンピュータに興味があったんですか？
森下：小学1−2年生のとき、Basicのプログラミングができる小さいコンピュータが家にあって、ちょっとしたコードを書けたんですよね。自分の思った通りに作れるのがおもしろくて、それが最初のきっかけかもしれないです。
深田：機械学習に興味を持ったのはいつですか？
森下：初めて機械学習という言葉を聞いたのは、大学院にいた2000年ごろ。プログラムは、プログラマーが設計した通りの動きをするもので、言われた以上のことをやる道具ではありません。しかし、機械学習は、機械がプログラムされていないことを自分で学習していく。そこに興味を持ちましたね。
深田：機械学習に取り組み始めたのは？
