Episode 11 – The Story in the Notebook

Jupyter Notebook の利用実態を調査した “The Story in the Notebook: Exploratory Data Science using a Literate Programming Tool” と “Exploration and Explanation in Computational Notebooks” を森田が紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

 

 

Episode 10 – Deep Probabilistic Programming

確率的プログラミング系の論文 “Deep Probabilistic Programming” を向井が紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

Follow-up

Episode 9 – Automatic Differentiation in Machine Learning: a Survey

自動微分のサーベイ論文 “Automatic differentiation in machine learning: a survey” を 森田が PyTorch のコードを読みつつ紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

Follow-up and Correction

  • PyTorch の論文は 2017 の Autodiff Workshop で発表されていたようです。
  • 10:25 あたりで計算途中の変数が Tensor になっていると言っていますが、Variable の間違いです。

 

Episode 08 – Generative Adversarial Nets

機械学習で画像を生成させる系の論文 “Generative Adversarial Nets” を向井が紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

Follow-up

Notes on Episode 07

Truffle の最適化が一般的なコンパイラの最適化と大きく異なるところは, Truffle では個々のオブジェクト (AST のノード) ごとにメソッドの実行時プロファイルを集計しているところです。大半のコンパイラは、関数などのコード単位でプロファイルをとり、オブジェクト (receiver やその他の引数) ごとにプロファイルを分類はしません。

なぜこの性質が重要なのでしょうか。論文中の例にならい “+” 演算子を実装した AST ノード AddNode の例で考えてみましょう。この AddNode は引数が数値型か文字列か、あるいは独自の “+” を定義したクラスのオブジェクトかで挙動が変わるとします。もしコンパイラがコード単位で、たとえば AddNode#execute() という単位で実行時情報・・・ここでは引数の型・・・を集めるなら、あるプログラムの中に数値のプラスと文字列のプラスが現れた時点で AddNode#execute() は多態的なコードを生成する必要が生まれます。

Ruby, JS など動的なゲスト言語の AST は、ホスト言語である Java から見るとどうしても多態的になってしまうです。

Truffle では、文字列を扱う関数 F と数値を扱う関数 G の中で登場するプラス演算子の AST ノードがそれぞれ独立して実行時の情報を集めます。おかげで F の中では文字列を連結するコードを、G の中では数値を加算するコードを、生成することができます。

一般的なプログラムではあまり重視されていないオブジェクト単位の実行時プロファイルが、どうして Truffle では重要なのでしょうか。それは Truffle の AST がゲスト言語にとっての「コード」だからです。AST インタプリタとして実装されたゲスト言語がふつうの最適化コンパイラがやるようなコード単位の実行時プロファイルを集めたいと思ったら、AST の上にそのデータを置くのは自然なことです。

Truffle はそうしたデザインを前提として、最適化のためのヒントである実行情報をAST のオブジェクトとの間でやりとりする API を提供しました。それらの API をある種の instrincis として特別に解釈し、ふつうのコンパイラにはできないような最適化が可能になるのです。

 

Episode 07 – One VM to Rule Them All

Graal VM のデザインを説明した論文 One VM to rule them all を森田が紹介します。

Graal VM のデザインを説明した論文 “One VM to Rule Them All” を森田が紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

Follow-up and Correction

Episode 06 – CloudBuild: Microsoft’s Distributed and Caching Build Service

Microsoft の社内用分散ビルドシステム CloudBuild を向井が紹介します。

Microsoft の社内用分散ビルドシステム CloudBuild の論文を向井が紹介します。数千万行の巨大な既存コードベースのビルドをいかにそのまま分散化するか、その頑張りが見どころです。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

Follow-up