カテゴリー: episodes

NN の自然言語処理で transfer learning を実現した BERT について向井が話します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

• [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• Improving Language Understanding by Generative Pre-Training
• GitHub – openai/gpt-2: Code for the paper “Language Models are Unsupervised Multitask Learners”
• [1901.11504] Multi-Task Deep Neural Networks for Natural Language Understanding
  • Microsoft’s New MT-DNN Outperforms Google BERT – SyncedReview – Medium
• BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました – 原理的には可能 – データ分析界隈の人のブログ、もとい雑記帳

Follow up

• Jay Alammar جهاد العمار | LinkedIn
• STV

機械学習を使ったホワイトバランスのアルゴリズムについて森田が話します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

• [1507.00410] Convolutional Color Constancy
• Google AI Blog: Night Sight: Seeing in the Dark on Pixel Phones
• Fast Fourier Color Constancy – Google AI
• YUV – Wikipedia

 

昨年から成果が注目されている自然言語処理向けの新しいニューラルネットワーク Transformer を向井が紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

• [1706.03762] Attention Is All You Need
• The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time
• The Annotated Transformer
• Episode 15 – Neural Machine Translation by Jointly Learning to Align and Translate – Misreading Chat

球面上で幾何アルゴリズムを実装する下地となる座標系のデザインについて森田が話します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

• Geodesic Discrete Global Grid Systems
• S2 Geometry | S2Geometry
  • Announcing the S2 Library: Geometry on the Sphere | Google Open Source Blog
• Supercharging geo_point fields in Elasticsearch 2.2 | Elastic
• Space-filling curve – Wikipedia
• HTM Overview
• H3: Uber’s Hexagonal Hierarchical Spatial Index

 

Follow-up

• My parents are Flat-Earthers

WebAssembly とネイティブコードの性能を比較した論文を向井が紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

• [1901.09056] Mind the Gap: Analyzing the Performance of WebAssembly vs. Native Code
• Episode 22 – Bringing the Web up to Speed with WebAssembly – Misreading Chat
• SPEC – CPU Benchmark Suites
• Browsix: Unix in the browser tab
• WebAssembly Troubles part 1: WebAssembly Is Not a Stack Machine

Follow-up

• The Operating System in 2018
• January Prize Spotlight: Jeff Bezanson, Steven L. Brunton, Jack Dongarra, Stefan Karpinski, and Viral B. Shah

 

Airbnb が使っている検索アルゴリズムの一つについて森田が話します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

• KDD 2018 | Real-time Personalization using Embeddings for Search Ranking at Airbnb
• [1810.09591] Applying Deep Learning To Airbnb Search

収録の都合でノイズが多くなってしまいましたがご容赦ください。

Rust を使ってウェブブラウザを開発する現場からの報告論文について向井が話します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

• Engineering the Servo Web Browser Engine using Rust
• Servo, the Parallel Browser Engine Project
  • servo/servo: The Servo Browser Engine
  • servo/webrender: A GPU-based renderer for the web
• Mozilla 2 – MozillaWiki (懐古趣味)

Follow up

• bashik7 on Twitter: “#misreading の最新epで話がでてたTLA+の紹介記事がタイムリーなことにHNにあがってた。この記事では(論文ではいい感じだと紹介されていた)Toolboxがイケてないって言ってて面白い。使ったことないからなんともだけどJavaだからawfulっていうのは違う気がするけど。