博士課程という険しい道を進む仲間のために書きました。 届くべきところに届いて欲しいため、研究者の方々に拡散して頂けるとありがたいです🙏 フェローシップや次世代研究者挑戦的研究プログラムに採択された博士課程の学生は開業届を出して個人事業主になろう｜たぐれおん note.com/tagleon/n/n163…

D進は海外で働いてみたい人にとって魅力的だと思います。 学生の身分だと海外の企業や大学のインターンに好きなだけ挑戦できます。 博士号を持っていると就労ビザが取りやすく、キャリアの選択肢が大幅に広がります。 何より、研究を通じて世界の優秀な方々と一緒に仕事ができる最高の機会です。

博士課程に行くと嫌でも結果を出さないといけないから、元々飛びぬけたものがない人にとっては少し自信ができて良い。

共著者が「英文校正を受けたのに査読者から英語の質を指摘された」と不満そうだったので、サバティカルのときに作った自分用メモを渡した。 年末年始に論文を書こうという方、ご笑覧ください。年始に執筆会やりたい。

使っている研究ツール 論文管理：Zotero 論文書く：overleaf / vimtex 論文読む：iPad (PDF Expert) / Mac preview メモ・計算：iPad (Noteshelf) 作図：パワポ / Matplotlib スライド：パワポ 英語チェック：Grammarly / DeepL コーディング：JetBrains IDE / vim ML実験管理：Weights & Biases

私はこのブログで紹介されている筑波大の落合陽一先生のフォーマット（鬼コース）で大学院生のときに論文をたくさん読みました。自らやりたい・やるべき研究テーマを見つけ、国際的にインパクトのある研究ができたことは大きな自信になりました。このブログと鬼コースに感謝🙇‍♂️ lafrenze.hatenablog.com/entry/2015/08/…

自分が学生の時に、これを教えてくれる人がいた。自分は欧州の博士課程にいくつか応募したけど全敗。 だけど、その時に集めた英文の修了証明書&成績証明は数年後に役に立った。それを使っていま欧州に来てるのを思うと、失敗してもいいから大学院に応募してみると、それが後に役立つこともある。

To increase transparency around grad school stipends, retweet this tweet with your department, university, and annual stipend. I'll go first: I'm a PhD student in the Computing and Mathematical Sciences (CMS) department at Caltech, and I'm paid $36k/year. #StipendTransparency

The ConvNeXt paper is rightfully getting some attention: it's good work and has beautiful plots. But, Fig1 needs a little correction IMO. They compare heavily aug/reg swin+convnext to plain ViT. We fixed this in arxiv.org/abs/2106.10270 which is what should always be compared to.

Mark AK moved to @_akhaliq Well, AutoML models are already ahead by a couple of months, but this paper choses to compare 2019 EffNetV1 instead of 2021 EffNetV2 . Here is a better comparison:

Nice paper with beautiful plots and catchy titles! I was hopping it could compare EffNetV2 (ICML 2021, convs only) as well: arxiv.org/abs/2104.00298 If EffNetV2 is included, the figure should look roughly like this:

某業務中に知ったのだけど、これは確かに必要な人々が局所的に居そう。今まで匿名アカウントをgithubに生やす方法しか知らなかった。 anonymous.4open.science

DeepMind に入社してから２ヶ月半経ちました！Google DeepMind 所属に変わります🧠🌀

今週マイアミで開催した MLSys で ETH ポスドク時の研究を発表しました。大規模言語モデルの学習をパイプライン並列とフィッシャー情報行列を用いた二次最適化（K-FAC）で効率化する話です。 arxiv.org/abs/2211.14133

We’re sharing Project Astra: our new project focused on building a future AI assistant that can be truly helpful in everyday life. 🤝 Watch it in action, with two parts - each was captured in a single take, in real time. ↓ #GoogleIO

Gemini and I also got a chance to watch the OpenAI live announcement of gpt4o, using Project Astra! Congrats to the OpenAI team, super impressive work!

GPT-4o のデモを Gemini が解説👏

ロンドン本社の Gemini Pre-Training team で Gemini 2.X family のモデル構造の設計と学習のスケーリング・安定化に取り組んできました。優秀な同僚たちと積み上げてきた成果が Gemini 1.5 からの性能の飛躍に繋がり嬉しいです！！