大規模言語モデルは、日本語で話すと自分を日本人だと思い込むし、英語で話すと英語圏の人だと思い込むのだけど、岡野原さんの話を聞き本文中学習とはこの現象のことなのだなと理解した。そして最大限LLMから情報を取り出すにはこの性質を理解するのが重要そう。

めちゃくちゃお世話になっているLightGBMをもう一度理解するために購入。あらゆる汎用的なテーブルデータに適用できる。 数年前にXGBoostと一緒にコードを眺めながら理解したけど、すっかり忘れてしまったし復習しよう。 一つのモデルだけで解説本が出るとは、著者や出版社の方に感謝しよう。

Transformer と時系列データの相性が悪い傾向にある，という研究結果をここ最近見るなぁ 時系列データ（株価とか）によくあるノイズに弱いっぽい

丁寧に読んで頂きありがとうございます。5章の学習アルゴリズムが1番書きたかったのですが、難しい内容なので、最終章にして良かったです。感謝感謝

【PFN2023インターンブログ】夏季インターンの竹田悠哉さんによる寄稿です。大規模言語モデルのfine-tuningによるドメイン知識獲得の検討に取り組んでいただきました。 tech.preferred.jp/ja/blog/llm-fi…

大学で学んだ物理芸が機械学習本になり、母校の東京理科大に寄贈してきました。飯田橋の10階の図書館が懐かし過ぎる。

Attentionは結局、注目したい所に重みを掛けて学習しましょうということだから、そういった情報の取捨選択が重要なんでしょうね。 ViTでも良い精度が出ているのは、『無駄な情報を捨てて重要な部分に注目する』っていう人間に近い学習機構を取り入れてるからな気がする。

素晴らしい記事！何度も定期的に見直して、完全に理解したいし、扱えるようになりたい。

数年前にブログで読んだ記事で、また読みたいと思ってたら、本になってました。当時ブログで読んだときはエンジニア視点の頭の良さを書いてあり、内容が鮮烈て何度も読み返しました。これから、本屋に行ってきます。

NVIDIA から出ている↓の辺りの情報が詳しい気がする >Recently, we re-architected the backend service that provisions sessions for thousands of concurrent notebooks. developer.nvidia.com/blog/how-kaggl… medium.com/google-cloud/a… #kaggle_tokyo

4/1までKindleセールやってます。 Dockerの環境でもNotebookが動くよう手順を追加しました。 github.com/ayukat1016/lig… amazon.co.jp/dp/B0C7TMD4G8?…

衝動買い。 #技術書典

PyTorch本の共著者の大川さんが本を出しました。pandasは都度調べるような細かい操作が載っていて手元にあると便利です。 amazon.co.jp/dp/479806890X/

背景を含めて丁寧に書いてあり、読みやすい。Microsoftサービスの章は読みべき公式ドキュメントや関連リンクが纏まっていて、深堀に使ってる。 amazon.co.jp/dp/4865944001

MLOps研修資料が公開されていて有難い。 2023年度版からコンテンツが追加されて、安定の有難さ。毎年楽しめそう。 developers.cyberagent.co.jp/blog/archives/…

【拡散してもらえると嬉しいです🙇‍♂️】 今度会社のイベントに登壇することになりました。 効果検証がテーマということで、私はDML(double/debiased machine learning)という手法について話します。懇親会での意見交換も楽しみにしているので、ぜひ六本木までいらしてください！

Udemyで講座を作ってみました。10名突破wを記念して、期間限定のクーポンを出してみます。最低価格1500円の安心設定。 赤枠がスコープで環境構築から線形回帰までの初学者向けの講座です。 今回は第1回ですが、今後もMLOpsや本番運用を意識した講座を作成していきます。 udemy.com/course/start-m…

LLMOpsを整理していて、特に評価周りについて詳しくまとめました 「LLMでLLMを評価するの気持ち悪くね？」という人は結構居ると思っていて僕もその1人ですが、スケール的にLLMを持ち出さない限り厳しいのも理解していて、その辺りに対する現実解の話をしています speakerdeck.com/shuntaito/llmo…

機械学習のUdemyのクーポンを配布します。 12/29 12時～1/3 12時まで 1300円で購入できるので、以下を勉強したい方はぜひご活用くださいませ。 ・環境構築（Windows） ・予測モデルの活用イメージ ・線形回帰 udemy.com/course/start-m…

始まった！ #RecIndTalks