Scale AI presents A Careful Examination of LLM Performance on Grade School Arithmetic

- Evaluate existing LLMs on a new test set of GSM8K
- Observe accuracy drops of up to 13%, with models like Phi and Mistral showing evidence of systematic overfitting

arxiv.org/abs/2405.00332

Luxonisが出す比較レポートよりもちゃんとしてそう。Orbbecのカメラまだ持ってないので1台くらい手元に欲しい。
opencv.org/blog/a-quick-c…

IMU の角速度バイアスを Gauss-Newton 法によって補正する手法を解説しました

ぜひ見ていってください

tier4.github.io/system_softwar…

# で区切る記法はOpenAIのプロンプトガイドに沿っているので全体としてGPT系に有利になっている可能性はあるか。ClaudeはQA系のスコアを落としているので、Anthropicのガイドに沿いXMLで質問/文書の構造を明示すると結構変わる気がする。

wandb.ai/wandb-japan/ll…

Microsoftが公開してるMLOpsに関するホワイトペーパーの要点をまとめた記事を書きました。
DSとエンジニアの関係に着目してるのが面白かったです。

MicrosoftのMLOpsホワイトペーパー「Breaking the Wall between AI and DevOps with MLOps」要点まとめ
nsakki55.hatenablog.com/entry/2024/05/…

Meta announces Better & Faster Large Language Models via Multi-token Prediction

Large language models such as GPT and Llama are trained with a next-token prediction loss. In this work, we suggest that training language models to predict multiple future tokens at

Evals are notoriously difficult to get right but necessary to move the field forward. 🌟

As part of our commitment to science, we’re releasing a subset of our internal evals. 🙌

Vibe-Eval is an open and hard benchmark comprising 269 image-text prompts for measuring the

Memory is now available to all ChatGPT Plus users. Using Memory is easy: just start a new chat and tell ChatGPT anything you’d like it to remember.

Memory can be turned on or off in settings and is not currently available in Europe or Korea. Team, Enterprise, and GPTs to come.

1/ GW是非 aistudio.google.com で'Gemini 1.5 Pro'をお試しください。このスレに色々使用例を載せます。lmsys.orgに3日前評価がのり、 GPT-4やClaude 3と同等の世界一の性能、と同時に日本語生成も超速いです。

Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey

PEFT algorithms are useful for dealing with LLMs with high parameter counts, as even fine-tuning these models from scratch can be computationally expensive and resource-intensive.

arxiv.org/abs/2403.14608

youtu.be/3IKCrAPe55k?si…

マスターの社内で発表した WandB の資料をちょっといじって出してみます🤤

かなり概要しかないのでそこまで参考にならないかもですが、興味あれば！

（あと何か間違ってたら教えて下さい🙇‍♀️）

20240419：WandB は良いぞ！【公開版】 - Google スライド docs.google.com/presentation/d…

東工大のSwallow-MXを用いてWikipediaのテキストに基づく質問と回答を生成させたデータセット AutoWikiQA をHuggingFace上に公開しました！

約240万事例と日本語QAデータセットの中でも最大規模かつ高多様性なデータセットです
ライセンスはCC BY-SA 4.0で商用利用可です！

huggingface.co/datasets/cl-na…

Excited to share Penzai, a JAX research toolkit from Google DeepMind for building, editing, and visualizing neural networks! Penzai makes it easy to see model internals and lets you inject custom logic anywhere.

Check it out on GitHub: github.com/google-deepmin…

Llama3の裏でひっそりとInternVL-Chat-V1.5がリリースされてる！ モデルサイズ26Bって多分4bitで余裕を持って24GB VRAMに乗るのでかなりちょうど良い…
huggingface.co/OpenGVLab/Inte…

pytorchが公式でLLMのfinetuning用のライブラリを出してた。
しかもすでにLlama3のfinetuningも対応しているぽい。
Llama3のfinetuningするなら、torchtuneが一番いいかも
github.com/pytorch/torcht…

Google presents Many-Shot In-Context Learning

- Proposes many-shot ICL, i.e., adding up to thousands of examples in context with Gemini 1.5, which boosts the perf significantly
- Using synthetic CoT is very effect in this setting.

arxiv.org/abs/2404.11018

LLaMA-3 is a prime example of why training a good LLM is almost entirely about data quality…

TL;DR. Meta released LLaMA-3-8B/70B today and 95% of the technical info we have so far is related to data quality:

- 15T tokens of pretraining data
- More code during pretraining…

Google Colab で Llama 3 を試す｜npaka 布留川英一 / Hidekazu Furukawa #note note.com/npaka/n/n73b07…

Introducing Meta Llama 3: the most capable openly available LLM to date.

Today we’re releasing 8B & 70B models that deliver on new capabilities such as improved reasoning and set a new state-of-the-art for models of their sizes.

Today's release includes the first two Llama 3…