スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 日本語能力に長け、研究・ビジネス利用にも期待: 要点 日本の計算機技術を用いて開発した日本語能力に優れた大規模言語モデルを公開 スーパーコンピュータ「富岳」の性能を最大限に活用し... ift.tt/cyK1iWH

＼ #gen_ai_conf パネルディスカッション紹介／
「大規模言語モデルを作るその意義に迫る」

東京工業大学 教授 岡崎 直観氏
ストックマーク株式会社 VP of Reserch 近江 崇宏氏
株式会社ELYZA 代表取締役CEO 曽根岡 侑也氏

▼詳細、チケットはこちらから
gen-ai-conf.org

下の日本語単語ベクトルの分布図も含み、「統計的テキストモデル」の全体の原稿(4章以外)のβ版を公開しました。細かい部分以外は一通り読めるようになっています。読んでみてここが分からなかった、などのご意見を引き続き募集しています。chasen.org/~daiti-m/textm…

Swallow 7B, 13B, 70B, Swallow-MS 7Bに新たに指示チューニングを施したモデルをリリースしました。
前回に引き続きモデルの評価を担当しています。

インストラクション・チューニングを改良し、指示追従性やマルチターン応答を向上させた #LLM （ #Swallow -*-instruct-v0.1）を #HuggingFace 上で公開しました。以前のバージョンと比べて、MT-Benchで大幅な改善が見られます。現状はプレビュー版という位置づけで、今後も開発を継続していきます。

5/8（水）の生成AIカンファレンスでLLMの最前線の話と今後の展望についてお話させていただきます。興味のある方はぜひご参加ください

Swallow 7B, 13B, 70B、およびSwallow-MS 7Bの新しいinstructモデル（Swallow-*-instruct-v0.1）を公開しました。あまり重視してこなかった指示追従能力やマルチターン応答の改善に取り組み、MT-Benchで過去のモデルを上回る性能を確認しました。 huggingface.co/collections/to… huggingface.co/collections/to…

Swallowシリーズにおいて性能が芳しくなかったinstructモデルを改善しました!!
今回のリリースは、preview版となっており、さらなる改善を現在行っています。

今後はinstructモデルの改善手法の研究も行っていきますので、今後ともよろしくお願いします。
huggingface.co/collections/to…

Swallow 7B, 13B, 70B、およびSwallow-MS 7Bのインストラクション・チューニングを改良し、指示追従性やマルチターン応答を向上させたモデルをHugging Face上で公開しました。以前に公開したモデルと比べて、MT-Benchのスコアで大幅に改善しています
huggingface.co/tokyotech-llm/…
huggingface.co/tokyotech-llm/…

東工大のSwallow-MXを用いてWikipediaのテキストに基づく質問と回答を生成させたデータセット AutoWikiQA をHuggingFace上に公開しました！

約240万事例と日本語QAデータセットの中でも最大規模かつ高多様性なデータセットです
ライセンスはCC BY-SA 4.0で商用利用可です！

huggingface.co/datasets/cl-na…

Our paper (w/ Youmi Ma, Yuki Wata, and Naoaki Okazaki) introduces data leakage detection using sampling-based pseudo-likelihood for black-box LLMs. Our method performed comparably to existing methods 💪
📄 Paper: arxiv.org/abs/2404.11262
💾 Code: github.com/nlp-titech/sam…

LLM関連プロジェクトの研究員およびRAの公募👀
研究員：aist.go.jp/aist_j/humanre…
RA： aistairc.github.io/plu/people.htm…
unit.aist.go.jp/deihrd/keiyaku…
テクニカルスタッフ：unit.aist.go.jp/deihrd/keiyaku…

LLMはパラメータ一つあたり2bitの情報を様々な後続タスクに利用可能な形で格納できる。他の結果も含めべき乗則の論文以来の重要な結果と思う。人工的に三つ組（名前/属性/値）のデータを設計し様々な規模、アーキテクチャで検証。7Bモデルでもwikipediaと全教科書情報は全て覚えられる。…

Swallowモデルの開発を支えた分散学習についての論文で情報処理学会より学生奨励賞をいただきました。

今後も研究開発をどんどんしていきます！！

[Announcement] MSRの拠点を日本／東京に開設いたします.....！
news.microsoft.com/ja-jp/2024/04/…

名古屋大学/理研AIPの竹内一郎先生を総括としたJSTさきがけ研究領域

AI・ロボットによる研究開発プロセス革新のための基盤構築と実践活用[研究開発プロセス革新]

が始まります！

jst.go.jp/kisoken/boshuu…

私も少しでもこの分野が国内で盛り上がるお手伝いができればと思っております💪💪💪

I am thrilled to announce that I have been promoted to the position of full Professor at the University of Tokyo.

I am immensely grateful to everyone who has supported me along the way!

本日付で国立情報学研究所コンテンツ科学研究系に助教として着任しました。これからNII内外の方と連携しながら、Vision & Language の研究室を創っていきたいと思います。

なお、なぜかLLMセンターにも名前があるようです。こちらはなぜなのか正直よくわかっていません（）
nii.ac.jp/research/cente…

愛知工業大学の教授に着任しました。

学生さんたちと楽しく過ごせる環境作りにつとめつつ、これからも自然言語処理＆対話研究やっていきますので、よろしくお願いします！

4月1日付で研究室を持ちました🦌
役職・所属は変わらず東工大（科学大）助教（テニュア）です！
I launched my own research laboratory at Tokyo Institute of Technology (Suzukaze-Dai Campus)🚀