怎么“优化”，这么难呢？

好吧，经过我的一番研究，我知道为啥了。 原因是，我用的是MoE算子，输入经过专家后会拼接在一起，而拼接的梯度是切片。 反向传播的时候，x.sum().backward()等于使用x.sum().backward(1)

github.com/pytorch/pytorc… 果然又是大坑😅😅😅 顺便说一下它之所以慢是因为模型不够大。因为它是把最后一个输出层矩阵乘法拆成好几个顺序的子矩阵乘法（有点类似于data parallism）。 问题是模型小的时候或者输入batch

晚清可伴随着汉民族的扩张啊。 一打解百忧，世界上最强大的军力与物力。 如果不打出去，老钟将面临日本这种人口萎缩加重度老年化的结局。

完全看不出来，一半财产多的可比艹个批重要多了。 这就是让男性不要结婚、不要同居，爱也别恋了。

太悲伤了，李新野最终还是活成了盖茨比

感觉镜头画面不错。 但女方和男方分开，往往都是为了更多的钱。离婚女方可以挣钱的。

地才是资产。 房子对接盘的国企来说，是沉重的负担。

看到过最好的《进击的巨人》解读之一。

蒜蓉鱿鱼须 巨人最神的地方就是追漫画的时候看到贴吧里面一帮耶派表演，然后又破防，最牛逼的地方就是结尾艾伦的🤡表演，实际上，现在这个世界上那么多所谓的政治强人，扒开来一看，不也是🤡吗

感觉得调高，因为小明剑龟的老婆就是矮树墩大脸盘子。

精辟！ 婚姻是最最亲密的关系，夫妻是“共享”财产的。共享财产，远比体液交换亲密太多的。

这两天和台湾群友们研究政府是怎么从技术上实现封禁小红书的，结果发现实际手段层面目前仅有 DNS 污染，换一个干净一点的 DNS 服务立即就能恢复在台湾本地访问小红书，甚至都不需要 VPN😂

真的很出色，但还是AI。 我一眼还真没看出来，觉得不对劲，是因为酒瓶，看起来感觉不对。

在推上看到一段话，比较有意思。但是一时我没找到原文了。 认为"Agent智能体的本质就是各种prompts提示词的交互与生成"，，，，，， 把各种文本丢进不同的模型，输出的答案，成为另一个模型的输入提示词。 用到的模型可能还有，视频图片识别、与语音转文字模型模型，但它们的中间产物还是提示词文本

很好 下一個21年單身就此降臨

我父母的婚礼视频就是存在这种录像带上的 前一阵看淘宝上有把录像带转视频文件的服务 就让我妈找出来录像带 抱着试一试的想法寄了过去 没想到都30多年了 还真的能读出来数据 看到自己出生之前的父母 活灵活现的 真的是一种很奇妙的感觉

还没完全学会BPE和BBPE。 我觉得学会，得能够教授他人怎么做，并手动实现Karpathy的就是好教材好案例。 已经在觉得学习一门语言，不应该背单词，反而应该做个tokenizer分词器。 不过这玩意也妹太大用，重要的是学习语言中token的相关关系与位置关系，而不是token分词。