Qwen 110B模型！ 阿里放出了Qwen1.5 110B参数模型的在线demo，感兴趣的可以试下 huggingface.co/spaces/Qwen/Qw…

Anker竟然做家庭储能了 超大号充电宝，样子确实好看 anker.com/anker-solix/x1…

开源音乐生成模型来啦！ stability 开源了 stable-audio-open 音乐生成模型，最高可以生成47秒音乐，大家可以试试 但是注意授权是不可商用的 huggingface.co/stabilityai/st…

千问2来啦，全系支持GQA！ 推理加速和显存占用极大优化，迫不及待给产品换上啦

Brought my Apple device AI cluster with me on my 7 hr flight exo intern iPhones, iPad and MacBook connect together on local network to make one big GPU. 1 device = run small models 5 devices = run large models

在一堆苹果设备上运行大模型！ 基于MLX的分布式推理，利用所有设备的算力和内存 简直太酷了，期待代码

赛博活佛 Andrej Karpathy 又有新开源项目啦！ 想学LLM的一定得看，LLM101，教学目的的项目，课程讲如何构建一个能够创作、提炼和讲述故事的大语言模型。 从 bigram 语言模型、反向传播到注意力机制，再到多模态，总共17章节 github.com/karpathy/LLM10…

超越Groq，最强AI芯片！ Sohu 芯片每秒可生成 500000 tokens，运行Llama 70B，一张Sohu = 20张 H100。 Sohu 是专为 transformer 模型设计的ASIC芯片。 详细介绍： etched.com/announcing-etc…

再见市集

Finally…

苹果这个… 请一个相声喜剧演员代言信息安全，是说苹果的信息安全是个笑话吗？

ONE MODEL TO RULE THEM ALL!!! 牛逼👍🏻 huggingface.co/xinsir/control…

LLM加载速度提升10倍！ transformers的这个最新PR，可以将CPU的大模型加载速度提示至少10倍，对于做 serverless 的朋友们可以重点关注一下 github.com/huggingface/tr…

蓝屏元凶 这哥们儿上班第一天，改了行代码，更新发布Crowdstrike，已一己之力干翻全球PC，也是够惨的……

23台 Mac mini 集群跑起来Llama3 405B 之前一直关注的苹果生态分布式推理解决方案 exo intern ，用23台 16G内存的 Macmini跑起来了405b参数的Llama3 项目是开源的，有条件的朋友可以玩玩，非常有趣 16G M芯片Macmini二手约5k，23台也就是11w，成本其实很便宜了

绝绝子……

299显卡扩展坞，还内置电源 零刻这款机器确实好玩，缝合怪居然真的可以，跟主机一起买拓展坞只需要299，整体做工远超预期，闲置了一年的4090卡可以用起来了 计划用来跑实验，双2.5G网卡，刚好做云平台测试设备

好文共赏

黑神话中的壁画，我以为创作时候就是电子版，没想到是按传统工艺三矾九染创作出来的真实作品 原创作者在知乎当然回答： zhihu.com/question/66552…

还不错 5070与4090性能相当，确只有1/3价格