Training an LLM on 8 M4 Mac Minis
Ethernet interconnect between Macs is 100x slower than NVLink so Macs can’t synchronise model gradients every training step.
I got DiLoCo running so Macs synchronise once every 1000 training steps using 1000x less communication than DDP
En una semana sale "Arquitectura Software Avanzada: Más Allá de los Patrones"
🔹Cuándo y cómo descomponer un sistema
🔹Orquestación, coreografía y sagas
🔹Migraciones y evolución de arquitecturas
🔹Gestión de sistemas en producción
Mira el siguiente tweet para no perdértelo 👇
It is with more sadness than mere words can convey that we have to report that our beloved Ozzy Osbourne has passed away this morning. He was with his family and surrounded by love.
We ask everyone to respect our family privacy at this time.
Sharon, Jack, Kelly, Aimee and
A lot of younger people who’re new to the industry ask me how to do “networking”.
How do you go from knowing no one in San Francisco to having a network of people that you can do business with, learn from, hire, etc.
The trick is I never set out to “network”. Maybe due to
La distancia estándar entre rieles en los ferrocarriles de Estados Unidos es de 4 pies y 8.5 pulgadas. Un número bastante extraño, ¿no?
¿Por qué se usa esa medida?
Porque así se construían los ferrocarriles en Inglaterra, y los primeros ingenieros que diseñaron las vías en EE.
RTVE: "Hay un dato importante, las ruedas de los trenes son una especie de cuadrado".
🤦
Como para fiarte de los que piden que te informes por canales oficiales, que ignores los 'bulos de la ultraderecha' y monitorean las RRSS para censurar las críticas.