👏, Aujourd’hui plus que jamais, apprenez sérieusement le computer science ; ne suivez pas ces mouvements de vibe coding 🚮.

je vais l’update aujourd’hui insha Allah(borom assamane bi) en mode real time speech to speech depuis un téléphone, on pourra appeler 📞 l’IA et lui donner des instructions et regarder en realtime ce qu’il fait avec le PC!

….! 🔥🚀

le gars vous propose le vibe coding mais recherche de vrais ingénieurs 😌 pour réaliser sa vision…! je pense que je vais build un coding agent sah mou djeh.

voilà, une première version, pas parfaite mais on arrive à call le système et le laisser interagir avec la machine linux. next time : accélérer le speech 😉.

le projet ne fait que 800 lignes mais c’est cette partie qui joue vraiment un rôle important. cette fonction combine bcp de concepts : async programming, zeromq, websocket 😌.

plus je fais du python plus je me rends compte qu’il y a tellement de choses à apprendre. les asyncontextmanager peuvent vraiment changer votre manière de coder.

le réseau mobile utilise le format ulaw_8000 alors que les asr model sont souvent train sur wav 16000 hz, il est donc important de les transformer en wav. ffmpeg 😌🚀, un outil que j’utilise depuis 2019! combine avec du process pour ne pas bloquer l’évent loop.

la détection de l’activité vocale (voice activity detector) est un vrai challenge. openai offre cela dans leur api realtime mais je préfère le coder avec du pytorch. rien de diable, un peu de logique rek.

coder c’est simple mais gérer les signaux et remove les resources asynchrone n’est pas du tout facile. ce truc m’a pris plusieurs années pour le faire à ma propre sauce. je pense que je comprends carrément comment fonctionne fastapi et uvicorn 😌!

next time, on se fait notre propre cursor 😌, insha Allah. je veux un système qui peut créer la structure du projet, définir le plan, coder en parallèle sur plusieurs fichiers en même temps etc…! j’imagine aussi un système qui contrôle plusieurs autres machines(worker).

le fait que le modèle change de répertoire, c’est ce qu’on appelle un agent_loop, le modèle est dans une boucle de feed-back et peut donc corriger ses décisions. 😌

à tester 😌…!