dataplex cloud.google.com/blog/ja/produc… #gc_datacloud

うーんまだpreview中か

ETL/ELTに関してはDataflow、Composerは学習コスト高めで導入ハードル高いなと感じるのでDataformを早く正式リリースして欲しいな。 #gc_datacloud

これは気になる話題。 うちでは単体テストは現状無しでIntegration testのみ自動化していて現状はそれほど課題感は無いけど、 ELTをBigQueryでやり始めつつあるので単体テストそろそろ考え始めないとな。

テスト駆動開発にはざっくりいうとモックを積極的に使う派（ロンドン学派）とあまり使わない派（デトロイト学派、古典派）がありまして、私は後者なのでほとんど使わず、このエントリに深く同意するところです / “モックは必要悪で、しないにこしたことはない - …” htn.to/xKy8qGsPMN

同意:カナダの大学の経済学で取り上げられたそうだ。日本の貧困者は薬物もやらず、犯罪者の家族でもなく移民でもない。教育水準が低いわけでもなく、怠惰でもなく勤勉で労働時間も長く、 スキルが低いわけでもない。世界的にも例の無い、完全な｢政策のミス｣による貧困だと。 facebook.com/10001553989155…

Pythonのroundが四捨五入ではないというのは相当罠じゃないですか…？偶数への丸めなんて想像もしてないですよ…

慶應大学のガイダンス資料が完全に人生の羅針盤だった

めちゃくちゃ良い資料だった 民間企業におけるデータ整備の課題と工夫 / 20220305 speakerdeck.com/yuzutas0/20220…

並列処理と親和性の高い宣言的言語の中で たまたまSQLが一番普及してたので覇権を取ってしまった印象。 dataformでsqlx書いてると確かにこれでいいのかという葛藤はある #DataEngineeringStudy

Dataform、良いツールなんだけど新規登録停止してるのが痛すぎる... #DataEngineeringStudy

DataformはAPIもうちょっと充実して欲しい RunLogsとか実行結果の一覧すらAPIでは取得できないのは辛かった #DataEngineeringStudy

ニーズ別にテーブルを分けるのは本当にそうだよなと思った。。。 400カラム以上有るあのテーブルをどうにかしたい。 #DataEngineeringStudy

GUIの方になります #DataEngineeringStudy

次回の会もすごい面白そう #DataEngineeringStudy

単語の最初の数文字だけを太くすることで文章を素早く認識/理解できるようにした仕組が、"Bionic Reading"。 🧠左と右、どっちが読みやすいですか？

今の所dataformに満足しているけどtroccoにdbt連携機能が出来たことで dbtに移行するのもありな気がしてきた。 #DataEngineeringStudy

ようやく🎉 とても嬉しい

#DataEngineeringStudy 5周年おめでとう🎉 forkwell.connpass.com/event/357942/