Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile
Kenta@ImVisionLabs Inc.

@imvisionlabs

3次元点群や画像データの受託開発・研究開発を行う東大発スタートアップ企業です。森林管理・スマート農業・インフラ管理・自動運転など、様々な分野で3次元データ処理で役立てないか日々模索中です。日ごろの勉強した結果やプログラミングしてみた結果を投稿します。

ID: 1676238457629454337

linkhttps://imvisionlabs.com/ calendar_today04-07-2023 14:36:11

868 Tweet

1,1K Takipçi

191 Takip Edilen

Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

資料作成の際の検算などで #MATLAB のSymbolic Math Toolboxが便利です。例えば、以下のスライドではカメラの内部パラメータの逆行列を求めていましたが、合っているか確かめるために、画像のように逆行列を求めていました。 スライド (Prompt Depth Anythingについて) speakerdeck.com/kentaitakura/p…

資料作成の際の検算などで #MATLAB のSymbolic Math Toolboxが便利です。例えば、以下のスライドではカメラの内部パラメータの逆行列を求めていましたが、合っているか確かめるために、画像のように逆行列を求めていました。

スライド (Prompt Depth Anythingについて)
speakerdeck.com/kentaitakura/p…
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

DublinCity(v-sense.scss.tcd.ie/dublincity/)というデータセットを用いて、点群の自動セグメンテーションを行いました。 #PotreeDesktop で表示すると、建物がうまく分類されていることが分かります。建物をオレンジで示しています。

DublinCity(v-sense.scss.tcd.ie/dublincity/)というデータセットを用いて、点群の自動セグメンテーションを行いました。
#PotreeDesktop で表示すると、建物がうまく分類されていることが分かります。建物をオレンジで示しています。
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

RICOH #THETA で撮影したDual Fisheyeの動画を正距方位図法へ変換しました。MATLAB にて処理を実装しました。厳密な実装ではなく、境界が少しがたがたしています。樹木に囲まれた公園の風景が一望できるようになっています。

Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

ドローンや画像を利用した、トンネル内の腐食の検出やBIMでの可視化に関する論文が土木系のトップジャーナルの一つであるComputer-Aided Civil and Infrastructure Engineeringに掲載されました! 東京大学全邦釘先生のチームとの取り組みです。論文のリンクは以下の通りです onlinelibrary.wiley.com/doi/10.1111/mi…

ドローンや画像を利用した、トンネル内の腐食の検出やBIMでの可視化に関する論文が土木系のトップジャーナルの一つであるComputer-Aided Civil and Infrastructure Engineeringに掲載されました! 東京大学全邦釘先生のチームとの取り組みです。論文のリンクは以下の通りです
onlinelibrary.wiley.com/doi/10.1111/mi…
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

3次元点群の閲覧や処理のできるソフトウェアである #CloudCompare の言語設定を英語から日本語に変更しました。 設定画面で言語を選択し、CloudCompareを再起動すると、画像のように表示言語を変更することができます。 Displayタブ→Language Translationから切り替えることができます。

3次元点群の閲覧や処理のできるソフトウェアである #CloudCompare の言語設定を英語から日本語に変更しました。 設定画面で言語を選択し、CloudCompareを再起動すると、画像のように表示言語を変更することができます。 Displayタブ→Language Translationから切り替えることができます。
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

点群から地表面抽出をするアルゴリズムである #CSF では点群が地面かどうかを判定されるための最大距離(高さ差)を示すしきい値 (hcc) があります。たとえば、hcc=0.5の場合に比べて、hcc=0.1の場合は許容範囲が狭くなるため、地面と判定される点の数は少なくなります。 speakerdeck.com/kentaitakura/3…

点群から地表面抽出をするアルゴリズムである #CSF では点群が地面かどうかを判定されるための最大距離(高さ差)を示すしきい値 (hcc) があります。たとえば、hcc=0.5の場合に比べて、hcc=0.1の場合は許容範囲が狭くなるため、地面と判定される点の数は少なくなります。
speakerdeck.com/kentaitakura/3…
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

点群の深層学習を利用して、鉄塔と電線を自動的に分類することができました。東京都より公開されているオープンデータを使用しています。また、分類結果は #PotreeDesktop で表示しています。比較的小さな植生もうまく分類することができています。 #東京都デジタルツイン実現プロジェクト

点群の深層学習を利用して、鉄塔と電線を自動的に分類することができました。東京都より公開されているオープンデータを使用しています。また、分類結果は #PotreeDesktop で表示しています。比較的小さな植生もうまく分類することができています。

#東京都デジタルツイン実現プロジェクト
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

熱海市の #点群 データを使って、#MATLAB のpcviewerでフライスルーさせている様子を記録しました。 pcviewerにてキーとなる視点を記録し、間の視点を補間しながら可視化しています。 データは以下のURLからダウンロードしました。 opendata.pref.shizuoka.jp/dataset/8698.h…

Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

以下の画像はiPhoneから取得した深度画像を点群に変換した際に #PromptDA を用いた場合と未使用の場合の比較です。画像を斜めから見るとPromptDAを適用した場合には階段の段差構造がうまく補正されています。 一方、未補正のケースでは段差が連続して滑らかにつながり階段構造が曖昧になっています。

以下の画像はiPhoneから取得した深度画像を点群に変換した際に #PromptDA を用いた場合と未使用の場合の比較です。画像を斜めから見るとPromptDAを適用した場合には階段の段差構造がうまく補正されています。 一方、未補正のケースでは段差が連続して滑らかにつながり階段構造が曖昧になっています。
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

#PromptDA を利用して高解像度化した猫の点群データを得ました。動画のように撮影された深度動画に対してPromtDAにより高解像度化しています。猫の顔もきれいに点群になっていました。動画のフレーム数だけPLYファイルを保存しています。Stray Scannerで入力となる深度や画像を保存しています。

Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

「2024年能登半島地震およびその後の豪雨に伴う橋梁の健全性評価」に関する論文(共著)がProceedings of the Institution of Civil Engineers – Forensic Engineering にて公開されました。東京大学全邦釘先生の研究チームと実施した成果です。論文のリンクは以下の通りです emerald.com/jfoen/article/…

「2024年能登半島地震およびその後の豪雨に伴う橋梁の健全性評価」に関する論文(共著)がProceedings of the Institution of Civil Engineers – Forensic Engineering にて公開されました。東京大学全邦釘先生の研究チームと実施した成果です。論文のリンクは以下の通りです
emerald.com/jfoen/article/…
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

地表面を分類する手法の #CSF を模擬した図です。左右にある2つの隆起は山地、中央上部の点群は建物です。この点群全体を上下反転し、上から布を落下させて地形に沿わせた後、再び元の向きに戻したものがこの図です。布の位置と高さ差に基づいて、地面と非地面が適切に分類されています。

地表面を分類する手法の #CSF を模擬した図です。左右にある2つの隆起は山地、中央上部の点群は建物です。この点群全体を上下反転し、上から布を落下させて地形に沿わせた後、再び元の向きに戻したものがこの図です。布の位置と高さ差に基づいて、地面と非地面が適切に分類されています。
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

当社も開発チームとして参画している #石垣BIM に関する取り組みが、昨日行われた #SPAR2025J 第21回3次元計測フォーラムにて発表されました。発表は奈良文化財研究所高田様 高田祐一@奈良文化財研究所 および竹中工務店林様により行われました。 イベントの詳細: sparj.com

当社も開発チームとして参画している #石垣BIM に関する取り組みが、昨日行われた #SPAR2025J  第21回3次元計測フォーラムにて発表されました。発表は奈良文化財研究所高田様 <a href="/archaeology_arc/">高田祐一@奈良文化財研究所</a> および竹中工務店林様により行われました。
イベントの詳細: 
sparj.com
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

静岡県より公開されている点群データに対して、深層学習による自動分類を行いました。分類データでは、建物や地表面、植生がそれぞれ橙色、茶色、緑色に自動で色分けされており、特に駐車場に停まっている車両が赤色で明確に識別されていることがわかります。#virtualshizuoka

静岡県より公開されている点群データに対して、深層学習による自動分類を行いました。分類データでは、建物や地表面、植生がそれぞれ橙色、茶色、緑色に自動で色分けされており、特に駐車場に停まっている車両が赤色で明確に識別されていることがわかります。#virtualshizuoka
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

点群から地表面を分類する手法であるCSFでは布の剛性(硬さ)をRI=1,2,3などとして調整できます。各点はz座標において隣接点に向けて変位します。RI=1で1/2、RI=2で3/4、RI=3で7/8だけ近づき、RIが大きいほど布は硬くなります。詳細は以下のスライドでも紹介しています。 speakerdeck.com/kentaitakura/3…

点群から地表面を分類する手法であるCSFでは布の剛性(硬さ)をRI=1,2,3などとして調整できます。各点はz座標において隣接点に向けて変位します。RI=1で1/2、RI=2で3/4、RI=3で7/8だけ近づき、RIが大きいほど布は硬くなります。詳細は以下のスライドでも紹介しています。
speakerdeck.com/kentaitakura/3…
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

パリの #3次元点群 に対して自動セグメンテーションを実施しました。 2018年に公開されたMLS(Mobile Laser Scanning)ベースのオープンデータ(npm3d.fr/paris-lille-3d)で植生や電柱、地表面などに分類されています。可視化は #PotreeDesktop を利用しています。

パリの #3次元点群 に対して自動セグメンテーションを実施しました。 2018年に公開されたMLS(Mobile Laser Scanning)ベースのオープンデータ(npm3d.fr/paris-lille-3d)で植生や電柱、地表面などに分類されています。可視化は #PotreeDesktop を利用しています。
Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

取得した深度情報からPromptDAを用いて深度画像の高解像度にして猫の動きを点群として再構成したものです。 猫は左下方向に移動しており、フレームからやや見切れていますが、全体の動きや形状、動いている様子の把握が可能となっています。猫が動いている瞬間をうまく撮るのが難しかったです

Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

ぼかしの強さを変化させながら画像の類似度(SSIM)を計算し、ぼかし度合いとSSIMの関係をで可視化しました。オリジナル画像とそのぼかした画像の比較をしており、ぼかしの度合いがますとSSIMの値が低下することを示しています。#MATLAB を利用して実験してます。

Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

#MATLAB 公式のMCPサーバーを試してみました。線形回帰のスクリプトを書いて実行させることができました。自動的にスクリプトが生成され、実行後にワークスペース変数も確認することができます。Claud Desktopと連携しています。 以下の記事を見ながら進めました。 blogs.mathworks.com/deep-learning/…

Kenta@ImVisionLabs Inc. (@imvisionlabs) 's Twitter Profile Photo

#MATLAB MCP Server と Claude Desktop を組み合わせて、画像処理を自動実行するワークフローを試してみました。 Canny 法によるエッジ抽出を行い、結果を調整したい場合はパラメータ調整なども行ってくれました。 以下の記事を見ながら進めました。 blogs.mathworks.com/matlab/2025/11…