Codex x Blenderで3DCGのモデリングがどれくらいできるか色々と試してみて、ある程度大規模な構造物がCodexのみ（人間は自然言語での指示のみ）で作れるようになったので、自分自身の振り返りを兼ねて取り組んだ内容をまとめます。最近はハーネスエンジニアリングという言葉をよく聞くようになりましたが、今後はAI Agentを組み込んだシステムを作り、意味のあるアウトプットの出せるソフトウェアを継続的に育てていく、ということがエンジニアの主戦場の一つになると思っていて、Agent主体で3DCGモデリングのできるシステムを作ってみよう、というのが今回のテーマです。作ったのは音楽のライブステージのようなモデルで、CodexにBlender操作をしてもらいながら制作しました。最初は全然うまくいきませんでしたが、試行錯誤しながらやり方を改善した結果、最初に数回やり取りをした後は数時間自走し、大きなモデルを完成させることができるようになりした。この記事では、今回実施した内容や工夫したポイントの説明と、うまくいった例とうまくいかなかった例を含めて、具体的な試行錯誤のメモを書いています。少し長めですが、何かの参考になれば幸いです。
LLMと一緒に創作するUIのプロトタイプ
LLMと一緒に創作活動をするためのテキストエディタの試作をしてみて、個人的に面白い体験が作れたのでアイデアを紹介したいと思います。テキストファイルをLLMに参照させたり、手順書のように複数ステップの指示（プロンプト）をテキストファイルに書いておいて、ボタンから各プロンプトを実行できるようになっています。
ポーズ推定を使ってピクトさんを量産する
その昔、画像から人のポーズ推定ができたら、ピクトさんの画像が大量に作れるなーと考えたことがありました。当時は諦めましたが、ここ最近のDeep Learning技術の発展で実現の可能性が出てきました。少し前に Realtime Multi-Person Pose EstiamtionのChainer実装 が公開されていたので、ありがたく使わせてもらって、「写真からピクトさんを生成する」をやってみます。なお、この記事の環境構築から後の部分はJupyter Notebookでそのまま動くようにしてあるので、興味を持たれた方はそのままコピペして実行して見てください。
Deep Learningにおける知識の蒸留
深くて大きいモデルの方が精度が出るが、実用を考えると軽量なモデルにする必要がある。こういった場面で最近よく使われる手法として、 知識の蒸留 (Knowledge Distillation) と呼ばれる方法があります。これは、（典型的には）大きくて複雑なニューラルネット（教師）の学んだ知識を蒸留し、小さくて軽量なモデル（生徒）の学習に利用するもので、単純に生徒モデルを学習するよりも良い精度を得ることが期待できます。最近、いろいろな場面でこの技術の適用を目にするので、基本的なアイデアの整理とその適用事例について、サーベイして情報をまとめました。
スライド上でコードが動く！Jupyter+RISEによるプレゼン環境
ウェブサイトをリニューアルしました
新年を迎えるのに合わせて、本サイトを一新しました。Pelican ベースでの運用に切り替えるにあたり、考えたことをまとめています。
巡回セールスマン問題
決定木による学習
Javascript Play Ground
Darwin
進化する写真フィルター、Darwinの紹介ページです。遺伝的アルゴリズムみたいな面白いアルゴリズムをスマホアプリと組み合わせてみたい、という思いから開発をスタートしました。直感的に好きな写真フィルタを選んでいくと、好みのエフェクトに進化していくという、一風変わった写真アプリです。(現在は公開を終了しています。)
Page 1 / 2 >>>
