Shengbang Tong

実世界で使う前にマルチモーダルモデルの系統的な失敗を検出する方法。

研究は、ファインチューニング後の多モーダル言語モデルにおける壊滅的忘却を強調している。

この研究は、視覚的な質問に答えるモデルの問題を検討してる。

VPITが機械にテキストとビジュアルをシームレスに結びつける方法を発見しよう。