Multimodal AI

多模态学习

对齐或融合图像、文字、声音等多种信息

1 concepts · 0 branches

AI › Multimodal AI · Pipeline · 流程

信息处理主结构

分别编码多种信息，再通过对齐或融合完成共同任务。

01 · 多模态输入

Image / Text / Audio

02 · 各模态编码

Encoders快速查看

03 · 对齐或融合

Multimodal Learning快速查看

04 · 可用表示

Representation快速查看

05 · 任务输出

Match / Predict / Answer