多模态人工智能是否合适以及它会做什么？返回 JSON {"suitable": "是或否", "how": "如何申请"}。
现代模型不仅限于文本 - 它们是多模式的：它们理解图像，有些还理解音频和视频。你可以向模特展示一张收据照片、一个错误的屏幕截图、一张图表、一张图表——她会描述它、提取数据并进行解释。在幕后，图片也变成了标记（视觉）并落入与文本相同的上下文中。这开启了文本人工智能无法完成的任务：解析手写笔记、从屏幕截图中提取表格、了解照片中的问题。多模态是人工智能能够看到世界，而不仅仅是阅读世界。