---
title: ChatGPT 大更新：可以看懂、听懂和说话了。比如「拍下冰箱食材照片，让 ChatGPT 识别可以做什么晚餐」
date: 2023-09-26T05:40:31Z
modified: 2023-09-26T06:21:30Z
permalink: "https://www.appinn.com/chatgpt-can-now-see-hear-and-speak/"
type: post
status: publish
excerpt: ""
categories:
  - AI
tags:
  - AI
  - ChatGPT
featured_image: "https://www.appinn.com/wp-content/uploads/2023/09/Appinn-feature-images-2023-09-26T112126.985.jpg"
author: 青小蛙
timestamp: 2023-09-26T06:21:30Z
---

OpenAI 刚刚更新了 Blog：[ChatGPT can now see, hear, and speak](https://openai.com/blog/chatgpt-can-now-see-hear-and-speak)（ChatGPT 现在可以看、听和说话），将在未来两周内向 Plus 和 Enterprise 用户推出 ChatGPT 语音（手机）与图像（全平台）功能。@[Appinn](https://www.appinn.com/chatgpt-can-now-see-hear-and-speak.md)

![ChatGPT 大更新：可以看、听和说话了。比如「拍下冰箱食材照片，让 ChatGPT 识别可以做什么晚餐」](https://www.appinn.com/wp-content/uploads/2023/09/Appinn-feature-images-2023-09-26T112126.985.jpg)

首先给了几个例子：

- 在旅行时拍摄地标的照片，并实时讨论其中的有趣之处
- 当你回到家时，拍下冰箱和食品储藏室的照片，以了解晚餐吃什么（并询问后续问题以获取逐步食谱）。
- 晚餐后，通过拍照、圈出问题集并让它与你们俩分享提示来帮助您的孩子解决数学问题。

## 语音功能

这个功能有点类似之前的一些第三方服务中通过 Azure API 提供语音识别与朗读功能，即用户语音输入给 ChatGPT，再通过朗读返回给用户。

目前有几种声音，并没有 Azure 那几十种多。

OpenAI 与为盲人和低视力者提供免费帮助的手机应用程序 “Be My Eyes “合作（小众软件介绍过：[请做我的眼「实时视频互助」帮助盲人](https://www.appinn.com/be-my-eyes.md)）之后，获得了很多灵感。

## 图像功能

图像功能就很赞了，青小蛙也是早上看到了@**阑夕**在[微博发布](https://weibo.com/tv/show/1034:4950139106689050)的中文字幕视频：

 

视频里，用户向 ChatGPT 提交里一张自行车的照片，询问如何降低自行车座椅，ChatGPT 给出了具体步骤。

用户继续拍照与 ChatGPT 确认步骤里提到的调整部位是否正确，得到回复后，又上传了自行车用户手册和一个真实工具箱照片，让 ChatGPT 确认这套工具是否可行，ChatGPT 顺利的找到了它…

虽然原理都能理解，这个过程也在预料之中，但还是有点科幻，它已经是现实了。

---

…

这让青小蛙有点恍惚，当人工智能再发展一段时间，它是不是就算拥有了意识？

本文原文链接：https://www.appinn.com/chatgpt-can-now-see-hear-and-speak/

## Topics

**分类目录:** [AI](https://www.appinn.com/category/ai/?output_format=md)

**标签:** [ChatGPT](https://www.appinn.com/tag/chatgpt/?output_format=md)