還記得今年 3 月 OpenAI 在發布 GPT-4 時提到的多模態功能嗎？
GPT-4 支持圖片輸入，可以看懂梗圖、看懂物理題，還能看懂論文，發布後震驚了所有人，這也是 GPT-4 相較 GPT-3.5 最大的升級點。
只可惜，OpenAI 表示圖像輸入功能仍然是研究預覽階段，還不能向大眾公開。
然而，近日 Reddit 有網友發現，自己的 Bing Chat 帳號悄悄新增了一個上傳圖片的入口，把圖片上傳上去後，Bing Chat 竟然會識別圖像回答！
此前微軟曾透露 Bing Chat 使用的正是 GPT-4 模型，並在上個月的大更新日誌中有提到會為 Bing 加入多模態支持，綜合來看，Bing Chat 很可能正在逐步開發向用戶開放圖像識別功能測試。
該網友對 Bing Chat 做了大量測試，讓我們一起看看「長了眼睛」的 Bing Chat 有多厲害吧。
首先是 GPT-4 最讓人拍案叫絕的看梗圖功能。GPT-4 不僅可以理解圖片裡的內容，還能像人類一樣分析出梗圖的笑點在哪裡。
例如這張梗圖中，GPT-4 可以看出圖片想要表達用過時的 VGA 形狀的接頭給 iPhone 充電是一件很荒謬的事，引入發笑。
網友也在 Bing Chat 上傳了同樣的梗圖做測試，奇怪的事情發生了：Bing Chat 並沒有認出這是 VGA 接頭，因此它也「get」不到其中的笑點，不過 Bing Chat 還是一五一十地把照片解讀了出來，甚至還能說出線的品牌，並給出更詳細的資料。
這也許是 Bing Chat 偶然的誤差，也可能是微軟在實際應用 GPT-4 做了更多的限制調整導致回答偏差。
網友再上傳了另一張關於機器學習的梗圖漫畫，這次 Bing Chat 就能比較準確地答出圖中的內容和笑點。
Bing Chat 對另一張在汽車上燙衣服的梗圖分析也同樣到位。
Bing Chat 識別圖像的精度有多高呢？他上傳了一張《任天堂大亂鬥》遊戲的角色圖，同一張圖上有排列著非常多的角色，要求 Bing Chat 一一認出所有的角色。
結果是，Bing Chat 在 12 個角色中認出了 7 個，看來二次元問題對它來說還是有點難度。
OpenAI 在發布時還展示了透過手繪圖照片就能寫網頁的案例，該網友也手畫了一張圖考考 Bing。
讓我們跳過冗長的代碼環節，直接看看這個網頁跑起來的效果。可以看出，基礎的網頁雛形還是搭建出來了。
圖像識別功能的加入給 Bing Chat 增添非常多的用途，畢竟現實中很多內容（例如公式、圖表）很難用文字表達清楚，這時候直接一張圖甩給 AI 就能得到回答。
例如讓它解釋一下染色體在減數分裂時交叉互換的過程。
讓它扮演生物老師，分析一下腎過濾的工作原理。
甚至可以讓它充當網路醫生，簡單診斷一下皮膚症狀。
此前，ChatGPT 由於出色的文字理解和表達能力，已經被人們開發出了學外語、練口語的功能。
再加入視覺識別後，Bing Chat 甚至可以擔任一個初中高中乃至大學老師的角色，幫助學生解答複雜的數理化問題，如果未來識圖功能推廣開來的話，這也許在一定程度上可以解決教育資源不均衡的問題。
用戶還可以用它做基礎的醫療診斷，節約就醫所需要的金錢和時間，展現出 AI 普及大眾的價值。
當然，Bing Chat 雖然能基本看懂現實世界的內容，但它的回答終究只能作為參考，不可以當做專業意見。
所以要完全向大眾開放圖像識別功能的話，微軟還需要做大量的限制和調整，才能確保大眾不會因為誤信 AI 的回答而出現安全問題。
在短期內，Bing Chat 圖像識別應該還只是少部分用戶才可以使用的測試性功能，如果你感興趣的話，可以登錄你的微軟帳號，看看在 Bing Chat 的聊天欄上是否多了一個圖片的圖案。
目前 Bing Chat 開放所有微軟帳戶，快來看看你有沒有收到測試資格吧 。
責任編輯：蘇祐萱
主文來源：數位時代＿愛范兒
ECDA資料中心編輯