數據分析師的末日?GPT-4 的新功能 - code interpreter


Posted by ar851060 on 2023-07-17

最近在ChatGPT Plus中推出的code interpreter功能帶來了極大的興奮和震撼,它擁有強大的數據分析能力。這一新功能能夠上傳文件、分析數據、顯示Python code、提供分析建議、進行探索性數據分析(EDA)、數據預處理、數據清理、特徵工程、模型構建、預測結果,並提供結果和決策建議。此外,它還能解釋code、幫助debug、找出code效率瓶頸、教學以及編寫code。毫無疑問,這一code interpreter將給數據科學和軟體工程領域帶來翻天覆地的變革。

雖然一些人對code interpreter取代數據分析師的可能性抱有樂觀態度,但我們必須承認這樣的結果很可能出現。回想一下電影《關鍵少數》裡的主角們,那些人被稱為“計算員”,現在,你還能看到有人類當計算員嗎?儘管code interpreter目前還存在一些限制,例如無法連接到數據庫或處理大型數據集,但這些問題有可能在不久的將來得到突破。我們必須記住,ChatGPT於2022年11月30日才公開發布,距今不到一年時間。儘管AI確實存在一些問題,但這是一個相對新興的領域,正在快速發展。

對不同角色的影響

讓我們來看看code interpreter對數據科學和工程領域的不同角色產生的影響:

1. 數據分析師和初級數據科學家

受影響最大的角色之一是數據分析師和初級數據科學家。如果數據科學家的工作職責主要集中在AI技能上,那麼影響可能不大。然而,數據分析師的價值在於發現insight並向客戶報告。傳統的數據分析過程是:找到問題,轉化為數據問題,分析數據找到insight,創建簡報,向客戶報告。除了問題的識別和提供商業建議外,其他所有步驟現在都可以由AI自動完成。實際上,問題的識別和提供商業建議更加依賴domain-knowledge,這使得domain-knowledge比統計coding技能更加重要。可以預見的是,在不久的將來,數據分析師的角色可能會演變為業務分析師(BA)或PM,專注於產品或專案分析。BA和PM只需要參加一些像“數據科學101”或“數據分析導論”這樣的課程,就可以使用ChatGPT進行分析。初級數據科學家可能面臨類似的挑戰。

2. AI工程師和機器學習工程師

在不久的將來,大部分由AI解決的任務可能都會由像OpenAI這樣的大公司的AI模型來解決。這些模型需要大量的計算資源,只有像Google、Meta、Microsoft這樣的大型公司才能進行培訓。大約80%的AI工程師可能主要負責應用這些現有的AI模型,而其餘20%可能與這些大型模型合作,或用於提取這些模型以實現數據安全,或協助那些不熟悉在自己的環境中實施AI的人。與雲端工程師類似,大多數AI工程師需要學習如何有效地利用這些強大的AI模型,只有少數的會深入內部演算法。

3. 軟體工程師和數據工程師

數據工程師在數據收集、轉換和存儲方面發揮著至關重要的作用,他們在數據科學工作中受到的影響相對較小。畢竟,如果沒有數據,就不會有AI(不包括zero-shot learning)。儘管code interpreter目前提供了code改進建議、code審查和幫助,但它可能最終會發展成為一個low-code平台,從而大幅減少對軟體工程師的需求。雖然數據工程師可能面臨一些挑戰,但他們在數據處理方面的專業知識在可預見的未來仍然很重要。

4. 初級白領工人和初級經理

隨著AI自動化了大部分任務,初級白領工人和初級經理的角色可能會受到影響。然而,需要注意的是,介面設計可能需要更多的人性化設計,因此這一領域可能會受到顯著的影響。

5. 研究人員和高級數據科學家

研究人員和高級數據科學家通常參與AB testing和causal inference等工作,他們也可能會受到一些影響。目前,AI模型可以提供實驗建議,但如果physical informed AI和causal AI成熟,可能會有相當一部分科學研究由這些AI系統推動。

6. 教育領域

即使是教育領域的專業人士也可能面臨挑戰,因為AI已經能夠幫助學生完成作業。這種自動化可能會減少在某些教育任務中人類的參與。我們必須重新思考教育應該要帶給下一代什麼東西。

7. 建議

對於數據分析師和初級數據科學家,建議他們深入研究所屬領域,或學習實驗設計等知識。

對於AI工程師,建議他們跟上最新的趨勢,但不要過於迅速地開展新業務。一些AI初創公司已經被code interpreter的推出所超越。

對於希望從事數據科學的人,建議他們重新思考一下,因為數據科學的工作將會越來越少,或者可能只有頂尖20%的人才能成為數據科學家。

目前正在學習統計學或數據科學的人,可以考慮轉向那些涉及小數據集、實驗或傳統統計學家的職位。例如,製造業中的可靠性和實驗設計、金融領域的精算、以及生物學中的臨床實驗和藥物研發等職業可能是可行的替代選擇。或者,您可以攻讀博士學位或更高學位,以獲得頂級的數據分析技能,因為AI僅能使用舊的技能來進行數據分析。例如,它無法使用causal inference。

總之,ChatGPT Plus中的code interpreter有可能重塑數據科學和工程領域。儘管一些角色可能面臨挑戰,但重要的是要適應這個變化的環境,並在AI不斷發展的過程中尋找新的機遇。之後我會嘗試使用code interpreter,來展現它的威力。


#雜談









Related Posts

【Day06】Vue-cli & Vuex mapState

【Day06】Vue-cli & Vuex mapState

CH9 turtle 海龜繪圖模組

CH9 turtle 海龜繪圖模組

團隊中的黏著劑 — 溝通與誠信

團隊中的黏著劑 — 溝通與誠信


Comments