數據分析師的末日？GPT-4 的新功能 - code interpreter

最近在ChatGPT Plus中推出的code interpreter功能帶來了極大的興奮和震撼，它擁有強大的數據分析能力。這一新功能能夠上傳文件、分析數據、顯示Python code、提供分析建議、進行探索性數據分析（EDA）、數據預處理、數據清理、特徵工程、模型構建、預測結果，並提供結果和決策建議。此外，它還能解釋code、幫助debug、找出code效率瓶頸、教學以及編寫code。毫無疑問，這一code interpreter將給數據科學和軟體工程領域帶來翻天覆地的變革。

雖然一些人對code interpreter取代數據分析師的可能性抱有樂觀態度，但我們必須承認這樣的結果很可能出現。回想一下電影《關鍵少數》裡的主角們，那些人被稱為“計算員”，現在，你還能看到有人類當計算員嗎？儘管code interpreter目前還存在一些限制，例如無法連接到數據庫或處理大型數據集，但這些問題有可能在不久的將來得到突破。我們必須記住，ChatGPT於2022年11月30日才公開發布，距今不到一年時間。儘管AI確實存在一些問題，但這是一個相對新興的領域，正在快速發展。

對不同角色的影響

讓我們來看看code interpreter對數據科學和工程領域的不同角色產生的影響：

1. 數據分析師和初級數據科學家

受影響最大的角色之一是數據分析師和初級數據科學家。如果數據科學家的工作職責主要集中在AI技能上，那麼影響可能不大。然而，數據分析師的價值在於發現insight並向客戶報告。傳統的數據分析過程是：找到問題，轉化為數據問題，分析數據找到insight，創建簡報，向客戶報告。除了問題的識別和提供商業建議外，其他所有步驟現在都可以由AI自動完成。實際上，問題的識別和提供商業建議更加依賴domain-knowledge，這使得domain-knowledge比統計coding技能更加重要。可以預見的是，在不久的將來，數據分析師的角色可能會演變為業務分析師（BA）或PM，專注於產品或專案分析。BA和PM只需要參加一些像“數據科學101”或“數據分析導論”這樣的課程，就可以使用ChatGPT進行分析。初級數據科學家可能面臨類似的挑戰。

2. AI工程師和機器學習工程師

在不久的將來，大部分由AI解決的任務可能都會由像OpenAI這樣的大公司的AI模型來解決。這些模型需要大量的計算資源，只有像Google、Meta、Microsoft這樣的大型公司才能進行培訓。大約80％的AI工程師可能主要負責應用這些現有的AI模型，而其餘20％可能與這些大型模型合作，或用於提取這些模型以實現數據安全，或協助那些不熟悉在自己的環境中實施AI的人。與雲端工程師類似，大多數AI工程師需要學習如何有效地利用這些強大的AI模型，只有少數的會深入內部演算法。

3. 軟體工程師和數據工程師

數據工程師在數據收集、轉換和存儲方面發揮著至關重要的作用，他們在數據科學工作中受到的影響相對較小。畢竟，如果沒有數據，就不會有AI（不包括zero-shot learning）。儘管code interpreter目前提供了code改進建議、code審查和幫助，但它可能最終會發展成為一個low-code平台，從而大幅減少對軟體工程師的需求。雖然數據工程師可能面臨一些挑戰，但他們在數據處理方面的專業知識在可預見的未來仍然很重要。

4. 初級白領工人和初級經理

隨著AI自動化了大部分任務，初級白領工人和初級經理的角色可能會受到影響。然而，需要注意的是，介面設計可能需要更多的人性化設計，因此這一領域可能會受到顯著的影響。

5. 研究人員和高級數據科學家

研究人員和高級數據科學家通常參與AB testing和causal inference等工作，他們也可能會受到一些影響。目前，AI模型可以提供實驗建議，但如果physical informed AI和causal AI成熟，可能會有相當一部分科學研究由這些AI系統推動。

6. 教育領域

即使是教育領域的專業人士也可能面臨挑戰，因為AI已經能夠幫助學生完成作業。這種自動化可能會減少在某些教育任務中人類的參與。我們必須重新思考教育應該要帶給下一代什麼東西。

7. 建議

對於數據分析師和初級數據科學家，建議他們深入研究所屬領域，或學習實驗設計等知識。

對於AI工程師，建議他們跟上最新的趨勢，但不要過於迅速地開展新業務。一些AI初創公司已經被code interpreter的推出所超越。

對於希望從事數據科學的人，建議他們重新思考一下，因為數據科學的工作將會越來越少，或者可能只有頂尖20%的人才能成為數據科學家。

目前正在學習統計學或數據科學的人，可以考慮轉向那些涉及小數據集、實驗或傳統統計學家的職位。例如，製造業中的可靠性和實驗設計、金融領域的精算、以及生物學中的臨床實驗和藥物研發等職業可能是可行的替代選擇。或者，您可以攻讀博士學位或更高學位，以獲得頂級的數據分析技能，因為AI僅能使用舊的技能來進行數據分析。例如，它無法使用causal inference。

總之，ChatGPT Plus中的code interpreter有可能重塑數據科學和工程領域。儘管一些角色可能面臨挑戰，但重要的是要適應這個變化的環境，並在AI不斷發展的過程中尋找新的機遇。之後我會嘗試使用code interpreter，來展現它的威力。