科技創新（續） - 兼談矽谷與Apple

(文長慎入)

幾天前的長文以NVIDIA為例談創新雙螺旋，關鍵在於應用與技術的相互作用和共同演進。我也分享了我看到的NVIDIA的成功之道，公司有優秀人才的同時還要跟外界密切合作，是經營人和；利用既有基礎堆疊出客戶想要且離不開的體系，是開展地利；提早知道現有及潛在客戶的需求而盡快佈局，則是把握天時。能同時擁有人和、地利、天時，成功的機會就高了。

科技界常常講天時，甚至說到：Timing is everything，而往往低估了地利和人和的重要性，我想這和投資者以及許多的投資故事有關。試問，一般的投資者對技術有多少瞭解呢？寫給投資客看的報導對技術的敘述和分析有多深刻呢？消息面掛帥，但多半是落後指標，當一家公司股票漲的時候，大都建議買進，炒作的成分居多。我不是說天時不重要，但要去哪裡找尋能夠揭示天機的領先指標和分析報告呢？地利與人和是長期穩定發展的重要基礎，不過經常被忽略就是了。

我特別想講以上這段給年輕學子們聽，不是講給投資客聽的。因為有太多年輕學子畢業找工作的時候都在問，哪一家公司當紅？年終發幾個月？以我的親身經驗，我畢業之後去了當年最耀眼的科技公司，但也因此品嚐到公司股票一路下滑的滋味。所以我很清楚天時的重要性，但天機難測，尤其是沒有經驗的年輕學子。還好公司股票下滑的那幾年，倒是更積極運用人才、致力於研發，所以讓我學到不少東西。後來我回到大學教書，可以多方觀察業界生態，體察時勢，也有旁觀者清的好處。

高科技公司大起大落本應是個常態，尤其是資訊業。因為資訊業的本質含有知識累積和自動化，軟硬體不斷改版和堆疊，靠的是技術的掌握力，某個領域成熟到某個程度後就只會有幾家公司勝出，但新的應用或技術出現之後又會有下一輪的機會，這也是在矽谷司空見慣的日常。有本事的人，到哪裡都會受歡迎，所以能否在新工作中學到更厲害的本事，是應徵工作的重要考量。總之，即便有不錯的市場佔有率、尖端的技術與一流的人才，還是違逆不了大勢之所趨，但對學習力旺盛的年輕人來說，到一個有技術和人才的環境學習，無論公司成敗，都會有所收穫。

講到矽谷，國內有些人以矽谷作為創新和新創的標竿，不過國內的大環境和矽谷差異頗大，不大好直接比較，有些作法搬過來也不見得適用。我上篇的長文中也說了，鼓勵新創公司（startup）的立意良好，但缺乏創新（innovation）意涵的新創案恐怕意義性不大。新創沒有那麼容易。幾次頻臨倒閉的NVIDIA黃總裁都說新創比想像中難百萬倍，不是政府撒點小錢辦競賽、給補助就行的。我個人認為，矽谷深厚的科技創新文化是新創公司的重要根基，因此國內若想效法矽谷，中大型科技公司要率先重視創新，否則光靠政府和學界力推新創，難以成其事。上篇已經談過我對國內產學界創新的觀察，也提出了自己實踐過可行的務實創新作法給大家做參考，這裡不再重複。

矽谷之所以能讓新創公司大放異彩，我想最大的原因是擁有眾多注重創新的科技巨擘，以及攀附科技巨擘們發展的新創公司，共同加乘所形成的科技研發生態系，這也是其他地方難以複製的原因。科技巨擘們為了引領大趨勢或是為大趨勢佈局，或是擔心被拉下神壇，必須投入大量研發資源，可是公司大了動作自然就慢。另一方面，反應迅捷的小型和新創公司往往能比大公司更快速地完成特定的技術研發，而矽谷的生態系能夠快速放大新創公司的格局，或是讓新創公司的格局與科技巨擘相輔相成。在公司競合、資金挹注的幕後，矽谷的日充斥著各種與大量情報、技術、人才的流通，才是真正讓這個生態系活絡的泉源。

台灣的半導體和電子業的確有頗完整的產業鏈，但整體來說與上述的科技研發生態系還有很大的距離，差異之處在於創新的機會和程度。單獨來說，有些公司在特定領域可達世界級的水準，也設法突破創新，例如台積電、聯發科，但以生態系來看，良好的分工合作是有的，不過還不到加乘的程度。而且，某些領域內多家企業之間的同質性頗高，如果無法創新技術或發展新領域，後續的價值可想而知，尤其是在摩爾定律已然放緩的時代，一旦半導體製造技術停滯不前，在後有追兵的情況下，必須另覓創新途徑，不然利潤恐怕越來越微薄。

國內的軟體產業貌似不如硬體相關產業繁榮，但其實軟體人才在各行各業都有發光發熱的機會，而且近年來軟體人才越來越受到重視，只是軟體人才有相當大的比例是被上述的半導體和電子業，或外商科技公司所網羅，甚至出國發展，而國內從事純軟體發展的大公司並不多。在資工系教書的我，當然希望台灣的軟體產業能在世界舞台上大放異彩，只是平心而論，我們所培育的軟體人才無論在哪裡服務，大部分都有相當不錯的貢獻，而軟體產業必須面對全球化的競爭，人才需求和技術門檻比很多人想像得高，而且機會可遇不可得。國內並不是沒有機會，但國內的市場需求不及大國，必須更加善用人才和技術、結合國內產業的優勢，能在國際上競爭才好。國內兩大軟體公司趨勢科技和訊連科技，一家專注於電腦防毒軟體，一家致力於影音多媒體，當年都善用了國內的軟體人才，研發具國際競爭力的專業技術。然而在2000年之後網際雲端服務的時代，軟體產業關注的並非軟體本身，而是基於軟體所提供的服務，競爭加劇，在原有的人才和技術門檻之上，還要關注於商業服務模式（business models）的創新，更是不容易。

我想，AI帶來的衝擊，不只產生新的技術與應用，也有助於顛覆某些被大公司壟斷的領域，對於積極和樂於從事創新或新創的人，提供了許多機會。但我上一篇說過，我認為AI應用的開發門檻比一些人想像得高出一大截，如果只是膚淺地做一些低門檻Me Too的研發，恐怕很快就被人後來居上，要知道軟體和文章一樣，價值往往由受眾決定。很多人欣賞利用的話價值就高，不夠專業、沒特色的話就算免費也多餘。因此，如何利用AI解決有價值的問題，是當前的大哉問，而我認為要提高專業度和技術層次的途徑，最值得嘗試的方法之一就是跨領域研發AI應用與技術。

就應用方面，過去我有幾次和醫學專家合作過，利用高效能計算和機器學習技術去探索精準醫療（precision medicine），包括質子輻射治療的模擬、DNA序列與疾病的關聯性分析、從醫學影像偵測癌細胞。我想，做過這類研究的人都很清楚，要讓醫學專家和資工專家合作有多困難。首先，要我聽懂醫學專業名詞就是個要克服的障礙，所幸我為了自身未來的健康著想，很願意多學學。另一方面，聰明的醫學專家要學一些程式設計或者使用AI工具並不難，但在方興未艾的精準醫療研究領域通常沒有足夠的工具可用，而且簡單的研究很快就被有人做了，所以必須蒐集更多資料、更積極將專業知識導入演算流程、或是做更大更快更準的演算，這恐怕就不是一般醫學專家做得到的。所以，如果能藉由密切的跨領域合作跨越這個知識交流的門檻，那就能大大提高成功的機會了。

如果有人能夠身兼醫學和資工的專業才能，能夠一個人解決關鍵問題，或者成為兩邊人馬交流的橋樑，那不就太好了嗎？所以現在台大重點科技學院有個精準健康的研究所學程，主要目的就是培養身兼醫學和資工的專業才能。我也鼓勵醫學院的學生，行有餘力可以來修資工系的課，多花一年時間雙主修資工系對於日後數十年的行醫生涯來說是值得的，或是進入精準健康學程也行。

就技術方面，軟體技術與國內擅長的半導體和電子業相結合，的確有其利基，前面也提到，許多軟體人才在硬體產業鏈貢獻，功不可沒。例如，台積電在改進製程上不遺餘力，需要大數據分析、計算模擬等技術的支援，因此僱用了不少軟體人才。聯發科設計的手機晶片，需要很多軟體的支援，不斷在增聘軟體工程師。硬體產業鏈吸引大量的軟體人才，造成其他領域短缺軟體人才，有利有弊。作為教育工作者，我認為「人能盡其才」「終身學習」是最重要的事情，希望公司在拿出誘人的薪資和分紅的同時，能夠讓人發揮才能、給他們學習成長的機會。

寫這篇之時遇到Apple在Worldwide Developers Conference（WWDC）發表新技術，也有臉友留言敲碗要我談Apple Intelligence，正好以此因緣來談談這家善於結合應用與技術做務實創新的公司。

首先，我覺得這次在WWDC，Apple達到了目標：穩定了開發者的軍心，給了使用者願景，可以算是頗成功的。雖然有些人酸說這次WWDC沒什麼新東西，但是WWDC的主要聽眾是軟體開發者，不是終端用戶。當然，軟體開發與硬體有關，有時WWDC也會發表新產品，但畢竟不是產品發表會。

Apple很清楚自己產品的硬體功能早已過於強大（overkill），一直在找尋下一個能讓使用者愛不釋手、非用不可的應用（killer applications ）。不然，幾年前的iPhone 12、iPad Pro、Macbook M1還很好用，沒什麼換機的理由。上個月才發表了M4版本的iPad Pro，有多少iPad的使用者會想換呢？M4晶片的功能再強大，又能做什麼好事呢？我從2021年M1版iPad Pro推出時就想破頭，一直想不到任何買來替換前代iPad Pro的理由，而Apple此次就是希望藉助AI來提供消費者換機的好理由。

要說近年來軟硬體整合創新的代表作，應該是Apple在今年初開賣的Vision Pro，而我用了VIsion Pro一陣子了，雖然認為這是個有潛力的產品，但痛點在軟體上。這讓我想起初代的iPhone，沒有多少好用的apps。只不過Vision Pro不像iPhone那樣可以隨時拿在手上炫耀，要做到真的好用才行，不能當成潮品來行銷。既然軟體還不夠好用，那就追加系統功能，改進操作介面，繼續鼓勵應用開發者加入把？這次發表會提到的Vision OS 2，算是回應Vision Pro的客戶的不滿，同時穩住和爭取應用開發者。慣用大螢幕、多螢幕的我，很喜歡Vision OS 2強化版的Mac虛擬桌面功能，但我想，用鍵盤做文字輸入的不方便還是個待解決的問題。

解決文字輸入的問題應該是有解的。在AI出現後，除了文字創作者之外，需要大量輸入文字的時機應該不多吧？一方面很多文字工作可以由AI代勞，一方面語音辨認或手勢辨識也越來越精準，應該可以取代實體鍵盤做簡易的輸入和編輯，這就連結到發表會的壓軸好戲 - Apple Intelligence。

話說，幾個月前有報導說Apple買了大量自家的M2 Ultra晶片，我就好奇Apple意欲何為？我的研究室有9台裡頭有M2 Ultra的Mac Studio，用來做LLM相關的研究實驗，因此對M2 Ultra跑LLM訓練和推論的能力頗為清楚。

我在之前談大小語言模型的文章中講過，記憶體的容量和頻寬是關鍵。M2 Ultra的記憶體頻寬高達800GB/s，容量可以加到192GB，用來跑小型語言模型（SLM）是游刃有餘，甚至稍大一點的（70B）的Llama 3 LLM也堪用，性價比往往高於採用高階GPU。只是GPU的算力還是遠不如A100，我不建議用於訓練大模型，但若拿來做模型優化（fine-tuning）或模型訓練相關的系統研究是不錯的，因此我說這些Mac Studio用來作私人智慧助理或是Edge LLM伺服器是可行的。

所以一看到Apple呈現附圖的Apple Intelligence架構圖，我毫不意外，完全理解為什麼這些M2 Ultra晶片適合用來打造附圖右邊的私有雲（private cloud），這是創新的關鍵，至於和OpenAI合作連接外掛ChatGPT的功能，只不過是合縱連橫的暫時策略而已，反倒是其次。

對Apple來說，用M2 Ultra晶片（Mac Studio）來打造私有雲有不少好處：

- 安全私密性：很重要的是圖中那小小的Secure Enclave [1]，這是每個現役的Apple晶片上都有的硬體功能，讓每個Apple裝置與Apple之間能建立起互信，也防止iPhone、Mac遺失被別人拿到重灌。當然沒有百分百的安全，但是比起沒有硬體安全的裝置好得多。Apple全面設置這個雖小但重要的機能，可以生態系內安全直接串連不同裝置，其他的生態系遠遠落後。

- 自主技術與生態系：不僅成功地攤提了Apple先前在高階M系列晶片的投資，也因此最大化軟體上投資以及移植或卸載AI模型到伺服器上的相容性。不要忘了，Apple本來就有iCloud，這些伺服器如同使用者的代理人，可以在雲端資料中心裡頭直接存取那些已經放在iCloud的資料，不用再花時間上傳。運算的結果，也可以放在iCloud上。正如同iCloud便利使用者串連所有Apple裝置，圖中的Model伺服器記得各裝置上做過的事情，用於串連各裝置上的工作。

- 大記憶體：192GB記憶體容量遠比NVIDIA的GPU大，一台伺服器上可以同時放進多個SLM，也很適合跑Mixture of Experts （MoE）。如果想用遊戲顯卡，很抱歉，NVIDIA不同意讓GeForce系列用於資料中心，即便有人冒著被告的風險在雲端伺服器放進RTX4090，最大只有24GB的記憶體容量又能跑多大或幾個的SLM？然而NVIDIA大記憶體容量的GPU就貴了，耗電量又可觀，算算TCO大概不划算。

- 軟硬體協同發展：不像Microsoft那樣只是提供環境支持AI應用開發，Apple秉持著過去軟硬體密切整合的精神，必定會透過這個環境中瞭解應用的需求．以此優化出下一代的晶片。這個重要的情報，是大多數AI晶片廠所難以掌握的，也是Apple的利基。

--

Apple總是從提升使用者體驗的角度去研發技術和產品，Apple Intelligence也不例外。在大會中，Apple演示了SLM如何讓各種Apple裝置更善解人意，協助使用者做某方面的工作不一定要用到LLM，即便有時會用到，最好用一個有緊密聯繫的私人雲端LLM服務，而用了之後最好還能回饋優化本地裝置上SLM。這是為將來的私人智慧助理的雛形。

當然，Apple裝置也可以串接ChatGPT，但我想那只是跟OpenAI結盟相互拉抬的作法。Apple不必自己打造搜尋引擎，但必須有自家的瀏覽器，才能優化使用者體驗，同時控制上網的通道。Apple Intelligence框架，為的是也是優化使用者體驗以及控制Apple裝置通往內外AI服務的通道。

岔題說一下所謂的本地與雲端合作計算（Device-Cloud Collaboration ），這個的作法早在十多年前就有了，我們以前對此發展一套作法，看過一大堆花招，知道真正的重點在信任根源（root of trust）、資料存取、軟體開發和部署等實際議題。放眼看去，Android有自家的On-Device AI和Google的後台，Windows上有Copilot加上Microsoft的後台，但我不覺得他們在規劃上有Apple完整。

說到完整，WWDC在講Apple Intelligence之前講了一些關於iOS、iPad OS、Watch OS、Mac OS的新功能，我覺得就是鞏固開發者的信心，讓既有的使用者覺得Apple很貼心，很多功能大概用不到也無所謂，我最有感的大概就是能在Mac上操作iPhone，因為我一直覺得，有電腦螢幕在前面還要空出手來操作小手機實在很蠢。另外有趣的是iPad上的計算機，很多用戶一直抱怨iPad沒有內建的計算機，現在終於有了，而且用了AI。

那麼究竟Apple Intelligence會不會起飛，舊裝置的用戶會不會因為這些具備AI的新功能而換購新裝置呢？我覺得Apple所塑造的形象和行銷策略相當高明，足以說服多數已在Apple生態系的使用者，至於能否吸引其他人加入，那就要看新功能有多好用了，但我認為Apple的整合度和佈局領先其他廠商，大家可以參考看看。個人認為，Google和Microsoft也不是省油的燈，為了全世界就好，希望出現三分天下的局面，有競爭才有進步，消費者才有甜頭，嘉惠普羅大眾。

[1] https://support.apple.com/guide/security/secure-enclave-sec59b0b31ff/web