前往主要內容
工商時報LOGO

「LLM」的搜尋結果

搜尋結果:19

國際

蘋果傳擬靠iPhone執行AI 優先考量速度、隱私權

市場謠傳,蘋果(Apple Inc.)正在開發自家的大型語言模型(LLM)、主要是在終端裝置上運行,速度、隱私權是最優先考量。 彭博社科技記者Mark Gurman 21日透過《Power On》新聞報指出,所有跡象都暗示,蘋果開發中的LLM (也就是支援生成式AI功能的演算法)將完全在裝置上運行。這代表蘋果的...詳全文(本文由 MoneyDJ新聞 授權轉載)

國際

專家:LLM無法理解核心概念,AGI 2030年問世難度高

華爾街日報週日(4月7日)報導,美國普查局3月發布的數據顯示、預估僅有5.4%的企業使用任何類型的人工智慧(AI)來生產產品或服務,主要以資訊業企業和大型公司為主。思科(Cisco Systems)日前針對隱私和資安專業人員進行的一項調查顯示,92%的受訪者表示生成式AI與其他科技本質不相同、必須透過新技術來管理數據和風...詳全文(本文由 MoneyDJ新聞 授權轉載)

政府訓練台版LLM,應示範付費取得著作權

名家

政府訓練台版LLM,應示範付費取得著作權

生成式AI席捲全球,為了掌握話語權,國科會於2023年4月啟動「可信任人工智慧對話引擎」(Trustworthy AI Dialogue Engine,以下簡稱TAIDE)計畫,投入適合我國語言、文化特性之生成式AI對話引擎的開發。惟從目前其侷限的訓練資料觀之,恐難達到預期的目標。政府主導的大型語言模型(LLM)或應有償取得高品質的著作權作品,提升模型品質,與文化界共創雙贏的結果。  台灣資源有限,只能使用國際上現有的開源LLM進行優化處理,以增強本土化優勢;TAIDE即使用Meta推出的Llama/Llama 2模型。然而這個被媒體稱為「台版ChatGPT」的計畫,啟動近一年來尚未推出正式版,直到日前國科會主委吳政忠才宣布將在4月中釋出7B模型(可商用版本)。據了解,數位部也規劃將在4月下旬廣邀Meta等國際大廠送測,並於5月公布TAIDE評測結果。反觀民間已陸續推出多個繁中LLM,如華碩集團的福爾摩沙大模型,早在去年9月就已推出FFM-Llama 2的70B大模型。  TAIDE將於4月成為開源模型,企業或個人可免費使用,並得修改軟體原始碼,透過微調和優化,快速推出新的產品與服務,加速我國產業的發展與創新。因此,TAIDE品質的優劣,攸關台灣產業的發展。  發展AI大模型四大關鍵:分別是資金、算力、人才與資料,又以資料最為重要。可惜的是,TAIDE計畫預算僅有2~3億元,相關硬體匱乏,且人才短缺,只能靠優質的訓練資料彌補。  根據TAIDE官方網站資訊,該模型訓練資料包含政府報告摘要、科技大觀園、科學發展月刊、學術會議論文摘要、GRB政府研究資訊系統報告/計畫摘要、光華雜誌、中文維基百科、法規資料庫、教育部《國語小字典》、中央及地方政府機關常見問題Q&A、十二年國教課程綱要、教育部《重編國語辭典修訂本》等。  繁中的訓練資料看似很豐富,但多屬政府公開資料,且部分資料僅使用摘要,占繁中的資料比重極為有限,且缺乏代表性。實與其他繁中的模型缺乏差異性,難以期待TAIDE光使用上述資料訓練的模型,如何精確回答有關台灣的問題?  台灣其他LLM設法尋求突破,如台大資工的Taiwan LLM V2訓練時,除抓取網路之外,還額外使用了小說、雜誌以及大量的社群媒體等資料。根據該模型的介紹,社群媒體的資料占總Token的47.32%,內容豐富許多,也較具代表性。不過此係資源有限下的變通作法,並非資料收集的常態。  我們可看看語言偏見同樣嚴重的日本,如何解決日文訓練資料短缺問題。日本以修正《著作權法》,讓LLM得利用有著作權保護的資料進行訓練,大舉擴大日文的訓練資料。前Google台灣區總經理建議,我國可仿效日本做法。然日本模式雖茁壯了AI發展,卻是以踐踏著作財產權人為代價,我國不宜貿然師法。  根本問題是,為何大模型都只想無償使用免費的資料?為何不以有償方式,爭取著作權人或資料擁有者的授權,取得優質的資料?特別是政府出資建構的繁體中文LLM,並無獲利的壓力,且背負國家AI發展任務,更應採取不同的方式。我們建議政府應主動與出版商或創作人協商,支付一定的授權費,取得資料使用權,打造出最適合台灣使用的模型。  我們以為,政府可先從媒體或研究機構的資料庫著手,蓋相對於書籍,媒體或研究機構多已累積數十年的豐富且深入的中文資料,若能獲取其大量內容,TAIDE將如吃了大補丸,功力立即大增。  值得慶幸的是,已有人注意到研究機構的資料庫,如日前立委詢問中研院可否協助整合中文資料庫,中研院院長廖俊智表示,會在不違反智慧財產權法規限制下,盡量開放中研院資料庫協助訓練AI模型。惟就是因涉及著作權重製限制,才無法使用該院的資料庫內容,廖院長如同委婉地拒絕立委的要求,更彰顯政府介入的必要性。  進入數位時代,傳統文化產業經營日益困難,如社群媒體與搜尋引擎恣意轉引傳統媒體辛苦報導與評論的內容,閱讀實體版紙媒的人口驟減,《新聞媒體與數位平台強制議價法》卻還躺在立法院,公平會與數位部也還在紙上談兵的狀態。倘能建立有償支付模式,授權大模型使用其資料有助於增加營收,應可提高權利人分享的誘因。此外,還有示範效果,其他大模型為搶奪繁中市場,也有可能會跟進爭取媒體授權。  值得欣慰的是,行政院長陳建仁日前宣布,未來將推動台灣AI行動計畫3.0,政府投入預算規模將從目前每年120億元再擴大。盼政府能將部分資源用於資料授權上,以促進我國相關產業的發展。

睿思創新引領LLM領域 發揮更實用、高效

商情

睿思創新引領LLM領域 發揮更實用、高效

2023年ChatGPT橫空出世,大型語言模型(LLM)的應用是未來AI發展的重要趨勢,不過大型語言模型(LLM)通常訓練成本高昂,品質參差不齊,需耗費大量時間完成訓練,這些因素結合起來,使得將這些模型實際應用於商業或工業環境變得更加困難,這些因素綜合作用,增加了企業將LLM商業化、實現產品化的難度,CROSSBOT平台通過一種新型的Hybrid LLM優化機制,為這個問題提供了解決方案。 CROSSBOT平台會將用戶提問的問題進行收斂,並自動配對最合適的語言模型,它可能會選擇一個小型但反應迅速的模型,而對於需要深入分析和複雜處理的問題,它則會切換到更為強大的模型,這種靈活的策略不僅提升了效率,還優化了資源的使用,降低了成本。除了模型選擇的智能化,CROSSBOT還採用了一種模型協作機制,允許不同的LLM在處理問題時相互協作,這種協作可以在不同層面上進行,包括數據共享、學習策略和輸出結果的結合,透過模型間的這種聯動,CROSSBOT極大地提升了單個LLM的效能,從而縮短了所需的整體訓練時間。 此外,CROSSBOT的這種方法允許用戶在不影響性能的前提下,減少對昂貴硬件資源的依賴,這不僅使得LLM的部署變得更加經濟,也使得這些先進的模型可以更快地整合進企業的現有系統中,加速實際應用的落地。CROSSBOT平台對於促進LLM技術的普及和商業化,提供了一個有力的工具 ,通過這些創新,睿思創新正引領著LLM領域向更加實用和高效的方向發展。 企業用戶導入CROSSBOT只需三步驟: 1. 透過CROSSBOT整合企業內外部系統資料庫。 2. 導入生成式AI技術打造新型對話式互動式人機介面。 3. 導入數據分析預測服務,優化企業營運效率。

頂尖AI新創榮登NVIDIA GTC大會  AI空間設計師引領產業變革

商情

頂尖AI新創榮登NVIDIA GTC大會 AI空間設計師引領產業變革

創新AI 設計師將真實室內空間快速建立尺寸正確的 3D 空間數位雙生Digital Twin,以空間生成式AI將空間還原重建,並進行室內設計,透過AI設計師與使用者的溝通,協助空間設計產業數位轉型,澈底改變空間設計的傳統流程,不僅讓消費者在規畫空間前可實際感受煥然一新的數位布置,亦引領空間設計產業變革。 NVIDIA在全球數萬家科技新創中選出近百家公司登上GTC 大會,其中僅有極少數新創計畫成員能登台發表最新技術,並驗證其技術落地與垂直產業商業模式。HOMEE AI通過 Omniverse 提供多維度的設計空間,結合 NVIDIA 運算能力,為用戶帶來前所未有的高度逼真與空間設計體驗,因而躋身全球頂尖 AI 新創之一,曾獲NVIDIA 創辦人黃仁勳青睞,在2023 年台北國際電腦展開幕影片介紹。該企業採用 NVIDIA Omniverse、OpenUSD 及Google Cloud,技術能力獲得大廠關注,預期將在空間運算領域掀起一波新高峰。 HOMEE AI 運用Google Cloud,特別是在大型語言模型LLMs的整合,這些模型不僅強化資料的安全性和隱私保護,更允許AI空間設計師以更自然的方式與用戶溝通,將對話轉換成個性化的室內空間設計方案。這些LLM能理解用戶空間環境,並將需求轉化為實際設計元素,創建一個與用戶生活方式和風格緊密結合的室內空間環境。 創辦人暨執行長杜宇威表示:「我們正在建立一個嶄新典範,證明 AI 技術突破必須與垂直領域專業知識結合,方能產生商業效益,HOMEE AI期望帶來空間設計市場革新和用戶體驗的提升,加速全球空間設計產業步入全新數位化與智慧化的時代。」

產業

Palo Alto Networks技術長 2024年為人工智慧運用於網路安全的非凡之年

資安公司Palo Alto Networks 物聯網技術長 May Wang 指出,大型語言模型(LLMs)已改變網路安全樣貌,並帶來前所未有的挑戰。 大型語言模型(Large Language Models,LLMs)的廣泛應用,一方面,可以處理龐大資訊。但另一方面,駭客亦可利用其提高攻擊效率。 May Wang 表示,LLMs時代,企業需重新重新思考資安布署的方式。在人工智慧的新時代,需要在設計階段將安全性納入考量,即在安全系統內置智慧,以確保建立安全的模型並防止訓練資料被污染(Data Poisoning)。在部署後需要持續評估和監控LLM系統,以確保其安全、防護和道德性。 May Wang表示,LLMs在網路安全中最大優勢為數據及工具。他表示,高品質有標籤數據使AI模型和預測更準確、更適用於網路安全案例。其次,LLMs使網路安全操作更容易,到目前為止,LLMs對網路安全的最大影響是對安全營運中心(SOC)的影響。LLMs可以讓用戶以自然語言命令,來整合複雜的網路安全工具。 LLMs快速分析大量資訊的能力有助於連不同來處的數據,包括事件、日誌、惡意軟體家族名稱、來自常見漏洞和曝光(CVE)的資訊,以及內部和外部數據庫等。這不僅有助於找到警報或事件的根本原因,還大幅地減少了事件管理的平均解決時間(MTTR)。 展望2024年,在網路安全領域,將出現轉型的LLMs應用案例,這將使LLMs在網路安全中成為不可或缺的一部分,也可以降低成本。但LLMs也可能被不法分子利用,駭客可使用LLMs生成數量更大、品質更高的釣魚郵件,或創建全新的惡意軟體。 Palo Alto Networks表示,業者必須將開發安全的人工智慧框架作為首要任務。這涉及到供應商、企業、學術機構、政策制定者、監管機構,為一整個技術生態系統的合作。

新時代的開始:大型語言模型從新穎工具變為商業必需

商情

新時代的開始:大型語言模型從新穎工具變為商業必需

人們對大型語言模型(LLM)的態度已經從單純的嘗鮮轉變為實際需求,如 ChatGPT 和 Bard等大型語言模型已逐漸成為商業領域中不可或缺的工具。預計到 2027 年,企業在生成式人工智慧(AI)解決方案上的投入將達到 1,511 億美元,且 2023 到 2027(註1)年的複合年增長率將達到 86.1%,顯示企業對 AI 應用的興趣正在急速上升。 大型語言模型已從最初的熱門話題轉變為企業的策略焦點,力求將 AI 更深度地融入商業運作中。例如,麥肯錫的年度 AI 發展現狀調查顯示,有三分之一的企業至少在一項業務中固定採用生成式 AI(註2)。同時,有 25% 使用AI 的企業表示生成式AI 已被納入其董事會議程,凸顯了AI在企業決策面的重要性。 隨著生成式 AI 解決方案的發展更具策略性和針對性,企業加大技術應用的態勢必將提升整體績效,使 2024 年成為企業採用大型語言模型的關鍵一年。這項演進標誌著新時代的來臨,在這個時代中, AI 不再只是一項實驗性工具,更是企業發展策略和營運的基本要素。 在 2023 年,雖然有部分公司員工開始嘗試使用 ChatGPT 及其他大型語言模型工具,這些工具主要用於撰寫電子郵件或回覆訊息。更具前瞻性的人可能會利用這些工具來撰寫提案或其他篇幅較長的文件。然而,有鑑於大型語言模型生成的內容可能出現不符事實或類似幻覺的情況,大多數時候,這些內容僅用於內部參考,並不適合用於外部公開場合。 然而現在,經過一年的實驗和改進,大型語言模型開發人員已經準備好推出──或者已經推出面向企業的商務版產品,以滿足企業開發的需求。其中最受矚目的,莫過於「客戶服務」和「內容創建」兩大應用領域,今年,這兩項應用的品質與採用率可望有顯著的提升。 2024 年將成為大規模採用大型語言模型應用程式的轉捩點之年,背後驅動的兩大關鍵因素是「技術演進」和「市場情緒」。自從 ChatGPT 於 2022 年 11 月面世以來,大型語言模型技術已經從單純完善文案和分析模型,演變成為功能全面的聊天機器人,不僅能執行程式碼(註3)、運用工具,還能存取外部知識和搜尋網路。換言之,在短短不到 12 個月的時間裡,這項具有革命性意義的工具已徹底改變了整個技術社群的面貌。 然而,如果高階主管不買賬,這些技術演進便難以在市場上獲得認可──這正是 2023 年的瓶 頸所在。現在,大多數執行長都已達成共識,認為在業務營運中採用 AI 解決方案是當務之急,他們明確表示,投資 AI 至關重要(註4)。隨著更多針對特定垂直產業的大型語言模型問世,企業採 用和部署這些生成式 AI 解決方案將變得更加容易。 2024 年,大型語言模型開發人員還將著 手解決一項關鍵挑戰──資料安全。技術開發人員將提供一個讓企業將數據存在其內部系統的 解決方案,進而提供更安全、更強大的產品,以滿足那些重視風險管理的執行長的需求,獲得 他們的青睞。 2023 年,各國政府及其他監管機構在規範 AI 方面面臨挑戰。去年 12 月,歐盟就《AI 法案》(註5)達成共識,這是一項具里程碑意義的法案,旨在對 AI 的使用進行規範和限制。該法案一經實施,以及隨後可能出台的相關法案,將對科技公司開發 AI 解決方案的方式產生深遠影響。簡言之,這些法案將對何種行為是許可的、何種行為是禁止的,建立基本的規則框架。 隨著更強大的功能、更廣泛的支持以及更清晰的認識,預期大型語言模型應用程式將在全球各大型企業中得到更具規模化的採用。 想像一下,如果 ChatGPT 是網站上的客服聊天機器人,你根本無法分辨真人與機器人。而將大型語言模型聊天機器人整合到客戶服務中,也為企業提供了一個節省成本的機會,能隨時為聊天機器人可以提供更個人化的互動,並且提高客戶滿意度。 使用大型語言模型創建內容的優點之一是速度快。如果你不滿意它生成的結果,只需重新調整提示措辭,不到一分鐘就能獲得新的結果。這在行銷和廣告領域尤其有用,因為多變量測試和迭代是獲致最佳化內容的關鍵。無論是廣告標語、充滿資訊的部落格文章,甚至是短篇小說,大型語言模型都能夠借助其被訓練過的大量數據來產生新的想法和文本。 除了速度之外,讓企業購買和使用這些大型語言模型進行內容創作的原因還包括內容的多樣性,像形式、風格和語氣。在 ChatGPT 剛出現的時候,人們擔心所有的內容最終會變得千篇一律。如果讓 ChatGPT 寫一篇關於某個主題的部落格文章,同時顧搜尋引擎優化,可能會導致所 有文章一成不變;但由於提示工程(prompt engineering)的存在,這項擔憂並未發生。 只要稍微改變一下提示用語,ChatGPT 和解決方案就能就同一主題產生不同的內容。更重要的是,使用者可以要求大型語言模型內容創作者採用某種寫作風格或語氣。當然,這也是迭代的關鍵所在,因為最優秀的用戶會反覆使用大型語言模型來訓練它,讓它聽起來更像自己。大型語言模型的最終目標是讓在最短的時間內產出聽起來像公司創作的優秀內容。 隨著 2024 年的到來,大型語言模型從實驗工具到重要商業資產的轉變變得越來越清晰。這些模型在技術能力方面取得了顯著的進步,如今在客戶服務和內容創建等領域發揮至關重要的影響力,能夠提供無與倫比的效率和客製化服務。今年不僅是技術進步的一年,也是將這些工具整合到業務運營結構中,並與不斷變化的監管環境和執行策略持續對焦的一年。 LLM 的廣泛採用證明了其徹底改變企業營運、溝通和創新方式的潛力。在我們見證這一轉變的過程中,我們可以清楚地看到,大型語言模型不僅是企業未來的一部分,它們還在積極塑造未來,在數位化日益加劇的世界中為企業的成長和效率開創新的途徑。 註1: IDC 預測 GenAI 解決方案支出將在 2024 年翻倍成長,並在 2027 年成長至 1,511 億美元 註2 :麥肯錫:2023 AI 發展現況:生成式 AI 的突破年 註3: Google Bard AI 現在可以編寫和執行程式碼來回答問題 註4: KPMG 2023 美國 CEO 展望 註5 :AI 法案:制定可信賴的 AI 的綜合規則 (本文作者:Appier 技術長陳明愉博士)

AI iPhone有譜?傳蘋果悄悄研發裝置用LLM

國際

AI iPhone有譜?傳蘋果悄悄研發裝置用LLM

蘋果(Apple Inc.)傳出正在悄悄提升AI能力,執行一系列併購案、聘任專才並更新硬體,準備將AI導入未來幾代iPhone。 英國金融時報24日報導,業界資料、學術研究及科技業內見解均暗示,解決直接在行動裝置執行AI的技術性問題是蘋果優先要務,這可讓AI聊天機器人、app直接透過iPhone的軟硬體執行,不...詳全文(本文由 MoneyDJ新聞 授權轉載)

證券

《熱門族群》緯軟、叡揚2023年12月、全年營收 齊創高

【時報記者莊丙農台北報導】企業數位轉型需求增加,資訊服務商去年都繳出不錯成績,緯軟(4953)2023年12月營收8.44億元,月增2.8%,年增19.2%,連續5個月創單月新高;第4季營收24.4億元,季增9.8%,年增16.6%,亦創單季新高;2023年全年營收達88.4億元,年增11.2%,不但續創新高,也連續3年交出雙位數成長。叡揚(6752)2023年12月營收為1.7億元,月增16.80%,年增2.51%,為單月歷史新高。2023年營收為15.9億元,年增11.39%,創全年營收新高 。  緯軟表示,2023年受惠互聯網與智慧汽車兩大主力客群的強勁動能,營收穩健成長。在大陸互聯網產業耕耘數年,目前已是多家龍頭企業的主要供應商之一;而智慧汽車市場蓬勃發展,關鍵客戶在競爭激烈的市場中脫穎而出,其銷量及營運表現皆有所突破,相關智能發展商機不墜,持續挹注公司營收。  展望2024年,互聯網客戶及智慧汽車產業仍將是公司營收增長的核心。同時,緯軟也將積極搶攻AI及雲端技術領域,除在內部營運流程導入智能化工具,也將完善技術及人才生態圈,達成資源共享、創造多贏局面,以滿足快速成長的客戶需求。  叡揚董事長張培鏞表示,2024年營運重點包括:AI模組及LLM客製化、ESG及資安代理工具持續增長等三大領域。叡揚擁有30多位AI研發團隊,投入AI領域10多年,熟悉台灣法令文化及繁體中文語料,且擁有豐富的經驗與技術。去年,叡揚的AI研發團隊進一步研究大型語言模型(LLM),如:GPT-4、Llama 2、Taiwan-LLM和國科會打造的TAIDE等LLM模型,並將LLM技術整合至其他產品,如知識管理協作平台、公文系統等及協助客戶建立客製化LLM。  在知識管理方面,叡揚了解企業端最在意如何確保資料不外洩的前提下,可生成值得信賴而又不超越授權的內容,以確保資料的安全性。故叡揚知識協作平台生成的內容都會註明出處來源,方便回溯查證,確保了內容的正確性,更搭配特別為 LLM 研發的權限控管機制,確保了員工不會接觸到不該接觸的內容。至於生成式公文,可根據公文類型、內容、格式等資訊,智慧生成公文樣版,加速公文作業時間,並提升公文品質提高工作效能。  ESG層面,企業持續提升無紙化及工作效能,國際大型零售集團的家樂福率先導入叡揚Vital BizForm智慧表單,舒緩每年新進報到近9,000名工作夥伴所運用到各式各樣大量紙本表單,將以往數十張的紙本表單轉為Vital BizForm數位智慧表單,簡化新人報到流程、大幅提升招募效率。

產業

叡揚12月、全年營收 齊創新高

資訊軟體服務廠商叡揚(6752)公告2023年12月份單月合併營收為 1.7億元,月增 16.80%,年增2.51%,為單月歷史新高。2023累計年營收為 15.9 億元,年增 11.39%,也創年營收新高。 叡揚董事長張培鏞表示,2024年營運重點為,提供AI模組及 LLM(大型語言模型)客製化、ESG及資安代理工具等三大領域。 目前叡揚擁有30多位AI研發人員,投入AI領域10多年,熟悉台灣法令文化及繁體中文語料,且擁有豐富的經驗與技術。去年,叡揚的AI研發團隊進一步研究大型語言模型(LLM),如GPT-4、Llama 2、Taiwan-LLM和國科會打造的TAIDE等LLM模型,並將LLM技術整合至其他產品,如知識管理協作平台、公文系統等及協助客戶建立客製化LLM。 在知識管理方面,企業端最在意的資料保護,在此前提下,該公司協助企業生成值得信賴又不超越授權的內容,以確保資料的安全性。叡揚的知識協作平台所生成的內容都會註明出處來源,方便回溯查證,確保了內容的正確性,更搭配特別為 LLM 研發的權限控管機制,確保員工不會接觸到不該接觸的內容。至於生成式公文,可根據公文類型、內容、格式等資訊,智慧生成公文樣版,加速公文作業時間,並提升公文品質提高工作效能。 ESG層面,企業持續提升無紙化及工作效能,國際大型零售集團的家樂福率先導入叡揚VitalBizForm智慧表單,舒緩每年新進報到近9,000名工作夥伴所運用到各式各樣大量紙本表單,將以往數十張的紙本表單轉為Vital BizForm數位智慧表單,簡化新人報到流程、大幅提升招募效率。

蘋果發表LLM報告,Counterpoint看好生成式AI手機

國際

蘋果發表LLM報告,Counterpoint看好生成式AI手機

英國金融時報週四(12月21日)報導,根據Hugging Face(AI開發平台)曝光的蘋果(Apple Inc.)研究文件(12月12日問世,標題為:「LLM in a Flash」),這家iPhone製造商構思在記憶體有限的裝置上進行大型語言模型(LLM)的有效推理。報導指出,這是蘋果本月發表的第二篇生成式人工智慧相...詳全文(本文由 MoneyDJ新聞 授權轉載)

證券

《資服股》叡揚聚焦LLM技術 提供高效彈性Fine-Tuning策略

【時報記者莊丙農台北報導】IDC報告指出,生成式AI下一波技術發展將全面產業化,隨著企業需求提升,叡揚(6752)於LLM(大型語言模型)以牽涉繁體中文、文化、資料機密、雲地選擇,及成本算力考量下,強調高效且彈性的LLM Fine-Tuning策略,LLM與外部知識的動態結合,持續更新的外部資訊,並把關機敏資料的安全性。多模態的理解與應用擴充,藉由不同資料類型的模型與LLM結合訓練以實現多模態能力的擴充,未來將提供一站式整合AI Gateway,創造最佳效能。  數位發展部正大力推動「台灣AI行動計畫2.0」,日前活動現場叡揚展示多款將AI技術結合應用系統的前後處理,如運用機器學習技術辨識影印或影像檔的財報資料,金融產業將OCR加入AI元素,即使影像有斜式或蓋章等干擾,也能夠高達90%以上的成功辨識率,接著串接到會計與徵授信系統,減少使用者90%以上的登打與核對時間。  另外,廣為被使用的公文管理與知識管理系統在結合AI及LLM下,輔助使用者快速且正確地完成公文撰寫或查找完善資訊,如同隨時都有資深且貼心的同仁手把手協助,讓人工智慧助益組織文化知識傳承與效能躍進。AI、LLM等技術可以為知識管理提供新功能優勢,尤其知識管理系統具備良好的協作介面讓團隊成員無形中留存高品質對話、創化內容,提高組織知識匯集、協作共享及權限管理避免產權洩漏。  而組織的各類系統,也能透過叡揚的機器人生成平台快速生成對話式服務;非資訊人員也能透過視覺化的操作平台,將組織的流程與知識轉化設計出對話機器人,融合AI理解後,更能透過口語化的問與答提供服務對象需要的解答或引導至正確的系統,呈現直覺的人機介面。  對於LLM及AI技術,叡揚從2013年開始投入,由NLP 、機器學習開始,團隊持續研讀論文、試驗各類模型,落地解決實務問題,後續延伸到圖像區塊辨識及內容物辨識的應用。2022年底GPT的出現,出現更多可探索的機會與挑戰,叡揚過去在AI的實作經驗,可較快測試釐清哪些問題不用LLM就可完成,也可較快試驗各推陳出新的LLM,符合市場需求。

亞馬遜升級自研AI晶片 搶先用輝達新一代超級晶片

國際

亞馬遜升級自研AI晶片 搶先用輝達新一代超級晶片

亞馬遜(Amazon)旗下雲端部門Amazon Web Services(AWS)於本周舉辦 re:Invent年度大會,活動上宣布推出新一代自研晶片,並強調深化與輝達的合作,推出基於輝達晶片的新服務,與該公司共同研發超級電腦。 AWS的re:Invent年度大會於拉斯維加斯登場,AWS推出了自主研發的新型Graviton4晶片,其運算效能較前代Graviton3提高多達30%、內核增加50%、記憶體頻寬提升75%,進而能在亞馬遜彈性雲端運算(Amazon Elastic Compute Cloud,簡稱Amazon EC2)上提供最高性價比與能源利用效果,而應用Graviton4的電腦將在未來數個月內上市。 AWS推出的另一款新品為新一代AI晶片Trainium2,速度較前代Trainium1快4倍,將能在EC2 UltraCluster中部署多達10萬個晶片,讓用戶在短時間內訓練上兆參數的基礎模型(PM)和大型語言模型(LLM)。 除了自研晶片外,AWS也在年度大會上宣布,將擴大與輝達的策略合作,提供最先進的基礎設施、軟體及服務,協助客戶的生成式人工智慧(AI)創新。 AWS 將成為輝達Grace Hopper超級晶片升級版的第一個大客戶,此外,輝達和AWS將共同在AWS上託管輝達的雲端服務DGX Cloud,並且共同研發名為Ceiba 的項目,設計世界上速度最快的GPU驅動AI超級計算機。 除了晶片和雲端服務,AWS也於同日推出了AI聊天機器人「Q」的預覽版。Q為生成式AI技術支援的數位助手,可以根據企業客戶的業務提供協助,諸如搜尋資訊、擬定草案、編寫程式、審查業務指標等,且客戶可以根據公司的數據或個人資料對Q進行客製化。 Q作為針對工作場域設計的數位助手,將與微軟(Microsoft)的Copilot以及Google的Duet AI等工具較勁,在價格方面,Copilot和Duet AI的月費均為30美元,而Q的企業用戶則是每人每月20美元,針對開發人員和IT人員的附加功能版本則是25美元,有望挑戰微軟與Google的市場。

工研院院士倡議:加速發展企業級生成式AI應用

產業

工研院院士倡議:加速發展企業級生成式AI應用

生成式AI在全球掀起熱潮,工研院舉辦第十二屆院士會議,聚焦「生成式人工智慧(GAI)」對臺灣的影響、商機與人才培育等議題進行討論。 工研院院士認為,GAI潛力大,是臺灣產業不可錯過的機會,應善用臺灣ICT整合優勢,從三路全力推動,包括:從發展「跨產業通用型GAI服務」如客服等起步;積極投入製造業、醫療等「產業專用型GAI」應用;進而打造適合臺灣的「在地化GAI應用商業模式」。同時,院士們也呼籲落實AI的管理,並借鏡歐盟、美國等國作法,積極應對AI帶來的智權、人才、社會等議題。期透過GAI協助產業升級或創造新的商業模式,成為臺灣的新競爭優勢。 工研院院士會議今年主題為「以GAI引領變革:挑戰與機遇」,對於臺灣應如何掌握GAI商機,工研院院士建議,第一,從發展「跨產業通用型GAI」開始,也就是優先發展風險可控、效益明顯的AI應用,例如企業客服互動系統、公司內部資料庫運用,或是在醫療數據出現異常時,自動示警。第二,針對臺灣優勢產業,例如製造業、醫療產業,搭配微型化的AI模型,以及企業內部自建的大型語言模型(Large Language Model;LLM),積極發展「產業專用型GAI」應用,降低成本、提高企業機密安全性,進而增進產業競爭力。 第三,因應國情,發展適合臺灣的「在地化GAI應用商業模式」並走向國際,例如結合物聯網(IoT)積極開發高齡社會的應用科技,或者瞄準廣大華人客群,發展以繁體中文GAI為主的AI技術,充實中文資料庫,藉此搶攻全球商機。院士們也建議,宜儘快立法以落實AI的管理,同時考量GAI強大的運算能力,網路數據中心的水電用量也大,臺灣可借鏡歐盟、美國做法,宜規範設備能源效率及水資源回收與再生。此外,院士們也提醒,建議政府對AI的道德與倫理規範,或全民對AI的正確認識與使用方式等,需要規劃完整的策略與教育宣導。 工研院院士也建議工研院應聚焦「產業AI化」及「AI產業化」,並從中推動三大面向,包含深化AI技術、協助產業AI化、培育AI人才。在深化AI技術方面,工研院可發展大型語言模型微型化,並應用到特定的邊緣運算,如製造業及醫療產業;由於AI伺服器與高效能運算使得散熱需求不斷攀升,工研院應發展散熱科技與材料技術結合之創新技術,解決目前GAI等高速運算耗能量極高的問題。此外也可發展文字到影像的合成影像技術,以及資安相關技術應用等。 在協助產業AI化方面,院士認為,AI可以很快改變企業的競爭力,有鑑國內企業大都少有深入使用Open AI的經驗,工研院應儘速成立一個GAI企業服務團,聚焦ChatGPT的應用,除了進行技術研發,也要攜手企業快速發展雲端AI,將海量資料轉化為強大的生產力工具,進而提升企業的韌性和競爭力。目前企業的AIoT是將資料可視化、做成圖表,未來GAI若能運用語音、人性化的回答問題,將可大幅改善企業經營,強化製造業、醫療產業能量。 針對AI人才培訓迫切性,院士們建議工研院應成立GAI專責部門,統籌研發資源,招攬及培育人才與專家。尤其現在少子化,人才是所有企業都碰到的困境。此外,必須導入產學合作,很多新科技都源自於學界,工研院要強化與學界的交流,擴大領域及應用的廣度,利用企業的領域知識,共同發展應用技術。 院士們認為,建立優質、有效、大量的資料庫是GAI能否成功的關鍵。建議政府可將臺灣獨特的資料轉化為AI模型廣泛應用,包括內政部、交通部、農業部及衛福部等部會的相關資料,均可建立資料準備、接收機制,擴大GAI的多元應用。

輝達 GH200超級晶片 於MLPerf產業基準測試領先群雄

國際

輝達 GH200超級晶片 於MLPerf產業基準測試領先群雄

輝達GH200為連結Hopper GPU 和Grace CPU之超級晶片。該組合提供更多記憶體、頻寬,以及能在CPU和GPU之間自動調節電力,以最佳化表現。總體來說,這次測試結果為NVIDIA自2018年MLPerf基準推出以來,在每輪人工智慧訓練和推論方面效能領先的記錄。 Grace Hopper 超級晶片和 H100 GPU 在所有 MLPerf 的資料中心測試中,包括電腦視覺推論、語音識別和醫學成像,以及要求更高的推薦系統應用案例和生成式人工智慧中使用的大型語言模型(LLMs),都達到最佳的表現。 值得一提的是,在最新的MLPerf基準測試中,NVIDIA L4 GPU在各種工作負載上表現也同樣出色。例如,L4 GPU運行於功耗為72W的轉接卡上,與功耗高出近 5 倍的 CPU 相較之下,L4 GPU提供高出 6 倍效能。 除此之外,L4 GPU內建專屬的媒體引擎,在NVIDIA的測試中與CUDA軟體合用能加速電腦視覺應用達120倍,拿來做小規模的推論、訓練也已綽綽有餘。

返回頁首
LOADING

本網頁已閒置超過3分鐘。請點撃框外背景,或右側關閉按鈕(X),即可回到網頁。