產業動態

亞馬遜AWS推出Amazon SageMaker JumpStart平台上的Meta Llama 3語言模型

2024/04/21

新聞視界時報記者李翌淳整理報導

亞馬遜AWS宣布了一項重要消息：Amazon SageMaker JumpStart現已提供Meta Llama 3大型語言模型（LLM），使客戶能夠輕鬆進行部署和推論。

透過Amazon SageMaker JumpStart，客戶可以輕鬆地部署和運行Llama 3模型，無論是8B還是70B參數模型，且兩款模型的上下文長度均達到8k，可廣泛支援推論、程式碼生成和指令跟隨等應用。

AWS的客戶現在可以在美東（北維吉尼亞州）、美東（俄亥俄州）、美西（奧勒岡州）、歐洲（愛爾蘭）和亞太（東京）等區域輕鬆部署Llama 3模型。

他們可以透過點擊或使用SageMaker Python SDK進行部署，並利用SageMaker Pipelines、SageMaker Debugger或容器日誌等功能來提升模型的效能，並實施MLOps控制。

合作夥伴

旅人空間設計

專業室內裝修設計

此外，透過這種方式部署的模型始終處於AWS的安全環境下，由客戶的VPC（Virtual Private Cloud）控制，以確保資料的安全性。

亞馬遜AWS透露，Llama 3採用了僅含解碼器的Transformer架構，並搭配高達128k規模的新型分詞器，從而極大提升了模型的效能。

此外，Meta改進的訓練後處理常式大幅降低了誤拒率，進而提高了模型回應的一致性和多樣性。

值得一提的是，Llama 3的性能甚至在某些測試集項目中超越了Llama 2，即使是在Llama 3的8B參數模型也能勝過Llama 2的70B參數模型。

這項新發展將為客戶提供更多靈活性和效能，並進一步加強AWS在人工智慧領域的領先地位。

你可能也想看

為響應2050淨零轉型並協助住商部門降低用電成本。屏東縣政府於7月14日舉辦「屏東縣住商服務業ESCO推廣說明會」。邀請金屬工業研究發展中心、相關領域專家學者及節能成功案例分享實務經驗。

日本山口縣「日台友好促進山口縣議會議員連盟」會長島田教明今（13）日率團拜會屏東縣政府。屏東縣雖近期正全力投入豪雨及風災復原工作，屏東縣長周春米仍特別調整行程接見。

桃園市長張善政日前前往中壢區，出席「桃園市智慧產業學院成果發表暨財團法人成立記者會」。與產官學研各界代表共同見證桃園推動智慧產業轉型的重要成果。現場氣氛熱絡而溫馨，不僅展現桃園在AI、智慧製造與產業升級上的推動能量，也象徵區域產業合作邁向全新階段。

昨日台灣日東電工股份有限公司於前鎮科技產業園區舉行新廠竣工啟用典禮，現場貴賓雲集，氣氛隆重而溫馨。高雄市長陳其邁、副市長羅達生、臺灣日本關係協會會長謝長廷、經濟部產業園區管理局副局長劉繼傳。