国产高清吹潮免费视频,老熟女@tubeumtv,粉嫩av一区二区三区免费观看,亚洲国产成人精品青青草原

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資頭條 » 科普 » 正文

ChatGPT訓練及多場景推理成本測算

放大字體  縮小字體 發(fā)布日期:2023-03-16 11:14:58    作者:馮琪詩    瀏覽次數:55
導讀

金選·核心觀點行業(yè)觀點2023年3月1日,OpenAI宣布開發(fā)者可通過API將ChatGPT和Wisper模型集成到他們的應用程序和產品中。本次ChatGPT API接入的模型名為GPT-3.5-turbo,只需0.2美分/千 Tokens。本文嘗試測算訓練和不

金選·核心觀點

行業(yè)觀點


2023年3月1日,OpenAI宣布開發(fā)者可通過API將ChatGPT和Wisper模型集成到他們的應用程序和產品中。本次ChatGPT API接入的模型名為GPT-3.5-turbo,只需0.2美分/千 Tokens。本文嘗試測算訓練和不同推理場景之下的實際成本;未來隨著模型壓縮的持續(xù)發(fā)展,推理成本可能進一步降低,也有望大幅推動生成式模型在各個場景的大規(guī)模商用。我們的成本估算思路是:計算AI模型在進行訓練與推理時所需的浮點運算次數,與AI算力集群的平均算力 (以每秒浮點運算次數計) 做比,以此估算AI模型的訓練成本與推理成本。


在通用大模型訓練方面,經測算,使用云計算時ChatGPT的訓練成本約為170萬美元,若自建AI算力中心進行模型訓練,訓練成本有望降至約51萬美元;在大模型推理方面,使用云計算時的ChatGPT每處理1,000Tokens信息需花費約0.177美分,自建AI算力中心有望將成本降至0.053美分。


不同應用場景中AI模型面臨的任務復雜度有所不同,我們考慮模型緩存命中率、計算集群閑置率、模型壓縮等因素,綜合估算各典型場景下模型的推理成本:1)搜索引擎場景中,以新版Bing為例,完成一次搜索的成本約為1.73美分;2)辦公軟件融合ChatGPT后可支持文字生成、文字修改等功能,完成一次用戶需求的成本約為1.70美分;3)AI客服作為對話場景應用,有望率先實現(xiàn)B端落地。經測算,AI客服場景解決一次用戶需求的成本約為0.08美分。


未來隨著模型壓縮技術的持續(xù)發(fā)展,推理成本可能進一步降低,也有望大幅推動生成式模型在各個場景的大規(guī)模商用。


投資邏輯


我們認為有海外場景的公司有可能率先與GPT-3.5-turbo進行對接,建議關注福昕軟件、萬興科技等海外營收占比較高的應用公司。


風險提示
海外基礎軟硬件使用受限;應用落地不及預期;行業(yè)競爭加劇風險。

 
(文/馮琪詩)
打賞
免責聲明
本文為馮琪詩推薦作品?作者: 馮琪詩。歡迎轉載,轉載請注明原文出處:http://biorelated.com/news/show-328556.html 。本文僅代表作者個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發(fā)現(xiàn),立即刪除,作者需自行承擔相應責任。涉及到版權或其他問題,請及時聯(lián)系我們郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2023 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯(lián)系
客服

聯(lián)系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋