網(wǎng)站制作流程論文,中興建設(shè)云南有限公司網(wǎng)站,溫州網(wǎng)站建設(shè)方案案例設(shè)計(jì),群暉wordpress外網(wǎng)無(wú)法仿問(wèn)1. Fasttext1.1 模型架構(gòu)Fasttext模型架構(gòu)和Word2vec的CBOW模型架構(gòu)非常相似#xff0c;下面就是FastText模型的架構(gòu)圖#xff1a;從上圖可以看出來(lái)#xff0c;Fasttext模型包括輸入層、隱含層、輸出層共三層。其中輸入的是詞向量#xff0c;輸出的是label#xff0c;隱含…1. Fasttext1.1 模型架構(gòu)Fasttext模型架構(gòu)和Word2vec的CBOW模型架構(gòu)非常相似下面就是FastText模型的架構(gòu)圖從上圖可以看出來(lái)Fasttext模型包括輸入層、隱含層、輸出層共三層。其中輸入的是詞向量輸出的是label隱含層是對(duì)多個(gè)詞向量的疊加平均CBOW的輸入是目標(biāo)單詞的上下文Fasttext的輸入是多個(gè)單詞及其n-gram特征這些單詞用來(lái)表示單個(gè)文檔CBOW的輸入單詞使用one-hot編碼Fasttext的輸入特征時(shí)使用embedding編碼CBOW的輸出是目標(biāo)詞匯Fasttext的輸出是文檔對(duì)應(yīng)的類別1.2 模型實(shí)現(xiàn)class Model(nn.Module): def __init__(self, config): super(Model, self).__init__() self.embedding nn.Embedding(config.n_vocab, config.embed, padding_idxconfig.n_vocab - 1) self.embedding_ngram2 nn.Embedding(config.n_gram_vocab, config.embed) self.embedding_ngram3 nn.Embedding(config.n_gram_vocab, config.embed) self.dropout nn.Dropout(config.dropout) self.fc1 nn.Linear(config.embed * 3, config.hidden_size) # self.dropout2 nn.Dropout(config.dropout) self.fc2 nn.Linear(config.hidden_size, config.num_classes) def forward(self, x): out_word self.embedding(x[0]) out_bigram self.embedding_ngram2(x[2]) out_trigram self.embedding_ngram3(x[3]) out torch.cat((out_word, out_bigram, out_trigram), -1) out out.mean(dim1) out self.dropout(out) out self.fc1(out) out F.relu(out) out self.fc2(out) return out2. TextCNN2.1 模型架構(gòu)與傳統(tǒng)圖像的CNN網(wǎng)絡(luò)相比,TextCNN在網(wǎng)絡(luò)結(jié)構(gòu)上沒(méi)有任何變化, 從下圖可以看出TextCNN其實(shí)只有一層convolution一層max-pooling, 最后將輸出外接softmax來(lái)n分類2.2 模型實(shí)現(xiàn)class Model(nn.Module): def __init__(self, config): super(Model, self).__init__() self.embedding nn.Embedding(config.n_vocab, config.embed, padding_idxconfig.n_vocab - 1) self.convs nn.ModuleList([nn.Conv2d(1, config.num_filters, (k, config.embed)) for k in config.filter_sizes]) self.dropout nn.Dropout(config.dropout) self.fc nn.Linear(config.num_filters * len(config.filter_sizes), config.num_classes) def conv_and_pool(self, x, conv): x F.relu(conv(x)).squeeze(3) x F.max_pool1d(x, x.size(2)).squeeze(2) return x def forward(self, x): out self.embedding(x[0]) out out.unsqueeze(1) out torch.cat([self.conv_and_pool(out, conv) for conv in self.convs], 1) out self.dropout(out) out self.fc(out) return3. TextRNN3.1 模型架構(gòu)一般取前向/反向LSTM在最后一個(gè)時(shí)間步長(zhǎng)上隱藏狀態(tài)然后進(jìn)行拼接在經(jīng)過(guò)一個(gè)softmax層進(jìn)行一個(gè)多分類或者取前向/反向LSTM在每一個(gè)時(shí)間步長(zhǎng)上的隱藏狀態(tài)對(duì)每一個(gè)時(shí)間步長(zhǎng)上的兩個(gè)隱藏狀態(tài)進(jìn)行拼接concat然后對(duì)所有時(shí)間步長(zhǎng)上拼接后的隱藏狀態(tài)取均值再經(jīng)過(guò)一個(gè)softmax層進(jìn)行一個(gè)多分類3.2 模型實(shí)現(xiàn)class Model(nn.Module): def __init__(self, config): super(Model, self).__init__() self.embedding nn.Embedding(config.n_vocab, config.embed, padding_idxconfig.n_vocab - 1) self.lstm nn.LSTM(config.embed, config.hidden_size, config.num_layers, bidirectionalTrue, batch_firstTrue, dropoutconfig.dropout) self.fc nn.Linear(config.hidden_size * 2, config.num_classes) def forward(self, x): x, _ x out self.embedding(x) # [batch_size, seq_len, embeding][128, 32, 300] out, _ self.lstm(out) out self.fc(out[:, -1, :]) # 句子最后時(shí)刻的 hidden state return out4. TextRCNN4.1 模型架構(gòu)與TextCNN比較類似都是把文本表示為一個(gè)嵌入矩陣再進(jìn)行卷積操作。不同的是TextCNN中的文本嵌入矩陣每一行只是文本中一個(gè)詞的向量表示而在RCNN中文本嵌入矩陣的每一行是當(dāng)前詞的詞向量以及上下文嵌入表示的拼接4.2 模型實(shí)現(xiàn)class Model(nn.Module): def __init__(self, config): super(Model, self).__init__() self.embedding nn.Embedding(config.n_vocab, config.embed, padding_idxconfig.n_vocab - 1) self.lstm nn.LSTM(config.embed, config.hidden_size, config.num_layers, bidirectionalTrue, batch_firstTrue, dropoutconfig.dropout) self.maxpool nn.MaxPool1d(config.pad_size) self.fc nn.Linear(config.hidden_size * 2 config.embed, config.num_classes) def forward(self, x): x, _ x embed self.embedding(x) # [batch_size, seq_len, embeding][64, 32, 64] out, _ self.lstm(embed) out torch.cat((embed, out), 2) out F.relu(out) out out.permute(0, 2, 1) out self.maxpool(out).squeeze() out self.fc(out) return5. BiLSTM_Attention5.1 模型架構(gòu)相對(duì)于以前的文本分類中的BiLSTM模型BiLSTMAttention模型的主要區(qū)別是在BiLSTM層之后全連接softmax分類層之前接入了一個(gè)叫做Attention Layer的結(jié)構(gòu)5.2 模型實(shí)現(xiàn)class Model(nn.Module): def __init__(self, config): super(Model, self).__init__() self.embedding nn.Embedding(config.n_vocab, config.embed, padding_idxconfig.n_vocab - 1) self.lstm nn.LSTM(config.embed, config.hidden_size, config.num_layers, bidirectionalTrue, batch_firstTrue, dropoutconfig.dropout) self.tanh1 nn.Tanh() self.w nn.Parameter(torch.zeros(config.hidden_size * 2)) self.tanh2 nn.Tanh() self.fc1 nn.Linear(config.hidden_size * 2, config.hidden_size2) self.fc nn.Linear(config.hidden_size2, config.num_classes) def forward(self, x): x, _ x emb self.embedding(x) # [batch_size, seq_len, embeding][128, 32, 300] H, _ self.lstm(emb) # [batch_size, seq_len, hidden_size * num_direction][128, 32, 256] M self.tanh1(H) # [128, 32, 256] alpha F.softmax(torch.matmul(M, self.w), dim1).unsqueeze(-1) # [128, 32, 1] out H * alpha # [128, 32, 256] out torch.sum(out, 1) # [128, 256] out F.relu(out) out self.fc1(out) out self.fc(out) # [128, 64] return out6. DPCNN6.1 模型架構(gòu)第一層采用text region embedding其實(shí)就是對(duì)一個(gè)n-gram文本塊進(jìn)行卷積得到的feature maps作為該文本塊的embedding。然后是convolution blocks的堆疊就是兩個(gè)卷積層與shortcut的組合。convolution blocks中間采用max-pooling設(shè)置步長(zhǎng)為2以進(jìn)行負(fù)采樣。最后一個(gè)pooling層將每個(gè)文檔的數(shù)據(jù)整合成一個(gè)向量6.2 模型實(shí)現(xiàn)class Model(nn.Module): def __init__(self, config): super(Model, self).__init__() self.embedding nn.Embedding(config.n_vocab, config.embed, padding_idxconfig.n_vocab - 1) self.conv_region nn.Conv2d(1, config.num_filters, (3, config.embed), stride1) self.conv nn.Conv2d(config.num_filters, config.num_filters, (3, 1), stride1) self.max_pool nn.MaxPool2d(kernel_size(3, 1), stride2) self.padding1 nn.ZeroPad2d((0, 0, 1, 1)) # top bottom self.padding2 nn.ZeroPad2d((0, 0, 0, 1)) # bottom self.relu nn.ReLU() self.fc nn.Linear(config.num_filters, config.num_classes) def forward(self, x): x x[0] x self.embedding(x) x x.unsqueeze(1) # [batch_size, 250, seq_len, 1] x self.conv_region(x) # [batch_size, 250, seq_len-31, 1] x self.padding1(x) # [batch_size, 250, seq_len, 1] x self.relu(x) x self.conv(x) # [batch_size, 250, seq_len-31, 1] x self.padding1(x) # [batch_size, 250, seq_len, 1] x self.relu(x) x self.conv(x) # [batch_size, 250, seq_len-31, 1] while x.size()[2] 2: x self._block(x) x x.squeeze() # [batch_size, num_filters(250)] x self.fc(x) return x def _block(self, x): x self.padding2(x) px self.max_pool(x) x self.padding1(px) x F.relu(x) x self.conv(x) x self.padding1(x) x F.relu(x) x self.conv(x) x x px return xNLP新人歡迎大家一起交流互相學(xué)習(xí)共同成長(zhǎng)~~AI大模型學(xué)習(xí)福利作為一名熱心腸的互聯(lián)網(wǎng)老兵我決定把寶貴的AI知識(shí)分享給大家。 至于能學(xué)習(xí)到多少就看你的學(xué)習(xí)毅力和能力了 。我已將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書籍手冊(cè)、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來(lái)。一、全套AGI大模型學(xué)習(xí)路線AI大模型時(shí)代的學(xué)習(xí)之旅從基礎(chǔ)到前沿掌握人工智能的核心技能因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲取二、640套AI大模型報(bào)告合集這套包含640份報(bào)告的合集涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無(wú)論您是科研人員、工程師還是對(duì)AI大模型感興趣的愛好者這套報(bào)告合集都將為您提供寶貴的信息和啟示。因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲三、AI大模型經(jīng)典PDF籍隨著人工智能技術(shù)的飛速發(fā)展AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型如GPT-3、BERT、XLNet等以其強(qiáng)大的語(yǔ)言理解和生成能力正在改變我們對(duì)人工智能的認(rèn)識(shí)。 那以下這些PDF籍就是非常不錯(cuò)的學(xué)習(xí)資源。因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲四、AI大模型商業(yè)化落地方案因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲作為普通人入局大模型時(shí)代需要持續(xù)學(xué)習(xí)和實(shí)踐不斷提高自己的技能和認(rèn)知水平同時(shí)也需要有責(zé)任感和倫理意識(shí)為人工智能的健康發(fā)展貢獻(xiàn)力量