Bu yapıda sinir ağı nasıl oluşturulur ↑ farklı düğümlerle, bir sonraki katmandaki farklı sayıda düğüme bağlanır

Question 1

Sadece Pytorch'ta lstm'nin rnn'si gibi yerleşik ağı nasıl kullanacağımı biliyorum. Ancak, bir sonraki katmandaki tüm düğümlere bilgi verecek olan önceki katmandaki her düğümle ilgilenme eğilimindedirler.

Farklı bir şey yapmak istiyorum ama kendim nasıl kodlayacağımı bilmiyorum. Bu şekildeki gibi: a düğümü, katman 2'deki tüm [d, e, f] üç düğümle eşleşirken, b düğümü [e, f] ve c düğümü yalnızca [f] ile eşleşir. Sonuç olarak, d düğümü yalnızca a'dan bilgi içerirken, e [a, b] ' den bilgi içerecektir. Ve f, önceki katmandaki tüm düğümlerden bilgi içerecektir. Bu yapıyı nasıl kodlayacağını bilen var mı? LÜTFEN bana biraz fikir verin, çok minnettar olacağım: D

Yapı

Question 2

Tam Bağlı katmana benzeyen ancak özel bağlantıya sahip bir katmanınız olduğunda, uygun yapıya sahip bir maske kullanın.

Diyelim ki x = [a, b, c] 3-loş girişiniz ve W bağlantı matrisini gösterir.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

sonra W[i][j] arasındaki bağlantı ağırlığına işaret eder jth girişi ve içıkış nöronu. Oyuncak örneğinize benzer bir yapı oluşturmak için şöyle bir maske yaparız

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Sonra sadece maskeleyebilirsiniz W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Not: @ matris çarpımı ve * noktasal çarpımdır.

ayandas · Answer 1 · 2021-11-21T18:17:35

Tam Bağlı katmana benzeyen ancak özel bağlantıya sahip bir katmanınız olduğunda, uygun yapıya sahip bir maske kullanın.

Diyelim ki x = [a, b, c] 3-loş girişiniz ve W bağlantı matrisini gösterir.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

sonra W[i][j] arasındaki bağlantı ağırlığına işaret eder jth girişi ve içıkış nöronu. Oyuncak örneğinize benzer bir yapı oluşturmak için şöyle bir maske yaparız

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Sonra sadece maskeleyebilirsiniz W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Not: @ matris çarpımı ve * noktasal çarpımdır.

Yani giriş karartmam 3 ise, çıkış karartması 3'tür. Sinir ağı yapımım {giriş 3 dim, LSTM_layer(3, 64), Tamamen bağlı_layer(64, 3), * alt üçgen maske matrisi(3, 3), çıkış dim 3} gibi olacaktır. Bu, son üç düğümün farklı bilgiler almasını sağlamak için özel bağlantım olarak işe yarayacak mı? Yoksa maske matrisini giriş katmanı(3,1) ve LSTM katmanı(3,64)arasına koymalı mıyım
Girişiniz sıralı mı (aralarında LSTM var) ? Şekliniz yalnızca Tam bağlı katmanları gösterir. Sağladığım çözüm sadece FC katmanını maskelemek içindir.
Üzgünüm yapılan şekil basit. Girdimim zaman serisi değerleridir (values, hour_ındex, week_ındex) ve girdi(3 dım) ile çıktı(3 dım) arasında bazı bilgileri ayıklamak için bir LSTM katmanı kullanmak istiyorum. Yani LSTM katmanından sonra bir maske kullanırsam, çıktı üç düğüm şöyle olur: d düğümü yalnızca hafta bilgisi içerir, e düğümü hafta ve saat içerir, f düğümü değerler, saat, hafta bilgisi içerir mi?

Bu yapıda sinir ağı nasıl oluşturulur ↑ farklı düğümlerle, bir sonraki katmandaki farklı sayıda düğüme bağlanır

Soru

En iyi cevabı

Diğer dillerde

Bu sayfa diğer dillerde

Bu kategoride popüler

Popüler soruları bu kategoride