1、caffeNet與AlexNet結(jié)構(gòu)區(qū)別:norm1，pool1，以及norm2，pool2互換了順序

1. 基本結(jié)構(gòu)a. 共有8層，其中前5層convolutional，后邊3層full-connected ，最后的一個(gè)full-connected層的output是具有1000個(gè)輸出的softmax，最后的優(yōu)化目標(biāo)是最大化平均的multinomial logistic regressionb. 在第一層conv1和conv2之后直接跟的是Response-nomalization layer，也就是norm1，norm2層。c. 在每一個(gè)conv層以及full-connected層后緊跟的操作是ReLU操作。d. Max pooling操作是緊跟在第一個(gè)norm1，norm2，以及第5個(gè)conv層，也就是conv5e.Dropout操作是在最后兩個(gè)full-connected層。2. 操作流程a. 在第一個(gè)conv層（conv1）中，AlexNet采用了96個(gè)11*11*3的kernel在stride為4的情況下對于224*224*3的圖像進(jìn)行了濾波。直白點(diǎn)就是采用了11*11的卷積模板在三個(gè)通道上，間隔為4個(gè)像素的采樣頻率上對于圖像進(jìn)行了卷積操作。4個(gè)像素是receptive field中心在kernel map上的距離，這是個(gè)經(jīng)驗(yàn)數(shù)據(jù)。最初的輸入神經(jīng)元的個(gè)數(shù)為224*224*3 = 150528個(gè)。對于每一個(gè)map來說，間隔為4，因此224/4 = 56，然后減去邊緣的一個(gè)為55個(gè)，也就是本層的map大小為55*55，然后神經(jīng)元數(shù)目為55*55*96 = 290400（原文中是253440，這個(gè)不太理解，有知道的請告知）得到基本的conv數(shù)據(jù)后，則進(jìn)行一次ReLU（relu1）以及Norm（norm1）的變換后，然后進(jìn)行pooling（pool1），作為輸出傳遞到下一層。本層map數(shù)目為96.b.第二個(gè)conv層(conv2)是第一個(gè)conv層(conv1)經(jīng)過norm(norm1)以及pool(pool1)后，然后再apply 256個(gè)5*5的卷積模板卷積后的結(jié)果。pool1后，map的size減半int（55/2）= 27，得到的本層的神經(jīng)元數(shù)目為27*27*256 = 186642個(gè)。本層map數(shù)目為256個(gè)。c. 第三個(gè)conv層(conv3)的生成過程和第二層類似，不同的是這一層是apply 384個(gè)3*3的卷積模板得到的。pool2后，map的size減半int(27/2) = 13，得到本層神經(jīng)元數(shù)目為13*13*384 = 64896。本層map數(shù)目為384個(gè)。d. 第四個(gè)conv層(conv4)是第三個(gè)conv層(conv3)進(jìn)行一次ReLU(relu3)后，然后直接apply 384個(gè)3*3的卷積模板得到的。本層神經(jīng)元的數(shù)目為13*13*384 = 64896。本層map數(shù)目為384個(gè)，size還是13*13.e. 第五個(gè)conv層(conv5)與第四個(gè)生成類似，只是對上層進(jìn)行了一個(gè)ReLU(relu4)后生成的，不同之處在于此處apply的卷積模板為256個(gè)3*3的。本層神經(jīng)元的數(shù)目為13*13*256 = 43264。本層map數(shù)目為256個(gè)，size還是13*13。f. 第一個(gè)full-connected層(fc6)是上一個(gè)conv層(conv5)進(jìn)行pooling(pool5)后的全連接。pool5后，map的size減半int(13/2) = 6，上層基本連接為6*6*256，然后全連接后到4096個(gè)節(jié)點(diǎn)，本層最終節(jié)點(diǎn)為4096個(gè)。g.第二個(gè)full-connected層(fc7)是上一個(gè)full-connected(fc6)進(jìn)行ReLU(relu6)后，然后進(jìn)行dropout(drop6)后再進(jìn)行全連接的結(jié)果本層節(jié)點(diǎn)數(shù)目為4096個(gè)。h.最后一個(gè)full-connetcted層(fc8)則是上一個(gè)full-connected層(fc7)再次進(jìn)行ReLU(relu7)以及dropout(drop7)后再進(jìn)行全連接的結(jié)果。最后輸出為融合label的softmax loss。本層節(jié)點(diǎn)數(shù)目為1000個(gè)，對應(yīng)著1000類對象。在下面將對于AlexNet的原理進(jìn)行以及算法的執(zhí)行細(xì)節(jié)進(jìn)行分析。