??????

??????????????????? ?????????????????????? ???????????????????







?????????????????????
???????(??)????????????. ???????(7)??? x = xold - xmin xmax - xmin. (7). ???x????????????????xold ...
Untitled - googleapis.com
?????????????????????????????????????????????. ????????????????????????????????? ...
???????Transformer??????????? - ????
?4??????batch normalization?. ????[70] ???????????????????????????. ????????????????? ...
??????????????????? - Yiqi Yan
? [norm_setting]: ?????????????????????????: bn(????), gn (??. ??), syncbn (??????)? ? [misc]: ??? ...
d2l-zh-pytorch.pdf - ???????
???td ?????????????tthr ????? ... ?-?????-??. ?-?????????????? ... ???????????????????128?
?????????????????????????
... ?????SiLU. ??????)??????????(TDConv),??. ?????????????,????????. ????????;??????? ...
??TDConv ???????????????? - ???????
????????????????????????????. ?????????. ???? PQ ????????????????????????. ????. ?????? ...
???????????????? - Zhigang Shuai Group
?????????. ?????????, ????????????. ????????, ????????????,. ??????????(Batch normalization)[31?32],.
?????????????? - ?????
????????? ?????????????. ????????????,?????????. ?????? ????????????????. ????,????? ...
??????????????????? - ???????
Sengupta ??(2019)?????spike-norm ?. ?ANN2SNN ????????, ?Diehl ??. (2015)????????,?????????? spike ??????? ??? ...
?????????????????????
????????(Non-Intrusive Load Monitoring)??????????????????????. ???????????????????
????????
?4??????batch normalization?????[70] ???????????. ?????????????????????????????????.