¡¡¡¡ÑÛÏÂ×îÈÈÃŵļ¼Êõ£¬¾ø¶ÔÊÇÈ˹¤ÖÇÄÜ¡£
¡¡¡¡È˹¤ÖÇÄܵĵײãÄ£ÐÍÊÇ"Éñ¾ÍøÂç"£¨neural network£©¡£Ðí¶à¸´ÔÓµÄÓ¦Ó㨱ÈÈçģʽʶ±ð¡¢×Ô¶¯¿ØÖÆ£©ºÍ¸ß¼¶Ä£ÐÍ£¨±ÈÈçÉî¶Èѧϰ£©¶¼»ùÓÚËü¡£Ñ§Ï°È˹¤ÖÇÄÜ£¬Ò»¶¨ÊÇ´ÓËü¿ªÊ¼¡£
¡¡¡¡Ê²Ã´ÊÇÉñ¾ÍøÂçÄØ£¿ÍøÉÏËÆºõȱ·¦Í¨Ë׵ĽâÊÍ¡£
¡¡¡¡Ç°Á½Ì죬ÎÒ¶Áµ½ Michael Nielsen µÄ¿ªÔ´½Ì²Ä¡¶Éñ¾ÍøÂçÓëÉî¶Èѧϰ¡·£¨Neural Networks and Deep Learning£©£¬ÒâÍâ·¢ÏÖÀïÃæµÄ½âÊͷdz£ºÃ¶®¡£ÏÂÃæ£¬ÎҾͰ´ÕÕÕâ±¾Ê飬½éÉÜʲôÊÇÉñ¾ÍøÂç¡£
¡¡¡¡ÕâÀïÎÒÒª¸ÐлÓÅ´ïѧ³ÇµÄÔÞÖú£¬±¾ÎĽáβÓÐËûÃǵġ¶Ç°¶Ë¿ª·¢£¨½ø½×£©¡·¿Î³ÌµÄÏûÏ¢£¬»¶Ó¹Ø×¢¡£
¡¡¡¡Ò»¡¢¸ÐÖªÆ÷
¡¡¡¡ÀúÊ·ÉÏ£¬¿ÆÑ§¼ÒһֱϣÍûÄ£ÄâÈ˵ĴóÄÔ£¬Ôì³ö¿ÉÒÔ˼¿¼µÄ»úÆ÷¡£ÈËΪʲôÄܹ»Ë¼¿¼£¿¿ÆÑ§¼Ò·¢ÏÖ£¬ÔÒòÔÚÓÚÈËÌåµÄÉñ¾ÍøÂç¡£
¡¡¡¡Íⲿ´Ì¼¤Í¨¹ýÉñ¾Ä©ÉÒ£¬×ª»¯ÎªµçÐźţ¬×ªµ¼µ½Éñ¾Ï¸°û£¨ÓÖ½ÐÉñ¾Ôª£©¡£
¡¡¡¡ÎÞÊýÉñ¾Ôª¹¹³ÉÉñ¾ÖÐÊà¡£
¡¡¡¡Éñ¾ÖÐÊà×ۺϸ÷ÖÖÐźţ¬×ö³öÅжϡ£
¡¡¡¡ÈËÌå¸ù¾ÝÉñ¾ÖÐÊàµÄÖ¸Á¶ÔÍⲿ´Ì¼¤×ö³ö·´Ó¦¡£
¡¡¡¡¼ÈȻ˼¿¼µÄ»ù´¡ÊÇÉñ¾Ôª£¬Èç¹ûÄܹ»"ÈËÔìÉñ¾Ôª"£¨artificial neuron£©£¬¾ÍÄÜ×é³ÉÈ˹¤Éñ¾ÍøÂ磬ģÄâ˼¿¼¡£ÉϸöÊÀ¼ÍÁùÊ®Äê´ú£¬Ìá³öÁË×îÔçµÄ"ÈËÔìÉñ¾Ôª"Ä£ÐÍ£¬½Ð×ö"¸ÐÖªÆ÷"£¨perceptron£©£¬Ö±µ½½ñÌ컹ÔÚÓá£
¡¡¡¡ÉÏͼµÄԲȦ¾Í´ú±íÒ»¸ö¸ÐÖªÆ÷¡£Ëü½ÓÊܶà¸öÊäÈ루x1£¬x2£¬x3...£©£¬²úÉúÒ»¸öÊä³ö£¨output£©£¬ºÃ±ÈÉñ¾Ä©ÉÒ¸ÐÊܸ÷ÖÖÍⲿ»·¾³µÄ±ä»¯£¬×îºó²úÉúµçÐźš£
¡¡¡¡ÎªÁ˼ò»¯Ä£ÐÍ£¬ÎÒÃÇÔ¼¶¨Ã¿ÖÖÊäÈëÖ»ÓÐÁ½ÖÖ¿ÉÄÜ£º1 »ò 0¡£Èç¹ûËùÓÐÊäÈë¶¼ÊÇ1£¬±íʾ¸÷ÖÖÌõ¼þ¶¼³ÉÁ¢£¬Êä³ö¾ÍÊÇ1£»Èç¹ûËùÓÐÊäÈë¶¼ÊÇ0£¬±íʾÌõ¼þ¶¼²»³ÉÁ¢£¬Êä³ö¾ÍÊÇ0¡£
¡¡¡¡¶þ¡¢¸ÐÖªÆ÷µÄÀý×Ó
¡¡¡¡ÏÂÃæÀ´¿´Ò»¸öÀý×Ó¡£³ÇÀïÕýÔÚ¾Ù°ìÒ»ÄêÒ»¶ÈµÄÓÎÏ·¶¯ÂþÕ¹ÀÀ£¬Ð¡Ã÷Äò»¶¨Ö÷Ò⣬ÖÜĩҪ²»ÒªÈ¥²Î¹Û¡£
¡¡¡¡Ëû¾ö¶¨¿¼ÂÇÈý¸öÒòËØ¡£
¡¡¡¡ÌìÆø£ºÖÜÄ©ÊÇ·ñÇçÌ죿
¡¡¡¡Í¬°é£ºÄÜ·ñÕÒµ½ÈËÒ»ÆðÈ¥£¿
¡¡¡¡¼Û¸ñ£ºÃÅÆ±ÊÇ·ñ¿É³ÐÊÜ£¿
¡¡¡¡Õâ¾Í¹¹³ÉÒ»¸ö¸ÐÖªÆ÷¡£ÉÏÃæÈý¸öÒòËØ¾ÍÊÇÍⲿÊäÈ룬×îºóµÄ¾ö¶¨¾ÍÊǸÐÖªÆ÷µÄÊä³ö¡£Èç¹ûÈý¸öÒòËØ¶¼ÊÇ Yes£¨Ê¹ÓÃ1±íʾ£©£¬Êä³ö¾ÍÊÇ1£¨È¥²Î¹Û£©£»Èç¹û¶¼ÊÇ No£¨Ê¹ÓÃ0±íʾ£©£¬Êä³ö¾ÍÊÇ0£¨²»È¥²Î¹Û£©¡£
¡¡¡¡Èý¡¢È¨ÖغÍãÐÖµ
¡¡¡¡¿´µ½ÕâÀÄã¿Ï¶¨»áÎÊ£ºÈç¹ûijЩÒòËØ³ÉÁ¢£¬ÁíһЩÒòËØ²»³ÉÁ¢£¬Êä³öÊÇʲô£¿±ÈÈ磬ÖÜÄ©ÊǺÃÌìÆø£¬ÃÅÆ±Ò²²»¹ó£¬µ«ÊÇСÃ÷ÕÒ²»µ½Í¬°é£¬Ëû»¹Òª²»ÒªÈ¥²Î¹ÛÄØ£¿
¡¡¡¡ÏÖʵÖУ¬¸÷ÖÖÒòËØºÜÉÙ¾ßÓÐͬµÈÖØÒªÐÔ£ºÄ³Ð©ÒòËØÊǾö¶¨ÐÔÒòËØ£¬ÁíһЩÒòËØÊÇ´ÎÒªÒòËØ¡£Òò´Ë£¬¿ÉÒÔ¸øÕâЩÒòËØÖ¸¶¨È¨ÖØ£¨weight£©£¬´ú±íËüÃDz»Í¬µÄÖØÒªÐÔ¡£
¡¡¡¡ÌìÆø£ºÈ¨ÖØÎª8
¡¡¡¡Í¬°é£ºÈ¨ÖØÎª4
¡¡¡¡¼Û¸ñ£ºÈ¨ÖØÎª4
¡¡¡¡ÉÏÃæµÄÈ¨ÖØ±íʾ£¬ÌìÆøÊǾö¶¨ÐÔÒòËØ£¬Í¬°éºÍ¼Û¸ñ¶¼ÊÇ´ÎÒªÒòËØ¡£
¡¡¡¡Èç¹ûÈý¸öÒòËØ¶¼Îª1£¬ËüÃdzËÒÔÈ¨ÖØµÄ×ܺ;ÍÊÇ 8 + 4 + 4 = 16¡£Èç¹ûÌìÆøºÍ¼Û¸ñÒòËØÎª1£¬Í¬°éÒòËØÎª0£¬×ܺ;ͱäΪ 8 + 0 + 4 = 12¡£
¡¡¡¡Õâʱ£¬»¹ÐèÒªÖ¸¶¨Ò»¸öãÐÖµ£¨threshold£©¡£Èç¹û×ܺʹóÓÚãÐÖµ£¬¸ÐÖªÆ÷Êä³ö1£¬·ñÔòÊä³ö0¡£¼Ù¶¨ãÐֵΪ8£¬ÄÇô 12 > 8£¬Ð¡Ã÷¾ö¶¨È¥²Î¹Û¡£ãÐÖµµÄ¸ßµÍ´ú±íÁËÒâÔ¸µÄÇ¿ÁÒ£¬ãÐÖµÔ½µÍ¾Í±íʾԽÏëÈ¥£¬Ô½¸ß¾ÍÔ½²»ÏëÈ¥¡£
¡¡¡¡ÉÏÃæµÄ¾ö²ß¹ý³Ì£¬Ê¹ÓÃÊýѧ±í´ïÈçÏ¡£
¡¡¡¡ÉÏÃæ¹«Ê½ÖУ¬x±íʾ¸÷ÖÖÍⲿÒòËØ£¬w±íʾ¶ÔÓ¦µÄÈ¨ÖØ¡£
¡¡¡¡ËÄ¡¢¾ö²ßÄ£ÐÍ
¡¡¡¡µ¥¸öµÄ¸ÐÖªÆ÷¹¹³ÉÁËÒ»¸ö¼òµ¥µÄ¾ö²ßÄ£ÐÍ£¬ÒѾ¿ÉÒÔÄÃÀ´ÓÃÁË¡£ÕæÊµÊÀ½çÖУ¬Êµ¼ÊµÄ¾ö²ßÄ£ÐÍÔòÒª¸´Ôӵö࣬ÊÇÓɶà¸ö¸ÐÖªÆ÷×é³ÉµÄ¶à²ãÍøÂç¡£
¡¡¡¡ÉÏͼÖУ¬µ×²ã¸ÐÖªÆ÷½ÓÊÕÍⲿÊäÈ룬×ö³öÅжÏÒÔºó£¬ÔÙ·¢³öÐźţ¬×÷ΪÉϲã¸ÐÖªÆ÷µÄÊäÈ룬ֱÖÁµÃµ½×îºóµÄ½á¹û¡££¨×¢Ò⣺¸ÐÖªÆ÷µÄÊä³öÒÀȻֻÓÐÒ»¸ö£¬µ«ÊÇ¿ÉÒÔ·¢Ë͸ø¶à¸öÄ¿±ê¡££©
¡¡¡¡ÕâÕÅͼÀÐźŶ¼Êǵ¥ÏòµÄ£¬¼´Ï²ã¸ÐÖªÆ÷µÄÊä³ö×ÜÊÇÉϲã¸ÐÖªÆ÷µÄÊäÈë¡£ÏÖʵÖУ¬ÓпÉÄÜ·¢ÉúÑ»·´«µÝ£¬¼´ A ´«¸ø B£¬B ´«¸ø C£¬C ÓÖ´«¸ø A£¬Õâ³ÆÎª"µÝ¹éÉñ¾ÍøÂç"£¨recurrent neural network£©£¬±¾ÎIJ»Éæ¼°¡£
Î塢ʸÁ¿»¯
¡¡¡¡ÎªÁË·½±ãºóÃæµÄÌÖÂÛ£¬ÐèÒª¶ÔÉÏÃæµÄÄ£ÐͽøÐÐһЩÊýѧ´¦Àí¡£
¡¡¡¡ÍⲿÒòËØ x1¡¢x2¡¢x3 д³ÉʸÁ¿£¬¼òдΪ x
¡¡¡¡È¨ÖØ w1¡¢w2¡¢w3 Ҳд³ÉʸÁ¿ (w1, w2, w3)£¬¼òдΪ w
¡¡¡¡¶¨ÒåÔËËã w⋅x = ∑ wx£¬¼´ w ºÍ x µÄµãÔËË㣬µÈÓÚÒòËØÓëÈ¨ÖØµÄ³Ë»ýÖ®ºÍ
¡¡¡¡¶¨Òå b µÈÓÚ¸ºµÄãÐÖµ b = -threshold
¡¡¡¡¸ÐÖªÆ÷Ä£Ð;ͱä³ÉÁËÏÂÃæÕâÑù¡£
Áù¡¢Éñ¾ÍøÂçµÄÔË×÷¹ý³Ì
¡¡¡¡Ò»¸öÉñ¾ÍøÂçµÄ´î½¨£¬ÐèÒªÂú×ãÈý¸öÌõ¼þ¡£
¡¡¡¡ÊäÈëºÍÊä³ö
¡¡¡¡È¨ÖØ£¨w£©ºÍãÐÖµ£¨b£©
¡¡¡¡¶à²ã¸ÐÖªÆ÷µÄ½á¹¹
¡¡¡¡Ò²¾ÍÊÇ˵£¬ÐèÒªÊÂÏÈ»³öÉÏÃæ³öÏÖµÄÄÇÕÅͼ¡£
¡¡¡¡ÆäÖУ¬×îÀ§ÄѵIJ¿·Ö¾ÍÊÇÈ·¶¨È¨ÖØ£¨w£©ºÍãÐÖµ£¨b£©¡£Ä¿Ç°ÎªÖ¹£¬ÕâÁ½¸öÖµ¶¼ÊÇÖ÷¹Û¸ø³öµÄ£¬µ«ÏÖʵÖкÜÄѹÀ¼ÆËüÃǵÄÖµ£¬±ØÐèÓÐÒ»ÖÖ·½·¨£¬¿ÉÒÔÕÒ³ö´ð°¸¡£
¡¡¡¡ÕâÖÖ·½·¨¾ÍÊÇÊÔ´í·¨¡£ÆäËû²ÎÊý¶¼²»±ä£¬w£¨»òb£©µÄ΢С±ä¶¯£¬¼Ç×÷Δw£¨»òΔb£©£¬È»ºó¹Û²ìÊä³öÓÐʲô±ä»¯¡£²»¶ÏÖØ¸´Õâ¸ö¹ý³Ì£¬Ö±ÖÁµÃµ½¶ÔÓ¦×ȷÊä³öµÄÄÇ×éwºÍb£¬¾ÍÊÇÎÒÃÇÒªµÄÖµ¡£Õâ¸ö¹ý³Ì³ÆÎªÄ£Ð͵ÄѵÁ·¡£
¡¡¡¡Òò´Ë£¬Éñ¾ÍøÂçµÄÔË×÷¹ý³ÌÈçÏ¡£
¡¡¡¡È·¶¨ÊäÈëºÍÊä³ö
¡¡¡¡ÕÒµ½Ò»ÖÖ»ò¶àÖÖËã·¨£¬¿ÉÒÔ´ÓÊäÈëµÃµ½Êä³ö
¡¡¡¡ÕÒµ½Ò»×éÒÑÖª´ð°¸µÄÊý¾Ý¼¯£¬ÓÃÀ´ÑµÁ·Ä£ÐÍ£¬¹ÀËãwºÍb
¡¡¡¡Ò»µ©ÐµÄÊý¾Ý²úÉú£¬ÊäÈëÄ£ÐÍ£¬¾Í¿ÉÒԵõ½½á¹û£¬Í¬Ê±¶ÔwºÍb½øÐÐУÕý
¡¡¡¡¿ÉÒÔ¿´µ½£¬Õû¸ö¹ý³ÌÐèÒªº£Á¿¼ÆËã¡£ËùÒÔ£¬Éñ¾ÍøÂçÖ±µ½×î½üÕ⼸Äê²ÅÓÐʵÓüÛÖµ£¬¶øÇÒÒ»°ãµÄ CPU »¹²»ÐУ¬ÒªÊ¹ÓÃרÃÅΪ»úÆ÷ѧϰ¶¨ÖÆµÄ GPU À´¼ÆËã¡£
Æß¡¢Éñ¾ÍøÂçµÄÀý×Ó
¡¡¡¡ÏÂÃæÍ¨¹ý³µÅÆ×Ô¶¯Ê¶±ðµÄÀý×Ó£¬À´½âÊÍÉñ¾ÍøÂç¡£
¡¡¡¡Ëùν"³µÅÆ×Ô¶¯Ê¶±ð"£¬¾ÍÊǸßËÙ¹«Â·µÄ̽ͷÅÄϳµÅÆÕÕÆ¬£¬¼ÆËã»úʶ±ð³öÕÕÆ¬ÀïµÄÊý×Ö¡£
¡¡¡¡Õâ¸öÀý×ÓÀïÃæ£¬³µÅÆÕÕÆ¬¾ÍÊÇÊäÈ룬³µÅƺÅÂë¾ÍÊÇÊä³ö£¬ÕÕÆ¬µÄÇåÎú¶È¿ÉÒÔÉèÖÃÈ¨ÖØ£¨w£©¡£È»ºó£¬ÕÒµ½Ò»ÖÖ»ò¶àÖÖͼÏñ±È¶ÔËã·¨£¬×÷Ϊ¸ÐÖªÆ÷¡£Ëã·¨µÄµÃµ½½á¹ûÊÇÒ»¸ö¸ÅÂÊ£¬±ÈÈç75%µÄ¸ÅÂÊ¿ÉÒÔÈ·¶¨ÊÇÊý×Ö1¡£Õâ¾ÍÐèÒªÉèÖÃÒ»¸öãÐÖµ£¨b£©£¨±ÈÈç85%µÄ¿ÉÐŶȣ©£¬µÍÓÚÕâ¸öÃż÷½á¹û¾ÍÎÞЧ¡£
¡¡¡¡Ò»×éÒѾʶ±ðºÃµÄ³µÅÆÕÕÆ¬£¬×÷ΪѵÁ·¼¯Êý¾Ý£¬ÊäÈëÄ£ÐÍ¡£²»¶Ïµ÷Õû¸÷ÖÖ²ÎÊý£¬Ö±ÖÁÕÒµ½ÕýÈ·ÂÊ×î¸ßµÄ²ÎÊý×éºÏ¡£ÒÔºóÄõ½ÐÂÕÕÆ¬£¬¾Í¿ÉÒÔÖ±½Ó¸ø³ö½á¹ûÁË¡£
°Ë¡¢Êä³öµÄÁ¬ÐøÐÔ
¡¡¡¡ÉÏÃæµÄÄ£ÐÍÓÐÒ»¸öÎÊÌâûÓнâ¾ö£¬°´ÕÕ¼ÙÉ裬Êä³öÖ»ÓÐÁ½ÖÖ½á¹û£º0ºÍ1¡£µ«ÊÇ£¬Ä£ÐÍÒªÇów»òbµÄ΢С±ä»¯£¬»áÒý·¢Êä³öµÄ±ä»¯¡£Èç¹ûÖ»Êä³ö0ºÍ1£¬Î´ÃâҲ̫²»Ãô¸ÐÁË£¬ÎÞ·¨±£Ö¤ÑµÁ·µÄÕýÈ·ÐÔ£¬Òò´Ë±ØÐ뽫"Êä³ö"¸ÄÔì³ÉÒ»¸öÁ¬ÐøÐÔº¯Êý¡£
¡¡¡¡Õâ¾ÍÐèÒª½øÐÐÒ»µã¼òµ¥µÄÊýѧ¸ÄÔì¡£
¡¡¡¡Ê×ÏÈ£¬½«¸ÐÖªÆ÷µÄ¼ÆËã½á¹ûwx + b¼ÇΪz¡£
¡¡¡¡z = wx + b
¡¡¡¡È»ºó£¬¼ÆËãÏÂÃæµÄʽ×Ó£¬½«½á¹û¼ÇΪσ(z)¡£
¡¡¡¡σ(z) = 1 / (1 + e^(-z))
¡¡¡¡ÕâÊÇÒòΪÈç¹ûzÇ÷ÏòÕýÎÞÇîz → +∞£¨±íʾ¸ÐÖªÆ÷Ç¿ÁÒÆ¥Å䣩£¬ÄÇôσ(z) → 1£»Èç¹ûzÇ÷Ïò¸ºÎÞÇîz → -∞£¨±íʾ¸ÐÖªÆ÷Ç¿ÁÒ²»Æ¥Å䣩£¬ÄÇôσ(z) → 0¡£Ò²¾ÍÊÇ˵£¬Ö»ÒªÊ¹ÓÃσ(z)µ±×÷Êä³ö½á¹û£¬ÄÇôÊä³ö¾Í»á±ä³ÉÒ»¸öÁ¬ÐøÐÔº¯Êý¡£
¡¡¡¡ÔÀ´µÄÊä³öÇúÏßÊÇÏÂÃæÕâÑù¡£
¡¡¡¡ÏÖÔÚ±ä³ÉÁËÕâÑù¡£
¡¡¡¡Êµ¼ÊÉÏ£¬»¹¿ÉÒÔÖ¤Ã÷ΔσÂú×ãÏÂÃæµÄ¹«Ê½¡£
¡¡¡¡¼´ΔσºÍΔwºÍΔbÖ®¼äÊÇÏßÐÔ¹ØÏµ£¬±ä»¯ÂÊÊÇÆ«µ¼Êý¡£Õâ¾ÍÓÐÀûÓÚ¾«È·ÍÆËã³öwºÍbµÄÖµÁË¡£
×ªÔØÇë×¢Ã÷£º ÎÄÕÂ×ªÔØ×Ô£º°®Ë¼×ÊÔ´Íø http://www.aseoe.com/show-26-1111-1.html