´Ü´ÜÇÑ ½ÉÃþ°ÈÇнÀ
Á¦ÀÌÆà | 2022-06-22
eBook
2022-06-23
º¸À¯ 1 ´ëÃâ 0 ¿¹¾à 0
EPUB(Y) | YES24
Ã¥ Á¤º¸
½ÉÃþ°ÈÇнÀÀÇ È®°íÇÑ ±â¹ÝÀ» ´ÙÁö±â À§ÇÑ ¿Ïº®ÇÑ ¹æ¹ý!ÀÌ Ã¥Àº À̷аú ½Ç¹«Àû ³»¿ëÀ» µ¶Æ¯ÇÏ°Ô °áÇÕÇÑ ½ÉÃþ°ÈÇнÀ ¼Ò°³¼´Ù. Á÷°üÀûÀÎ ¼³¸í¿¡¼ ½ÃÀÛÇÏ¿© ½ÉÃþ°ÈÇнÀ ¾Ë°í¸®Áò¿¡ ´ëÇÑ ÀÚ¼¼ÇÑ ¼³¸í°ú SLM Lab ¶óÀ̺귯¸®¸¦ ÀÌ¿ëÇÑ ±¸Çö ¹æ¹ýÀ¸·Î À̾îÁö°í, ¸¶Áö¸·À¸·Î´Â ½ÉÃþ°ÈÇнÀÀ» ½Ç¹«¿¡ Àû¿ëÇϱâ À§ÇÑ ¼¼ºÎ ³»¿ëÀ» ´Ù·é´Ù.
ÀúÀÚ Á¤º¸
·Î¶ó ±×·¹¼( ÀúÀÚ)
±è¼º¿ì( ¹ø¿ªÀÚ)
¸ñÂ÷
¿Å±äÀÌ ¸Ó¸®¸» xii
º£Å¸¸®´õ Èıâ xiii
̵̧ȍ xv
½ÃÀÛÇϸç xvi
°¨»çÀÇ ±Û xxi
<b>CHAPTER 01 °ÈÇнÀ ¼Ò°³ 1</b>
1.1 °ÈÇнÀ 1
1.2 MDP·Î¼ÀÇ °ÈÇнÀ 7
1.3 °ÈÇнÀ¿¡¼ ÇнÀÇÏ´Â ÇÔ¼ö 11
1.4 ½ÉÃþ°ÈÇнÀ ¾Ë°í¸®Áò 13
1.4.1 Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò 14
1.4.2 °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò 15
1.4.3 ¸ðµ¨ ±â¹Ý ¾Ë°í¸®Áò 16
1.4.4 °áÇÕµÈ ¹æ¹ý 17
1.4.5 ÀÌ Ã¥¿¡¼ ´Ù·ç´Â ¾Ë°í¸®Áò 18
1.4.6 È°¼ºÁ¤Ã¥°ú ºñÈ°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 19
1.4.7 ¿ä¾à 19
1.5 °ÈÇнÀÀ» À§ÇÑ ½ÉÃþÇнÀ 20
1.6 °ÈÇнÀ°ú ÁöµµÇнÀ 22
1.6.1 ¿À¶óŬÀÇ ºÎÀç 23
1.6.2 Çǵå¹éÀÇ Èñ¼Ò¼º 24
1.6.3 µ¥ÀÌÅÍ »ý¼º 24
1.7 ¿ä¾à 25
<b>PART I Á¤Ã¥ ±â¹Ý ¾Ë°í¸®Áò°ú °¡Ä¡ ±â¹Ý ¾Ë°í¸®Áò</b>
<b>CHAPTER 02 REINFORCE 29</b>
2.1 Á¤Ã¥ 30
2.2 ¸ñÀû ÇÔ¼ö 31
2.3 Á¤Ã¥ °æ»ç 31
2.3.1 Á¤Ã¥ °æ»ç °è»ê 33
2.4 ¸óÅ×Ä«¸¦·Î Ç¥º»ÃßÃâ 36
2.5 REINFORCE ¾Ë°í¸®Áò 37
2.5.1 Çâ»óµÈ REINFORCE 38
2.6 REINFORCE ±¸Çö 39
2.6.1 ÃÖ¼Ò ÇüÅÂÀÇ REINFORCE ±¸Çö 39
2.6.2 ÆÄÀÌÅäÄ¡·Î Á¤Ã¥ »ý¼ºÇϱâ 42
2.6.3 Çൿ ÃßÃâ 44
2.6.4 Á¤Ã¥ ¼Õ½Ç °è»ê 45
2.6.5 REINFORCE ÈÆ·Ã ·çÇÁ 46
2.6.6 È°¼ºÁ¤Ã¥ ÀçÇö ¸Þ¸ð¸® 47
2.7 REINFORCE ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 50
2.8 ½ÇÇè °á°ú 53
2.8.1 ½ÇÇè: ÇÒÀÎÀ² ?? ÀÇ È¿°ú 53
2.8.2 ½ÇÇè: ±âÁØ°ªÀÇ È¿°ú 55
2.9 ¿ä¾à 57
2.10 ´õ ÀÐÀ»°Å¸® 57
2.11 ¿ª»ç 58
<b>CHAPTER 03 ȓȍ(SARSA) 59</b>
3.1 Q ÇÔ¼ö¿Í V ÇÔ¼ö 60
3.2 ½Ã°£Â÷ ÇнÀ 63
3.2.1 ½Ã°£Â÷ ÇнÀ¿¡ ´ëÇÑ Á÷°ü 66
3.3 »ì»çÀÇ Çൿ ¼±Åà 73
3.3.1 ŽÇè°ú È°¿ë 74
3.4 »ì»ç ¾Ë°í¸®Áò 75
3.4.1 È°¼ºÁ¤Ã¥ ¾Ë°í¸®Áò 76
3.5 »ì»çÀÇ Àû¿ë 77
3.5.1 Çൿ ÇÔ¼ö: ¿¦½Ç·Ð Ž¿åÀû 77
3.5.2 Q ¼Õ½ÇÀÇ °è»ê 78
3.5.3 »ì»ç ÈÆ·Ã ·çÇÁ 80
3.5.4 È°¼ºÁ¤Ã¥ ¹èÄ¡ ÀçÇö ¸Þ¸ð¸® 81
3.6 »ì»ç ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 83
3.7 ½ÇÇè °á°ú 86
3.7.1 ½ÇÇè: ÇнÀ·üÀÇ È¿°ú 86
3.8 ¿ä¾à 87
3.9 ´õ ÀÐÀ»°Å¸® 88
3.10 ¿ª»ç 89
<b>CHAPTER 04 ½ÉÃþ Q ³×Æ®¿öÅ©(DQN) 91</b>
4.1 DQNÀÇ Q ÇÔ¼ö ÇнÀ 92
4.2 DQNÀÇ Çൿ ¼±Åà 94
4.2.1 º¼Ã÷¸¸ Á¤Ã¥ 97
4.3 °æÇè ÀçÇö 100
4.4 DQN ¾Ë°í¸®Áò 101
4.5 DQNÀÇ Àû¿ë 103
4.5.1 Q ¼Õ½ÇÀÇ °è»ê 103
4.5.2 DQN ÈÆ·Ã ·çÇÁ 104
4.5.3 ÀçÇö ¸Þ¸ð¸® 105
4.6 DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 108
4.7 ½ÇÇè °á°ú 111
4.7.1 ½ÇÇè: ½Å°æ¸Á ¾ÆÅ°ÅØóÀÇ È¿°ú 111
4.8 ¿ä¾à 113
4.9 ´õ ÀÐÀ»°Å¸® 114
4.10 ¿ª»ç 114
<b>CHAPTER 05 Çâ»óµÈ DQN 115</b>
5.1 ¸ñÇ¥ ³×Æ®¿öÅ© 116
5.2 ÀÌÁß DQN 119
5.3 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö(PER) 123
5.3.1 Áß¿äµµ Ç¥º»ÃßÃâ 125
5.4 ¼öÁ¤µÈ DQNÀÇ ±¸Çö 126
5.4.1 ³×Æ®¿öÅ© ÃʱâÈ 127
5.4.2 Q ¼Õ½ÇÀÇ °è»ê 128
5.4.3 ¸ñÇ¥ ³×Æ®¿öÅ©ÀÇ ¾÷µ¥ÀÌÆ® 129
5.4.4 ¸ñÇ¥ ³×Æ®¿öÅ©¸¦ °®´Â DQN 130
5.4.5 ÀÌÁß DQN 130
5.4.6 ¿ì¼±¼øÀ§°¡ ÀÖ´Â °æÇè ÀçÇö 131
5.5 ¾ÆŸ¸® °ÔÀÓÀ» À§ÇÑ DQN ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 137
5.6 ½ÇÇè °á°ú 142
5.6.1 ½ÇÇè: ÀÌÁß DQN°ú PERÀÇ È¿°ú 142
5.7 ¿ä¾à 146
5.8 ´õ ÀÐÀ»°Å¸® 146
<b>PART II °áÇÕµÈ ¹æ¹ý</b>
<b>CHAPTER 06 ¾îµå¹êƼÁö ÇൿÀÚ-ºñÆòÀÚ(A2C) 149</b>
6.1 ÇൿÀÚ 150
6.2 ºñÆòÀÚ 150
6.2.1 ¾îµå¹êƼÁö ÇÔ¼ö 151
6.2.2 ¾îµå¹êƼÁö ÇÔ¼ö¿¡ ´ëÇÑ ÇнÀ 155
6.3 A2C ¾Ë°í¸®Áò 156
6.4 A2CÀÇ ±¸Çö 159
6.4.1 ¾îµå¹êƼÁö ÃßÁ¤ 160
6.4.2 °¡Ä¡ ¼Õ½Ç°ú Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 162
6.4.3 ÇൿÀÚ-ºñÆòÀÚ ÈÆ·Ã ·çÇÁ 163
6.5 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 164
6.6 A2C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 166
6.6.1 n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 166
6.6.2 GAE¸¦ ÀÌ¿ëÇÑ A2C¸¦ Æþ °ÔÀÓ¿¡ Àû¿ë 169
6.6.3 µÎ ¹ß º¸ÇàÀÚ ¹®Á¦¿¡¼ n´Ü°è À̵æÀ» ÀÌ¿ëÇÑ A2C 170
6.7 ½ÇÇè °á°ú 173
6.7.1 ½ÇÇè: n´Ü°è À̵æÀÇ È¿°ú 173
6.7.2 ½ÇÇè: GAEÀÇ ??°¡ ¹ÌÄ¡´Â È¿°ú 175
6.8 ¿ä¾à 176
6.9 ´õ ÀÐÀ»°Å¸® 177
6.10 ¿ª»ç 177
<b>CHAPTER 07 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 179</b>
7.1 ´ë¸®¸ñÀû 180
7.1.1 ¼º´ÉºØ±« 180
7.1.2 ¸ñÀû ÇÔ¼öÀÇ ¼öÁ¤ 182
7.2 ±ÙÀ§ Á¤Ã¥ ÃÖÀûÈ(PPO) 189
7.3 PPO ¾Ë°í¸®Áò 193
7.4 PPOÀÇ ±¸Çö 195
7.4.1 PPO Á¤Ã¥ ¼Õ½ÇÀÇ °è»ê 195
7.4.2 PPO ÈÆ·Ã ·çÇÁ 196
7.5 PPO ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 198
7.5.1 Æþ °ÔÀÓÀ» À§ÇÑ PPO 198
7.5.2 µÎ ¹ß º¸ÇàÀÚ¸¦ À§ÇÑ PPO 201
7.6 ½ÇÇè °á°ú 203
7.6.1 ½ÇÇè: GAEÀÇ ??°¡ ¹ÌÄ¡´Â È¿°ú 204
7.6.2 ½ÇÇè: Ŭ¸®ÇÎ º¯¼ö ??ÀÇ È¿°ú 205
7.7 ¿ä¾à 207
7.8 ´õ ÀÐÀ»°Å¸® 208
<b>CHAPTER º´·ÄÈ ¹æ¹ý 209</b>
8.1 µ¿±â º´·ÄÈ 210
8.2 ºñµ¿±â º´·ÄÈ 212
8.2.1 È£±×¿ÍÀϵå! 213
8.3 A3C ¿¡ÀÌÀüÆ®ÀÇ ÈÆ·Ã 216
8.4 ¿ä¾à 219
8.5 ´õ ÀÐÀ»°Å¸® 219
<b>CHAPTER 09 ¾Ë°í¸®Áò ¿ä¾à 221</b>
<b>PART III ½ÇÀüÀ» À§ÇÑ ¼¼ºÎ»çÇ×</b>
<b>CHAPTER 10 ½ÉÃþ°ÈÇнÀÀ¸·Î ÀÛ¾÷Çϱâ 225</b>
10.1 ¼ÒÇÁÆ®¿þ¾î °øÇÐÀû ±â¹ý 226
10.1.1 ´ÜÀ§ Å×½ºÆ® 226
10.1.2 ÄÚµå Ç°Áú 232
10.1.3 ±ê ¿öÅ©Ç÷Π233
10.2 µð¹ö±ë ÆÁ 236
10.2.1 »ýÁ¸ ½ÅÈ£ 236
10.2.2 Á¤Ã¥ °æ»ç¿¡ ´ëÇÑ Áø´Ü 237
10.2.3 µ¥ÀÌÅÍ¿¡ ´ëÇÑ Áø´Ü 238
10.2.4 Àü󸮱â 239
10.2.5 ¸Þ¸ð¸® 239
10.2.6 ¾Ë°í¸®Áò ÇÔ¼ö 240
10.2.7 ½Å°æ¸Á 240
10.2.8 ¾Ë°í¸®Áò °£¼ÒÈ 243
10.2.9 ¹®Á¦ °£¼ÒÈ 243
10.2.10 ÇÏÀÌÆÛÆĶó¹ÌÅÍ 244
10.2.11 Lab ¿öÅ©Ç÷Π244
10.3 ¾ÆŸ¸® Æ®¸¯ 245
10.4 ½ÉÃþ°ÈÇнÀ ¾Ë¸¶³¼ 249
10.4.1 ÇÏÀÌÆÛÆĶó¹ÌÅÍ Ç¥ 249
10.4.2 ¾Ë°í¸®Áò ¼º´É ºñ±³ 252
10.5 ¿ä¾à 255
<b>CHAPTER 11 SLM Lab 257</b>
11.1 SLM Lab¿¡ ±¸ÇöµÈ ¾Ë°í¸®Áò 257
11.2 spec ÆÄÀÏ 260
11.2.1 °Ë»ö ½ºÆå ±¸¹® 262
11.3 SLM LabÀÇ ½ÇÇà 265
11.3.1 SLM LabÀÇ ¸í·É¾î 265
11.4 ½ÇÇè °á°úÀÇ ºÐ¼® 266
11.4.1 ½ÇÇè µ¥ÀÌÅÍÀÇ °³¿ä 266
11.5 ¿ä¾à 268
<b>CHAPTER 12 ³×Æ®¿öÅ© ¾ÆÅ°ÅØó 269</b>
12.1 ½Å°æ¸ÁÀÇ À¯Çü 269
12.1.1 ´ÙÃþ ÆÛ¼ÁÆ®·Ð(MLP) 270
12.1.2 ÇÕ¼º°ö½Å°æ¸Á(CNN) 272
12.1.3 ȸ±Í½Å°æ¸Á(RNN) 274
12.2 ³×Æ®¿öÅ© ±×·ì ¼±ÅÃÀ» À§ÇÑ °¡À̵å 275
12.2.1 MDP¿Í POMDP 275
12.2.2 ȯ°æÀ» À§ÇÑ ³×Æ®¿öÅ© ¼±Á¤ 279
12.3 Net API 282
12.3.1 ÀԷ°ú Ãâ·Â ÃþÀ§ ¸ð¾çÀÇ ÃßÁ¤ 284
12.3.2 ³×Æ®¿öÅ©ÀÇ ÀÚµ¿ »ý¼º 286
12.3.3 ÈÆ·Ã ´Ü°è 289
12.3.4 ±â¹Ý ¸Þ¼ÒµåÀÇ ³ëÃâ 290
12.4 ¿ä¾à 291
12.5 ´õ ÀÐÀ»°Å¸® 292
<b>CHAPTER 13 Çϵå¿þ¾î 293</b>
13.1 ÄÄÇ»ÅÍ 294
13.2 µ¥ÀÌÅÍ À¯Çü 300
13.3 °ÈÇнÀ¿¡¼ µ¥ÀÌÅÍ À¯Çü ÃÖÀûÈ 302
13.4 Çϵå¿þ¾îÀÇ ¼±Åà 307
13.5 ¿ä¾à 308
<b>CHAPTER 14 »óÅÂ 311</b>
14.1 »óÅÂÀÇ ¿¹Á¦ 312
14.2 »óÅÂÀÇ ¿Ï°á¼º 319
14.3 »óÅÂÀÇ º¹À⼺ 320
14.4 »óÅ Á¤º¸ ¼Õ½Ç 325
14.4.1 À̹ÌÁö ±×·¹À̽ºÄÉÀϸµ 325
14.4.2 ÀÌ»êÈ 326
14.4.3 Çؽà Ã⵿ 327
14.4.4 ¸ÞŸÁ¤º¸ ¼Õ½Ç 327
14.5 Àüó¸® 331
14.5.1 Ç¥ÁØÈ 332
14.5.2 À̹ÌÁö ó¸® 333
14.5.3 ½Ã°£Àû Àüó¸® 335
14.6 ¿ä¾à 339
<b>CHAPTER 15 Çൿ 341</b>
15.1 ÇൿÀÇ ¿¹Á¦ 341
15.2 ÇൿÀÇ ¿Ï°á¼º 345
15.3 ÇൿÀÇ º¹À⼺ 347
15.4 ¿ä¾à 352
15.5 ´õ ÀÐÀ»°Å¸®: Àϻ󿡼ÀÇ Çൿ ¼³°è 353
<b>CHAPTER 16 º¸»ó 357</b>
16.1 º¸»óÀÇ ¿ªÇÒ 357
16.2 º¸»ó ¼³°èÀÇ °¡À̵å¶óÀÎ 359
16.3 ¿ä¾à 364
<b>CHAPTER 17 ÀüÀÌ ÇÔ¼ö 365</b>
17.1 ½ÇÇö °¡´É¼º È®ÀÎ 366
17.2 Çö½Ç¼º È®ÀÎ 368
17.3 ¿ä¾à 371
APPENDIX A ½ÉÃþ°ÈÇнÀ ŸÀÓ¶óÀÎ 372
APPENDIX B ȯ°æÀÇ ¿¹Á¦ 374
B.1 ÀÌ»êÀû ȯ°æ 375
B.1.1 CartPole-v0 375
B.1.2 MountainCar-v0 376
B.1.3 LunarLander-v2 377
B.1.4 PongNoFrameskip-v4 378
B.1.5 BreakoutNoFrameskip-v4 378
B.2 ¿¬¼Ó ȯ°æ 379
B.2.1 Pendulum-v0 379
B.2.2 BipedalWalker-v2 380
¿¡ÇÊ·Î±× 381
ÃßõÇØ¿ä
- µî·ÏµÈ Ãßõ±ÛÀÌ ¾ø½À´Ï´Ù.
·Î¶ó ±×·¹¼ÀÇ ´Ù¸¥ Ã¥
ÀúÀÚÀÇ ´Ù¸¥ Ã¥ Á¤º¸°¡ ¾ø½À´Ï´Ù.