개발 Note

 <properties>

<build.timestamp>${maven.build.timestamp}</build.timestamp>

<maven.build.timestamp.format>yyMMddhhmm</maven.build.timestamp.format>

</properties>

>>> a=[0,0,1,1,2,3]

>>> set(a)

set([0, 1, 2, 3])

>>> a

[0, 0, 1, 1, 2, 3]

>>> list(set(a))

[0, 1, 2, 3]

>>> i=1

>>> i

1

>>> i++

  File "<stdin>", line 1

    i++

      ^

SyntaxError: invalid syntax

>>> i--

  File "<stdin>", line 1

    i--

      ^

SyntaxError: invalid syntax

>>> i

2

>>> i+=1

>>> i

3

>>> i-=1

>>> i

2

#0 ~ 99중에 2개 고르기(중복 없음)

import random

random.sample(range(0,100), 2) 

#0 ~ 99중 숫자 1개 고르기

import numpy as np

np.random.randint(100)

np.random.randint(0, 100)

#0 ~ 99중 숫자 2개 고르기(중복 있음)

np.random.randint(0, 100, 2) 

 import random

def randElem(list, n):

    iRands = random.sample(range(0, len(list)), n)

    retVal = []

    for i in range(len(iRands)):

        retVal.append(list[iRands[i]])

    return retVal

O

O

X

O

O

O

X

X

O

O

X

O

O

X

O

O

X

X

4수의 근거

지금까지의 학습으로 3수까지의 state에 대한 Qvalue값들은 아래와 같다.

Q value를 보면 총 3가지 종류의 값이 있다.

이미 둔 칸은 -10이다.

해당 강화학습에서 다음 action에 대한 선택 로직에 게임의 규칙은 전혀 반영하지 않았다. 따라서 게임을 진행하려면, 스스로 규칙을 학습해야 하는데, 이미 둔곳은 둘수 없다는 기본적인 규칙들은 -10을 reward로 받도록 되어 있다.(두기 전과 후의 state에 변화가 없을때 reward는 -10)

두면 패배할수 있는 칸(이미 상대가 2칸을 선점했고 그 2칸을 방어할수 없는 칸)은 다음번 수의 패배에 대한 negative reward들로 -0.83333으로 채워져 있다. 즉, 좌상칸이 가장 높은 value를 가지고 있기 때문에 좌상칸을 선택했다.

마지막으로 0, 비록 reward를 얻을수 없지만, 현재 상황에서 가장 높은 reward를 가지고 있다. 따라서 좌상이 선택되어야 한다.

O

O

X

O

X

O

O

X

X

O

X

6수의 근거

5수까지의 state에 대한 Q value는 아래와 같다.

이미 둔칸이지만 0인 곳은 학습이 되지 않는 곳이다. 가운데 칸의 경우 0.89점으로 가장 높은 reward를 가진다. 실제로 해당 칸을 두개 되면 X가 좌상에서 우하로 가는 대각선 공격을 할수 있는 기회가 주어지게 된다.

O

O

X

X

O

O

X

O

O

X

X

X

O

O

X

O

O

X

X

X

O

O

O

X