蒙特卡洛树搜索(MCTS)3-代码框架

class NodeMCTS: def __init__(self, *node_info): self.node_info = node_info self.parent = 'parent' # 视情况取舍 self.children = {} # key:动作 value:节点 self.can_expand = True # 否表示node无法拓展，是终止态或者满孩子 self.is_terminal = False # 终止态标记 # 与搜索过程相关的动态属性 self.win_count = 0 self.visit_count = 0 # 不需要可去掉 self.q = 0 self.u = 0 def action_to_max_uct_child(self): """ 获取指向最大uct孩子的动作 """ pass def check_flag(self): """ 检查节点布尔变量状态 """ pass def add_child(self, action=''): """ 可指定动作添加孩子，或随机 """ pass def uct_calculation(self): """ 按uct公式计算uct（注意分母为0的情况 """ pass class TreeMCTS: def __init__(self, *node_info): self.root = NodeMCTS(*node_info) self.update_nodes = [] # 表示需要更新的Node路径 def select(self): """ 个人认为此次有两种实现思想：深度优先，广度优先 深度优先是比较贴近mcts算法的描述的，即总是选择孩子进行拓展：如果node只有一个孩子，拓展该孩子；多个孩子则选择uct最大的 另一种是自己琢磨的，仅供讨论：综合考虑node与孩子的uct值，如果node自身uct大于每个孩子，选择node拓展（如果可拓展） """ pass def expand(self): """ 添加孩子到树里或不作为，同时把模拟起点的node传给simulate函数 """ pass def simulate(self, start_node)-> bool: """ rollout或仿真实验 """ pass def feedback(self, is_win): """ 更新本次模拟起点及其所有祖先的visit_count,win_count """ pass def train(self, deadline: int): """ 设置迭代次数 """ for _ in range(deadline): self.select() self.expand() is_win = self.simulate() self.feedback(is_win) def output(self): """ 输出算法结果，根据某个指标执行select函数即可，比如节点q值、访问次数、uct值等 """ pass

之前日记1和日记2，介绍了mcts的一些原理，现在经过我几个月对mcts的利用，是时候分享我关于其代码实现的想法了。总的来说，我认为mcts的灵活性是很高的，或许这也是相关论文里没有说明mcts的具体实现路径的原因。只要思路遵循4阶段迭代，价值公式的内核类似uct即可。这是关于mcts经典版本的框架，其中关于select方式提出自己的个人想法，欢迎各位指导欢迎交相互流。