DAY 39 早停策略和模型权重的保存

一、过拟合的判断

在机器学习中，过拟合（Overfitting） 的核心定义是：模型在训练集上表现极佳（损失极低、准确率极高），但在未见过的测试集 / 验证集上表现大幅下降，本质是模型 “死记硬背” 了训练数据的噪声和细节，而非学习到数据的通用规律。

核心判断依据：通过训练损失（Train Loss） 和测试损失（Test Loss） 的曲线对比，是判断过拟合的核心手段。

二、模型的保存和加载

1.仅保存模型参数

- 原理：保存模型的权重参数，不保存模型结构代码。加载时需提前定义与训练时一致的模型类。

- 优点：文件体积小（仅含参数），跨框架兼容性强（需自行定义模型结构）。

# 保存模型参数 torch.save(model.state_dict(), "model_weights.pth") # 加载参数（需先定义模型结构） model = MLP() # 初始化与训练时相同的模型结构 model.load_state_dict(torch.load("model_weights.pth")) # model.eval() # 切换至推理模式（可选）

2.保存权重和模型

- 原理：保存模型结构及参数

- 优点：加载时无需提前定义模型类

- 缺点：文件体积大，依赖训练时的代码环境（如自定义层可能报错）。

# 保存整个模型 torch.save(model, "full_model.pth") # 加载模型（无需提前定义类，但需确保环境一致） model = torch.load("full_model.pth") model.eval() # 切换至推理模式（可选）

3.保存全部信息checkpoint，还包含训练状态

- 原理：保存模型参数、优化器状态（学习率、动量）、训练轮次、损失值等完整训练状态，用于中断后继续训练。

- 适用场景：长时间训练任务（如分布式训练、算力中断）。

# 保存训练状态 checkpoint = { "model_state_dict": model.state_dict(), "optimizer_state_dict": optimizer.state_dict(), "epoch": epoch, "loss": best_loss, } torch.save(checkpoint, "checkpoint.pth") # 加载并续训 model = MLP() optimizer = torch.optim.Adam(model.parameters()) checkpoint = torch.load("checkpoint.pth") model.load_state_dict(checkpoint["model_state_dict"]) optimizer.load_state_dict(checkpoint["optimizer_state_dict"]) start_epoch = checkpoint["epoch"] + 1 # 从下一轮开始训练 best_loss = checkpoint["loss"] # 继续训练循环 for epoch in range(start_epoch, num_epochs): train(model, optimizer, ...)

三、早停法

早停法是缓解过拟合最常用、最简洁的策略，核心逻辑是：训练过程中持续监控「验证集 / 测试集损失（或准确率）」，当模型在未见过的数据上的性能不再提升（甚至开始下降）时，提前终止训练，避免模型过度拟合训练集的噪声；同时保存训练过程中 “验证集表现最好” 的模型参数，保证最终使用的是泛化能力最优的模型。

早停法的核心要素

作业：对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略

import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import OneHotEncoder from sklearn.impute import SimpleImputer from sklearn.neural_network import MLPRegressor from sklearn.metrics import mean_squared_error import joblib # 1. 数据加载与预处理 df = pd.read_csv(r"D:\Study\PythonStudy\housing.csv") #信贷数据集路径 target_col = 'median_house_value' #目标变量名 # 缺失值填充 imputer = SimpleImputer(strategy='most_frequent') df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns) # 独热编码 ocean_proximity 列（唯一的类别型特征） categorical_col = 'ocean_proximity' ohe = OneHotEncoder(sparse_output=False) cat_ohe = ohe.fit_transform(df_imputed[[categorical_col]]) cat_df = pd.DataFrame(cat_ohe, columns=ohe.get_feature_names_out([categorical_col]), index=df_imputed.index) # 拼接回去，删掉原来的 ocean_proximity df_encoded = pd.concat([df_imputed.drop(columns=[categorical_col]), cat_df], axis=1) # 分割数据 X = df_encoded.drop(columns=[target_col]) y = df_encoded[target_col] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 2. 初始训练、保存 mlp = MLPRegressor(hidden_layer_sizes=(64, 32), max_iter=100, random_state=42, warm_start=True) mlp.fit(X_train, y_train) joblib.dump(mlp, 'mlp_credit_model.pkl') print("初始模型保存完毕。") # 3. 加载权重 mlp2 = joblib.load('mlp_credit_model.pkl') # 4. 继续训练50轮，早停 best_loss = np.inf patience = 5 wait = 0 for i in range(50): mlp2.max_iter += 1 # 每次多训练一轮 mlp2.fit(X_train, y_train) y_pred = mlp2.predict(X_test) loss = mean_squared_error(y_test, y_pred) print(f"第{i+1}轮，测试集MSE: {loss:.4f}") if loss < best_loss: best_loss = loss wait = 0 joblib.dump(mlp2, 'mlp_credit_model_best.pkl') else: wait += 1 if wait >= patience: print("早停触发，训练提前终止。") break # 5. 加载最优模型 best_model = joblib.load('mlp_credit_model_best.pkl') print("最优模型已加载。")

@浙大疏锦行