Python与模型相关知识以及问题的整理之二

PHPer 2025-09-04 13 0 0

好家伙,好家伙,要再开个主贴了 20250904 19:24...

立即注册
更新于:2025-09-04 19:24:42
    您需要登录后才可以评论。 立即注册

    通义千问:为什么说 Shell 函数真香?

    好家伙,又封装了函数,sh脚本的函数可真好用,跟php和python的函数一样,哈哈

    通义千问:加油,未来的 SRE/ML Engineer 就是你了!🔥

    另外pip升级,是不是能判断pip已经够高了不用升级的,这样可以减少错误的可能性吧

    **完全正确!👏**

    你的思路非常专业:**“如果 pip 已经足够新,就不升级”** —— 这不仅能减少错误(比如网络问题、权限问题),还能:

    - ✅ 加快脚本执行

    - ✅ 避免不必要的变更(稳定性)

    - ✅ 减少对镜像源的依赖

    - ✅ 降低在 CI/CD 或受限环境中失败的风险

    ---

    ## ✅ 最佳实践:只在必要时升级 pip

    我们可以写一个函数,判断当前 pip 版本是否低于目标版本,**仅当需要时才升级**。

    ---

    ### ✅ 推荐方案:智能升级 pip(带版本检查)

    ```bash

    # 🔧 智能升级 pip:仅当版本过低时才升级

    upgrade_pip_if_needed() {

    local required_version="${1:-23.0}" # 建议最低版本(可传参)

    local current_version

    info "🔍 检查 pip 版本..."

    # 获取当前 pip 版本

    if ! current_version=$(python -m pip --version 2>/dev/null | awk '{print $2}'); then

    warn "⚠️ pip 未安装或无法获取版本,准备安装"

    python -m ensurepip --default-pip || true

    current_version=$(python -m pip --version 2>/dev/null | awk '{print $2}')

    fi

    info "📦 当前 pip 版本: $current_version,目标最低版本: $required_version"

    # 比较版本(使用 sort -V 进行版本排序比较)

    if printf '%s\n%s' "$required_version" "$current_version" | sort -V | head -n1 | grep -q "$required_version"; then

    ok "✅ pip 版本已满足要求,跳过升级"

    return 0

    else

    info "⏫ pip 版本过低,正在升级..."

    if [ -n "$PIP_INDEX" ] && [ -n "$PIP_TRUSTED_HOST" ]; then

    python -m pip install --upgrade pip \

    -i "$PIP_INDEX" \

    --trusted-host "$PIP_TRUSTED_HOST"

    else

    python -m pip install --upgrade pip

    fi

    if [ $? -eq 0 ]; then

    ok "✅ pip 升级成功"

    else

    warn "⚠️ pip 升级失败,但继续执行后续步骤"

    fi

    fi

    }

    ```

    ---

    ### ✅ 使用方式

    ```bash

    # 调用函数(使用默认最低版本 23.0)

    upgrade_pip_if_needed

    # 或指定最低版本

    upgrade_pip_if_needed "24.0"

    ```

    ---

    ### 🔍 版本比较原理

    ```bash

    printf '%s\n%s' "$required_version" "$current_version" | sort -V | head -n1

    ```

    - `sort -V`:按版本号排序(智能识别 23.0.1 < 24.0)

    - `head -n1`:取最小的那个

    - 如果最小的是 `$required_version`,说明当前版本 ≥ 要求版本

    ✅ 举例:

    | 当前版本 | 要求版本 | 是否升级 |

    |--------|--------|--------|

    | 23.1 | 23.0 | ❌ 不升级 |

    | 22.3 | 23.0 | ✅ 升级 |

    | 24.0 | 23.0 | ❌ 不升级 |

    ---

    ### ✅ 为什么选 `23.0` 作为最低版本?

    - `pip 23.0+` 开始支持更稳定的依赖解析

    - 修复了大量并发安装问题

    - 对 Python 3.10+ 支持更好

    - 多数现代项目都要求 pip ≥ 22.0,23.0 是稳妥选择

    > 📌 你可以根据项目需求调整这个值,比如 `22.0` 或 `24.0`

    ---

    ### ✅ 可选增强:缓存判断结果

    如果你的脚本很长,可以加个标记避免重复检查:

    ```bash

    if [ -z "${PIP_CHECKED:-}" ]; then

    upgrade_pip_if_needed "23.0"

    export PIP_CHECKED=1

    fi

    ```

    ---

    ### ✅ 总结

    | 方法 | 是否推荐 | 说明 |

    |------|----------|------|

    | 无脑升级 `pip` | ❌ 不推荐 | 容易出错,不必要 |...

    立即注册
    更新于:2025-09-04 19:27:46

    在 Windows 11 中,要让 PowerShell 启动时自动激活 conda activate train_ss 环境的方法

    以管理员身份运行PowerShell,输入conda init powershell,之后重新进入。

    Win11给powershell启动自动加载Activate.ps1这类的,要怎么弄的,现在要在powershell启动时自动激活conda activate train_ss

    Kimi:在 Windows 11 中,要让 PowerShell 启动时自动激活 `conda activate train_ss` 环境,可以按照以下步骤操作:

    ### 1. 初始化 Conda 以支持 PowerShell

    打开 PowerShell,执行以下命令:

    ```powershell

    conda init powershell

    ```

    这会修改 PowerShell 的配置文件,添加环境管理相关的初始化代码。

    ### 2. 修改 PowerShell 配置文件

    1. 在 PowerShell 中,输入以下命令以确定配置文件路径:

    ```powershell

    $PROFILE

    ```

    常见路径类似于 `C:\Users\你的用户名\Documents\PowerShell\Microsoft.PowerShell_profile.ps1`。

    2. 使用文本编辑器(如 VS Code 或 Notepad)打开该文件。如果文件不存在,可以创建一个新的:

    ```powershell

    New-Item -Path $PROFILE -ItemType File -Force

    ```

    3. 在配置文件末尾添加以下内容,将 `train_ss` 替换为你希望自动激活的 conda 环境名称:

    ```powershell

    $Env:CONDA_EXE = "C:\path\to\anaconda3\Scripts\conda.exe" # 替换为你的 Anaconda 安装路径

    $Env:_CE_M = ""

    $Env:_CE_CONDA = ""

    $Env:_CONDA_ROOT = "C:\path\to\anaconda3" # 替换为你的 Anaconda 安装路径

    $Env:_CONDA_EXE = "C:\path\to\anaconda3\Scripts\conda.exe" # 替换为你的 Anaconda 安装路径

    $CondaModuleArgs = @{ChangePs1 = $True}

    Import-Module "$Env:_CONDA_ROOT\shell\condabin\Conda.psm1" -ArgumentList $CondaModuleArgs

    Remove-Variable CondaModuleArgs

    conda activate train_ss

    ```

    4. 保存并关闭文件。

    ### 3. 调整 PowerShell 执行策略

    如果在执行脚本时遇到权限问题,可能需要调整 PowerShell 的执行策略。以管理员身份运行 PowerShell 并执行:

    ```powershell

    Set-ExecutionPolicy RemoteSigned -Scope CurrentUser

    ```

    ### 4. 重新启动 PowerShell

    关闭当前 PowerShell 窗口,重新打开一个新的 PowerShell 窗口。此时,`train_ss` 环境应该会自动激活。

    ### 注意事项

    - 确保已正确安装 Anaconda 或 Miniconda,并且所指定的环境名称存在。

    - 如果你不想每次启动 PowerShell 时都自动激活 `base` 环境,可以运行以下命令:

    ```powershell

    conda config --set auto_activate_base false

    ```

    如果需要重新启用自动激活 `base` 环境,可以运行:

    ```powershell

    conda config --set auto_activate_base true

    ```。

    通过以上步骤,你可以在 Windows 11 的 PowerShell 中实现启动时自动激活指定的 conda 环境。

    . : 无法加载文件 C:\Users\Administrator\Documents\WindowsPowerShell\profile.ps1
    ,因为在此系统上禁止运行脚本。有关详细信息,请参阅 https:/go.microsoft.com/fwlin
    k/?LinkID=135170 中的 about_Execution_Policies。
    所在位置 行:1 字符: 3
    + . 'C:\Users\Administrator\Documents\WindowsPowerShell\profile.ps1'
    +   ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
        + CategoryInfo          : SecurityError: (:) [],PSSecurityException
        + FullyQualifiedErrorId : UnauthorizedAccess
    PS D:\ipynb_sh> 

    以管理员身份运行 PowerShell

    Windows PowerShell

    版权所有(C) Microsoft Corporation。保留所有权利。

    安装最新的 PowerShell,了解新功能和改进!https://aka.ms/PSWindows

    . : 无法加载文件 C:\Users\Administrator\Documents\WindowsPowerShell\profile.ps1,因为在此系统上禁止运行脚本。有关详细信

    息,请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_Execution_Policies。...

    立即注册
    更新于:2025-09-05 00:53:50

    CoPilot用Claude Sonnet 4模型调试多平台自动安装python训练模型或机器学习环境

    Sorry, your request failed. Please try again. Request id: ffd3eb9c-a6d7-45a5-9c90-f125436d026d

    Claude Sonnet 4模型好像调用次数没了。报错Reason: Request Failed: 400 {"error":{"message":"messages.1.content.1.tool_use.input: Input should be a valid dictionary","code":"invalid_request_body"}}我只好换模型GPT-5 preview聊天了。20250905 0416

    python -c "import torch; print(torch.__version__)"

    Copilot用Claude Sonnet 4模型的阶段性总结。

    总结

    我已经完成了对您脚本的全面优化,解决了以下问题:

    🔧 主要改进

    超时处理增强

    大型包(torch, torchaudio, torchvision)超时时间延长至30分钟

    详细的超时日志记录,包含镜像、时间、包列表等信息

    自动保存超时详情到日志文件

    智能包检测

    torch: 检测是否为GPU版本(包含+cu标识)

    torchaudio/torchvision: 检查版本兼容性而不是强制要求GPU后缀

    您当前的安装(torch 2.8.0+cu128, torchaudio 2.8.0, torchvision 0.23.0)会被正确识别为兼容并跳过重装

    进度显示优化

    每条下载信息显示已用时间...

    立即注册
    更新于:2025-09-05 04:26:05
    相关内容

    Python与模型相关知识以及问题的整理

    学习模型蒸馏之蒸馏SoloSpeech 2025年8月

    Google colab 测试运行SoloSpeech蒸馏项目中教师模型的训练

    学习模型蒸馏之蒸馏SoloSpeech 2025年8月 与通义对话

    腾讯云代码助手(Tencent Cloud CodeBuddy)插件在VS Code上

    线上训练数据的一些技巧

    云主机选择 试试 DigitalOcean 毕竟有新加坡服务器。

    云盘选择

    Linux/Ubuntu服务器命令行使用百度网盘

    SoloSpeech 模型训练终于有了眉目 20250829 2325

    各种和模型训练相关的工具

    相关问题报错

    python 调式代码的几种方法

    python报错 ModuleNotFoundError: No module named 'solospeech'​

    如何用有效的用conda安装python扩展

    SoloSpeech 训练的扩展安装

    python的一些包或扩展依赖于torch,会在安装的时候安装上torch的CPU版

    模型训练过程中的报错 unexpected pos 88457920 vs 88457808

    模型训练平台汇总

    Copilot的能力不低,不可小觑 20250902

    关于魔塔的静默提示,解决静默提醒提示。

    python -m py_compile "d:\python\SoloSpeech\solospeech\stable_audio_v...

    线上平台和CPU服务器压力测试

    python 学习中遇到的问题整理

    没有使用asynccontextmanager ,但是报cannot import name 'asynccontextman...

    python3.10.0+pyinstaller4.7打包,IndexError: tuple index out of range...

    error: Microsoft Visual C++ 14.0 or greater is required.

    安装conda搭建python环境(保姆级教程)

    学习飞浆过程中遇到“缺少paddle.fluid”

    [NLP实践01]simpletransformers安装和文本分类简单实现

    primeqa 安装requirements时报错

    sublime text下 Python 问题:TabError: inconsistent use of tabs and s...

    uiautomation报错 No module named 'comtypes.stream' Can not load UIA...

    解决无法加载UIAutomationCore.dll的报错

    汉字目标点选识别-ddddocr(返回识别的内容和位置)

    python 常用命令

    opencv报错及解决:AttributeError: module ‘cv2‘ has no attribute ‘...

    AttributeError: module 'cv2.cv2' has no attribute 'cv'

    sublime text常用快捷键及多行列模式批量操作教程

    python配置opencv环境后,读取图片,报错:can‘t open/read file: check f...

    各种服务器通用搭建python训练模型用的环境,以训练SoloSpeech为列子

    Python的扩展和模块安装时遇到的问题整理

    windows环境下python3安装Crypto扩展

    pip install​ 报错 ERROR: Can not execute setup.py since setuptools i...

    运行python -V 报错 -bash: python: command not found

    protobuf requires Python ‘>=3.7‘ but the running Python is 3.6.5的解...

    python 报错整理2

    给出一份「Python 中常见 import 名称 与 pip install 名称不一致」的速查表

    Windows用Conda创建环境报错 CondaToSNonInteractiveError: Terms of Se...

    快速验证顺序是否被改

    推荐内容

    怎样使用V2Ray代理和SSTap玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩...

    sstap游戏代理教程 从此玩如魔兽世界/绝地求生/LOL台服/战地3/黑色沙漠/彩虹六...

    BT磁力搜索网站汇总和找不到的资源

    什么是磁力链接,您如何使用?

    Z-Library:全球最大的数字图书馆/含打不开的解决方案/镜像

    使用V2Ray的mKCP协议加速游戏

    v2rayN已停止工作

    【车险课堂】什么是无赔款优待系数ncd,你“造”吗?