包管理：pip、requirements.txt

一句话概述

pip是Python的「应用商店」，让你一键安装、升级、卸载第三方包，requirements.txt则是「购物清单」，确保团队所有人安装完全相同的依赖。

💡 核心要点：①pip是Python官方推荐的包管理工具 ②PyPI上有40万+开源包可供安装 ③requirements.txt锁定项目依赖版本 ④AI项目依赖管理决定可复现性

教学与演示

一、PyPI与pip：Python生态的发动机

是什么：PyPI（Python Package Index）是Python官方的第三方包仓库，pip（Package Installer for Python）是从PyPI下载和安装包的命令行工具。

大白话：PyPI就像App Store，里面有成千上万个别人写好的「功能模块」；pip就像你的手指，点一下就能下载安装。你不用重复造轮子，直接用别人写好的代码。

为什么：Python的核心哲学是「自带电池」（batteries included），但标准库不可能覆盖所有需求。pip让全世界开发者能轻松分享和复用代码，这也是Python成为AI首选语言的关键原因——NumPy、Pandas、Scikit-learn、PyTorch都能通过pip一行命令安装。 怎么做：

import numpy as np

# ============================================
# pip 核心操作演示
# 实际shell命令在注释中展示
# ============================================

print("=" * 50)
print("📦 pip：Python包管理核心命令")
print("=" * 50)

# pip 最常用命令速查（实际在终端执行）
pip_commands = np.array([
    ("安装最新版", "pip install package_name"),
    ("安装指定版本", "pip install package_name==1.2.3"),
    ("安装版本范围", "pip install 'package_name>=1.2,<2.0'"),
    ("升级包", "pip install --upgrade package_name"),
    ("卸载包", "pip uninstall package_name"),
    ("列出已安装", "pip list"),
    ("查看包信息", "pip show package_name"),
    ("检查过时包", "pip list --outdated"),
    ("搜索包", "pip search keyword  # 已废弃，去pypi.org搜"),
    ("冻结依赖", "pip freeze > requirements.txt"),
], dtype=[("操作", "U30"), ("命令", "U60")])

for op, cmd in pip_commands:
    print(f"  🔹 {op}:")
    print(f"     $ {cmd}")

# 模拟：PyPI上的包的版本演进
print("\n📈 典型的Python包版本号格式：")
versions = np.array([
    ("1.0.0", "第一个稳定版"),
    ("1.0.1", "修复小bug"),
    ("1.1.0", "新增功能，向后兼容"),
    ("2.0.0", "重大更新，可能不兼容旧代码"),
    ("2.0.0a1", "Alpha测试版，不稳定"),
    ("2.0.0b2", "Beta测试版，基本可用"),
    ("2.0.0rc1", "Release Candidate，候选发布版"),
], dtype=[("版本", "U15"), ("含义", "U30")])

print("  【语义化版本：MAJOR.MINOR.PATCH】")
for ver, meaning in versions:
    print(f"    {ver} → {meaning}")

什么用：在AI项目中，pip install torch torchvision transformers一条命令就装好了深度学习全家桶。pip让环境搭建从「半天折腾」变成「1分钟搞定」，极大降低了AI入门门槛。

二、requirements.txt：项目依赖的「身份证」

是什么：requirements.txt是纯文本文件，每行一个包名+版本号，用于记录和同步项目的Python依赖。

大白话：就像你点菜时的菜单，服务员按菜单上菜。requirements.txt就是你的「依赖菜单」，别人拿着这份菜单，pip就能精确复现你项目需要的所有包。

为什么：没有requirements.txt，你只能说「我项目用了numpy和pandas」，但对方不知道具体版本。可能你用的是numpy 1.24（API正常工作），对方装了numpy 1.26（某些API已废弃），代码就跑不起来了。requirements.txt锁定精确版本，消灭「在我机器上能跑」的问题。 怎么做：

import numpy as np

# ============================================
# requirements.txt 核心概念演示
# ============================================

print("=" * 50)
print("📋 requirements.txt 详解")
print("=" * 50)

# 模拟一个典型AI项目的 requirements.txt 内容
print("\n📄 典型AI项目 requirements.txt：")
print("---")
requirements = [
    ("numpy==1.24.3", "数值计算核心"),
    ("pandas==2.0.2", "数据处理"),
    ("matplotlib==3.7.1", "数据可视化"),
    ("scikit-learn==1.3.0", "机器学习算法"),
    ("torch==2.0.1", "深度学习框架"),
    ("torchvision==0.15.2", "计算机视觉工具"),
    ("transformers==4.31.0", "HuggingFace NLP模型库"),
    ("datasets==2.14.0", "数据集加载工具"),
]
for pkg, purpose in requirements:
    print(f"  {pkg}  # {purpose}")
print("---")

# 版本指定方式详解
print("\n🔢 requirements.txt 中版本号的四种写法：")
version_patterns = np.array([
    ("numpy==1.24.3", "精确锁定", "只用1.24.3这个版本"),
    ("numpy>=1.20,<2.0", "范围约束", "1.20以上但不到2.0的任何版本"),
    ("numpy~=1.24.3", "兼容版本", "1.24.3及以上，但不升到1.25（patch+）"),
    ("numpy", "不指定", "安装最新版本（不推荐）"),
], dtype=[("写法", "U25"), ("策略", "U15"), ("说明", "U40")])

for pattern, strategy, desc in version_patterns:
    mark = "✅" if "==" in pattern else "⚠️"
    print(f"  {mark} {pattern} → {strategy}：{desc}")

# 模拟：版本冲突检测
print("\n⚠️  版本冲突检测（模拟依赖解析）：")
# 用numpy模拟依赖图
deps = np.array([
    ("项目A", "numpy>=1.20", "numpy>=1.24", "✅ 兼容"),
    ("项目B", "numpy>=1.26", "numpy<=1.24", "❌ 冲突！需要虚拟环境"),
], dtype=[("需求方", "U10"), ("需求1", "U15"), ("需求2", "U15"), ("结果", "U20")])

for dep in deps:
    print(f"  {dep['需求方']}: {dep['需求1']} vs {dep['需求2']} → {dep['结果']}")

print("\n💡 最佳实践：")
print("  1. 开发时安装包: pip install numpy pandas")
print("  2. 锁定版本: pip freeze > requirements.txt")
print("  3. 提交到Git: git add requirements.txt")
print("  4. 队友安装: pip install -r requirements.txt")

什么用：在AI项目中，requirements.txt确保了训练环境和部署环境的一致性。如果训练时用的是numpy 1.24而生产环境用了numpy 1.26，可能导致模型输出结果不一致——这是实际生产事故的常见原因。

三、pip进阶：加速安装与安全实践

是什么：pip支持镜像源配置、缓存管理、哈希验证等进阶功能，让包管理更快、更安全。

大白话：就像你网购可以选择不同仓库发货——默认从PyPI（国外）下载很慢，换成清华/阿里镜像（国内）就飞快；哈希验证就像签收时核对包裹编号，确保没被掉包。

为什么：PyPI官方服务器在国外，国内下载速度可能只有几十KB/s。切换国内镜像源可以实现MB/s级的下载速度。同时，供应链安全越来越重要，验证包哈希值能防止恶意篡改。 怎么做：

import numpy as np

# ============================================
# pip 镜像源与安全实践
# ============================================

print("=" * 50)
print("🚀 pip 进阶技巧")
print("=" * 50)

# 国内常用镜像源
print("\n🌐 国内PyPI镜像源：")
mirrors = np.array([
    ("清华大学", "https://pypi.tuna.tsinghua.edu.cn/simple"),
    ("阿里云", "https://mirrors.aliyun.com/pypi/simple"),
    ("中国科学技术大学", "https://pypi.mirrors.ustc.edu.cn/simple"),
    ("豆瓣", "https://pypi.douban.com/simple"),
], dtype=[("来源", "U20"), ("URL", "U50")])

for src, url in mirrors:
    print(f"  📍 {src}: {url}")

# 使用镜像源的三种方式
print("\n📝 使用镜像源的方式：")
print("  # 方式1：临时指定（推荐，不影响全局设置）")
print("  $ pip install numpy -i https://mirrors.aliyun.com/pypi/simple")
print()
print("  # 方式2：永久配置（写入 ~/.pip/pip.conf）")
print("  $ pip config set global.index-url https://mirrors.aliyun.com/pypi/simple")
print()
print("  # 方式3：安装时加信任主机（HTTPS证书问题时的备用）")
print("  $ pip install numpy -i https://pypi.douban.com/simple --trusted-host pypi.douban.com")

# 模拟：pip的缓存机制
print("\n📦 pip 缓存机制：")
cache_info = np.array([
    ("首次安装", "下载wheel文件 → 安装 → 缓存到本地 ~/.cache/pip/"),
    ("重复安装", "检查缓存 → 命中 → 直接从缓存安装（秒级完成）"),
    ("清理缓存", "$ pip cache purge  # 释放磁盘空间"),
], dtype=[("场景", "U30"), ("流程", "U60")])

for scene, flow in cache_info:
    print(f"  🔄 {scene}: {flow}")

# 安全实践：哈希验证
print("\n🔒 依赖安全最佳实践：")
print("  1. 生成带哈希的requirements.txt:")
print("     $ pip freeze --require-hashes > requirements-lock.txt")
print("  2. 效果：每行包名后面跟着 sha256 哈希值")
print("     numpy==1.24.3 \\")
print("       --hash=sha256:abc123def456...")
print("  3. 安装时pip会验证下载的包与哈希是否一致")
print("     → 防止中间人攻击和包被篡改")

什么用：在公司内网或CI/CD流水线中，通常部署私有PyPI镜像（如使用devpi或Nexus），团队所有成员统一使用内网镜像，下载飞快且安全可控。AI训练集群尤其依赖快速可靠的包管理。

四、从pip到现代工具：PDM与Poetry简介

是什么：PDM和Poetry是新一代Python项目管理工具，在pip基础上增加了依赖解析器、锁定文件、项目打包等功能。

大白话：pip只管包的「安装」，PDM/Poetry像项目管家，还会自动分析依赖冲突、生成精确的锁定文件、帮你打包发布。pip是手动挡，PDM/Poetry是自动挡。

为什么：pip的依赖解析不够智能——当你安装包A（依赖numpy>=1.20）和包B（依赖numpy<=1.24）时，pip可能直接报错或安装错误版本。PDM和Poetry的依赖解析器能自动计算出满足所有约束的numpy版本（1.20~1.24之间），真正解决依赖地狱。 怎么做：

import numpy as np

# ============================================
# 现代包管理工具对比
# ============================================

print("=" * 50)
print("🔧 Python包管理工具演进")
print("=" * 50)

# 工具对比
tools = np.array([
    ("pip", "✔️", "❌ 弱", "requirements.txt", "Python自带", "2010+"),
    ("pip-tools", "✔️", "✔️", "requirements.in + .txt", "需安装", "2015+"),
    ("Poetry", "✔️", "✔️ 强", "pyproject.toml + poetry.lock", "需安装", "2018+"),
    ("PDM", "✔️", "✔️ 强", "pyproject.toml + pdm.lock", "需安装", "2021+"),
    ("conda", "✔️", "✔️", "environment.yml", "需安装Miniconda", "2012+"),
], dtype=[("工具", "U15"), ("装包", "U8"), ("依赖解析", "U10"), ("锁定文件", "U30"), ("安装方式", "U15"), ("出现年代", "U12")])

print("\n📊 工具对比矩阵：")
header = f"  {'工具':<10} {'依赖解析':<12} {'锁定文件':<25} {'推荐场景':<20}"
print(header)
print("  " + "-" * len(header))
for tool in tools:
    print(f"  {tool['工具']:<10} {tool['依赖解析']:<12} {tool['锁定文件']:<25}", end="")
    if tool['工具'] == "pip":
        print("简单项目", end="")
    elif tool['工具'] == "Poetry":
        print("中型项目/库开发", end="")
    elif tool['工具'] == "PDM":
        print("符合PEP标准项目", end="")
    elif tool['工具'] == "conda":
        print("AI/科学计算", end="")
    print()

# 现代项目的 pyproject.toml 示例
print("\n📄 pyproject.toml 示例（现代Python项目标准配置）：")
print("""  [project]
  name = "my-ai-project"
  version = "0.1.0"
  requires-python = ">=3.9"
  dependencies = [
      "numpy>=1.24.0,<2.0",
      "pandas>=2.0.0",
      "torch>=2.0.0",
  ]

  [build-system]
  requires = ["setuptools>=68.0"]
  build-backend = "setuptools.build_meta"
""")

print("💡 学习路线建议：")
print("  入门 → pip + requirements.txt（本节重点）")
print("  进阶 → pip-tools（pip-compile生成锁定文件）")
print("  现代 → Poetry 或 PDM（全生命周期管理）")
print("  AI方向 → conda + environment.yml（最省心）")

什么用：在AI团队协作中，从pip+requirements.txt开始足够，随着项目复杂度增长（多个子模块、需要发布为库、CI/CD自动化），逐步迁移到Poetry或PDM是自然演进路线。

概念关系图谱

重点答疑

Q1: pip install 和 pip3 install 有什么区别？

回答：在现代系统中（尤其是macOS和Linux），pip和pip3通常指向同一个pip程序（都是Python 3的pip）。历史原因：macOS曾自带Python 2.7，pip指向Python 2的包管理器，pip3指向Python 3的。现在Python 2已停止维护，两者一般等价。但最保险的做法是用python3 -m pip install——这明确指定了用哪个Python解释器的pip，绝不会装错地方。

Q2: requirements.txt中的包有间接依赖怎么办？比如我只写了torch，但torch还依赖numpy。

回答：pip会自动解析和安装间接依赖（也叫传递依赖）。你只写torch==2.0.1，pip会自动安装torch需要的numpy、typing-extensions等。但问题在于：pip freeze > requirements.txt会列出所有包（包括间接依赖），导致文件臃肿。更好的做法是只写直接依赖（torch、transformers），配合pip-tools的pip-compile生成包含所有间接依赖的锁定文件。

Q3: 为什么我pip install时报SSL证书错误？

回答：常见于公司内网环境或使用了自签名证书的镜像源。解决办法：①临时跳过验证（不推荐）：pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org；②使用国内镜像：-i https://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com；③更新证书：pip install --upgrade certifi。长期方案是让IT配置正确的企业CA证书。

章节单词汇总