17370845950

itertools.product 会吃光内存当笛卡尔积项数过大且被强制转为容器或嵌套展开时；例如 range(1000) 四重积达 1e12 项，即使每项 100 字节也需 100TB 内存。

什么时候 itertools.product 会吃光内存？

itertools.product 本身是惰性生成器，不预分配结果列表，但很多人误以为“用了它就安全”——其实只要一调用 list()、tuple() 或参与 for 循环前强行转成容器，或者嵌套在另一个大循环里反复展开，内存就可能飙升。典型场景是：输入迭代器本身不耗内存（如 range(1000)），但笛卡尔积总项数达 1000**4 == 1e12 级别，哪怕每项只占 100 字节，也需 100TB 内存。

关键不是函数本身，而是你如何消费它。

用 itertools.product 但不落地的 3 种实操方式

• 直接用于单次流式处理：

  for combo in itertools.product(range(100), range(100), range(100)):  
    process(combo)  # 不存、不索引、不统计长度

  这样每轮只保留一个元组，GC 可及时回收。

• 加条件提前中断：用 break 或 return 在满足业务逻辑时立刻退出，避免遍历全部组合。例如搜索第一个满足约束的解：

  for a, b, c in itertools.product(*lists):
  
  if constraint(a, b, c):
  
  print(a, b, c)
  
  break

• 分块处理 + 手动控制步长：不用全量生成，改用 itertools.islice 切片取一批处理：

  from itertools import product, islice
  
  gen = product(range(1000), range(1000))
  
  batch = list(islice(gen, 10000))  # 每次只拿 1 万条
  
  while batch:
  
  handle_batch(batch)
  
  batch = list(islice(gen, 10000))

  
  注意：这里 islice

  

  不重置原生成器，所以能连续分页。

替代方案：当笛卡尔积维度高但稀疏时，考虑 yield 自定义生成

如果实际只需要满足某类约束的子集（比如 a + b + c ），硬跑 product 再过滤是低效的——99% 的组合被丢弃，CPU 白算，缓存还污染。此时手写生成器更可控：

def sparse_triplets(max_val):

for a in range(max_val):

for b in range(max_val - a):

for c in range(max_val - a - b):

yield (a, b, c)


这种“剪枝前置”的写法跳过大量无效分支，比先生成再 filter() 快几个数量级，且内存恒定。

容易被忽略的坑：参数里混入已展开的列表

itertools.product 的每个参数应尽量是轻量迭代器。常见错误是传入 list 或 numpy.array：

# 危险！data_list 已加载进内存，且 product 内部仍要迭代它

data_list = [x for x in huge_file_reader()]  # 此刻内存已爆

for pair in product(data_list, data_list): ...

正确做法是让每个参数保持惰性：

# 改用生成器函数或 map

def lazy_reader():

with open("big.txt") as f:

for line in f:

yield line.strip()  
for pair in product(lazy_reader(), lazy_reader()): ...  # 注意：两个独立生成器

⚠️ 特别注意：不能写成 product(lazy_reader(), repeat=2)，因为这会复用同一个生成器对象，第二次迭代时已耗尽。

真正卡住性能的往往不是算法复杂度，而是你以为“只是个生成器”就放松了对数据源头和消费方式的控制。