【红杉播客】AI Neolab--Engram【主攻记忆与持续学习】--分享未来 AI 发展趋势的独特见解

核心论点与核心前提

Engram 的核心前提是：不要一味地将越来越长的提示词强行塞入上下文窗口，或者完全依赖外挂的检索增强生成（RAG）。相反，应该将团队、公司或个人的特有知识直接训练并内化到模型的权重中，让 AI 模型像工作了多年的资深员工一样，本能、直觉式地了解这家公司（01:11）。

目前的 Frontier 实验室主要聚焦于预训练和后训练（Post-training），将模型打造成在数学和代码上具有高 raw intelligence 的工具。而 Engram 认为，AI 未来的瓶颈在于理解“全新且不断演变的上下文”，并主张模型应该处于“永远在训练”的状态（01:04）。

技术实现与架构

团队在技术上通过各种适配器（如 LoRA、Prefix 等）和微调手段（SFT、RL、在策略蒸馏等），在各个工作空间（Workspace）内针对不同团队训练专属的专属小模型（04:39）。

虽然由于可以直接访问权重（White box access），这种方法在开源模型上最容易实施，但他们也可以与闭源模型公司合作，将这种能力应用到任何基于 Transformer 的模型上（06:31）。

与 RAG（外挂检索）及 KV Cache 的对比

尽管不完全排斥 RAG（基础事实的记录依然需要），但如果一味依赖 RAG，模型很难进行抽象的、跨领域的联想（Associations）。此外，当信息量达到每天数千万 Token 时，RAG 的查找和模型的重新阅读成本将变得极为高昂（02:59, 29:00）。

Dan 提到目前的 KV 缓存堪称“庞然大物”--例如一个 Llama 70B 模型对单个长条目的 KV 缓存甚至能吃掉 80GB 的显存，而整个模型的权重也就 100GB 左右。通过梯度下降（离线训练），可以将这 80GB 的“大脑状态”压缩上千倍，并深深烙印在权重中，极大降低推理成本（30:16）。

创始人背景与思维碰撞

Dan 拥有神经科学背景，他提到人类的大脑演化出了特定的局限性，大脑在梦境中其实也是在脱离实际交互后，重新去试验和消化白天所学。Engram 的模型也包含类似的阶段，给模型时间去“消化”并从中学习，以防模型在持续学习中彻底“脱轨”（Off the rails）（13:24, 27:52）。

主持人提出了一个非技术性的“疯狂理论”（即电脑纯电子化的环境强化了语言，削弱了生物学上具有极高比特率的视觉优势）。Dan 和 Jessy 认为，人类在办公室读写备忘录等知识工作（Knowledge work）本就不是生物演化的结果，因此采用基于文本的语言作为现阶段 AI 的切入点和界面是非常高效且合理的（41:11, 42:43）。

未来愿景（5-10年后）

未来不会是只有一个越来越大的通用 AGI 模型统治一切。世界将走向分化：每个人、每个团队都将拥有专属于自己的小模型，它们懂你的风格和独特的习惯（15:21, 42:53）。

正如 DataBricks 或 Oracle 成为传统数据层的基础设施一样，Engram 期望成为所有人访问数据层的“神经网络接口”--它不代表冷冰冰的文件系统，而是代表针对该文件系统的一种高度联想、高效的大脑状态（Brain state）（43:26）。

AI 业内备受瞩目的创新实验室（Neolab）Engram 详细介绍

Engram 是一家在 AI 业内备受瞩目的创新实验室（Neolab），其核心愿景是攻克生成式 AI 的两大终极难题：长期记忆（Memory）与在线持续学习（Continual Learning）。

2026年6月，Engram 正式结束隐身状态（Stealth mode），宣布获得由红杉资本（Sequoia Capital）、Kleiner Perkins 和 General Catalyst 领投的 9800 万美元融资，估值达到 6 亿美元。令人瞩目的是，AI 巨擘 Andrej Karpathy 和 AI 领域泰斗 Pieter Abbeel 均以个人名义进行了追投。而此时，整个公司仅有 13 名员工。

核心创始人背后的技术底色

Engram 的诞生是一场“理论神经科学”与“计算机系统架构”的强强联合。

1. Dan Biderman（首席执行官 CEO）

• 学术背景与底色： Dan Biderman 来自理论神经科学领域。在神经科学中，“记忆”与“大脑印记”是研究的核心。他曾于斯坦福大学统计学与 AI 领域深造，并在世界顶级 AI 专家 Christopher Ré 教授的实验室工作。
• 核心理念： 受到生物学启发，Dan 认为当前的 AI 模型虽然充满智慧，但由于缺乏真正的记忆，它们就像“聪明的陌生人”。他主张模型不应在每次对话时重新检索、阅读文件，而是应该像人类大脑一样，通过消耗离线算力，将知识压缩并“内化”到权重中。

2. Jessy Lin

• 学术背景与底色： Jessy Lin 毕业于麻省理工学院（MIT），在认知计算科学与自然语言处理（NLP）领域拥有深厚的研究背景，随后在加州大学伯克利分校（UC Berkeley）继续进行前沿 AI 机制的研究。
• 核心研究贡献： Jessy 长期专注于模型的主动阅读（Active Reading）与稀疏记忆微调（Sparse Memory Finetuning）。在联合创办 Engram 之前，她便致力于解决模型在面对长上下文时，如何识别“哪些事实值得被记住，哪些事实该被遗忘”的过滤机制。

3. 豪华创始人天团的其他成员

除 Dan 和 Jessy 外，创始团队还包括：

• Sabri Eyuboglu： 斯坦福大学博士，专注于 Transformer 内部记忆机制、状态空间模型（SSM）及 BASED、Minions 等架构的研究。
• Jack Morris： 2025年底毅然放弃康奈尔大学（Cornell）的博士学位加入创办，专注于模型记忆化与对抗性研究。
• Scott Linderman & Christopher Ré： 斯坦福大学知名教授及实验室导师。

公司的起源：从斯坦福实验室到“逆向押注”

1. 实验室的灵感碰撞（2025年前后）

公司起源于斯坦福大学的 AI 实验室。当时，Dan Biderman 和 Sabri Eyuboglu 在 Christopher Ré 的实验室里发现，他们正从两个完全不同的学科两端，追逐着同一个“在当时并不算流行”的概念--机器记忆。

• 传统的计算机科学中，“数据库（存储事实）”和“算法（处理逻辑）”是完全分离的。
• 现代大模型的快猛发展（如预训练和 RAG）虽然部分解决了知识外挂的问题，但并没有从底层改变模型“健忘”的缺陷。

2. “记忆印记”的命名

公司取名 “Engram”（记忆印记/遗痕）正是源自神经科学。在生物学中，engram 指的是记忆在生物大脑神经组织中留下的物理或化学痕迹。创始人们希望在硅基芯片中，为 AI 刻下同样可以线性组合、擦除和沉淀的“神经印记”。

3. 成立与拒绝巨头邀约（2025年10月）

2025年10月，团队正式从斯坦福实验室走出，在旧金山创立了 Engram。为了这个共同的机器记忆愿景，团队内的多位核心成员拒绝了来自 Google Gemini 团队和 Anthropic 等前沿实验室的高薪 Offer，选择加入这场胜算极高却充满挑战的 calculated risk（精确计算的冒险）。

发展历史与商业演进（2025年10月 - 2026年6月）

1. 隐身期与“RAG 杀手”架构的确立

在创立初期的几个月里，Engram 在隐身状态下快速迭代。大模型行业当时正深陷“高昂的 Token 推理成本”和“日益臃肿的上下文窗口（Context Window）”危机。

• 痛点： 现有的企业 AI 代理（Agents）在处理一份 7 万字的合同或代码库时，其生成的 KV Cache（键值缓存）会膨胀到 100GB 以上。每问一个新问题，模型就得把这 100GB 的“大脑状态”重新从磁盘加载或重新计算一遍，这带来了恐怖的显存占用和资金消耗。
• Engram 的解法： 他们提出了一套“永远在训练”（Always Training）的架构。利用团队此前在 LoRA、BASED、Cartridges、稀疏微调等领域的一系列突破性论文成果，Engram 能够在后台自主运行轻量化的微调，把企业的 Bespoke（定制化）工作流、专属工具链和团队上下文，直接压缩成数千倍小的适配器权重。

2. 拥抱顶尖生态合作伙伴

随着算力成本和 Token 消耗成为应用层的最大痛点，Engram 的技术迅速迎来了强烈的市场需求。在隐身期间，他们便与 Microsoft（微软）、Notion、Harvey（知名法律 AI）等在企业协作和大规模数据处理上饱受 AI 运营成本折磨的巨头及头部初创公司达成了战略合作伙伴关系。

3. 轰动性的高额融资与未来愿景（2026年6月）

2026年6月23日前后，Engram 正式走出隐身状态，向世界揭晓了其 9800 万美元的巨额融资。

在红杉资本主持的 Training Data 播客中，Dan Biderman 和 Jessy Lin 勾勒出了公司的终极演进路线：

• 从每天更新到每分钟更新： 目前 Engram 的系统能够让模型在企业内部每天自主消化和吸收新产生的数据。未来，他们的目标是提升数据吸收频率到“每小时”，最终实现“每分钟”甚至“实时更新”而不会发生灾难性遗忘（Catastrophic forgetting）。
• 去中心化的个人模型时代： Frontier 实验室（如 OpenAI、Anthropic）在拼尽全力用海量资源去堆积一个庞大、通用的 AGI。而 Engram 坚信未来的世界属于分化：“每个人、每个团队都应该拥有一个属于自己的小模型”。这个模型独立、安全、可控、极度便宜，且会在日常使用中，像一个真正的数据员工一样，每天醒来都变得比昨天更聪明。