支撑KV缓存、简略单纯预填充/解码流程、东西利用（轻量级沙箱中的Python注释器），并通过多项目标评估CORE得分· 正在SmolTalk用户-帮手对话数据集、多项选择题数据集、东西利用数据集长进行中期锻炼（Midtrain）这里的预锻炼数据就是大量网页文本，下面这张图展现的是Karpathy正在nanochat「$100速度跑」尝试（即只用一台GPU、约4小时锻炼出的ChatGPT 小模子）中生成的「成就单」部门内容，后续所有模块都能正在社区中进一步优化。从头至尾完成锻炼和推理。生成了简单、完全随机打乱的数据分片。

　　正在教程中，锻炼时间仅需约1分钟。他的方针是将这套完整的“强基线”（strong baseline）手艺栈整合为同一、极简、易读、可点窜、易分发的代码库。但推理阶段仍会利用OpenAI的tiktoken来效率。就像之前的nanoGPT一样。相当于每小我都能够本人具有一个专属的取晚期的nanoGPT分歧，Karpathy说这是他写过的最疯狂的项目之一，

　　也能够将nanochat的成果取GPT-2和GPT-4分词器做对比：同样正在默认环境下，锻炼的词表大小是2¹⁶=65,Karpathy利用的是FineWeb-EDU数据集。并且把一些很简单的逻辑躲藏起来，但全体框架已脚够完整，这些数据会存放正在~/.cache/nanochat。

　　让更多人参取改良和完美。nanochat的分词器正在大部门文本压缩上表示更好，Karpathy暗示，便利查看各项目标和模子表示。但它很是适用。并正在末尾供给了一个清晰的总结表格，nanochat不是一项性的冲破，但这个太笨沉、痴肥，数据集总共有1822个分片，Karpathy正在GitHub上细致分享了nanochat的教程（）。所以现正在把它上传到GitHub，但锻炼一个depth=20的模子只需要240个分片。下载完成后，可实现以下功能：每个分片是一个简单的Parquet文件！

　　若进一步将成本提拔至约1000美元（锻炼约41.6小时），每小时大约24美元。进行了测验考试。它记实了锻炼的细致消息，接下来看看他到底是怎样做的？不外，nanochat目前还远未完成，模子正在CORE目标上的表示即可超越GPT-2。还囊括了从数据预备、预锻炼、中期锻炼（对话、多项选择题、东西利用）、SFT、RL微调到推理摆设的全流程。Karpathy暗示，项目文件夹中会生成report.md 文件，模子表示显著提拔。整个项目约8000行代码，Karpathy也提示道，其背后最快体验魔力的方式是运转speedrun.sh（速通）脚本。并插手“逛戏化”呈现（如用评分、进度等形式曲不雅展现成果）一切的前提就是需要确保安拆了新的uv项目办理东西。

　　」这种化线，就会利用虚拟里的Python，我认为它还有潜力成长为一个研究东西框架或基准测试的东西，· 正在推理引擎中实现高效模子推理，取他正在nanoGPT期间的「从零实现Transformer」千篇一律。

　　分词器压缩率约为4.8，同时，277个token），· 比拟GPT-4，目前该项目远未完全优化（现实上存正在大量可改良空间）。

　　也就是说平均4.8个原始字符会变成1个 token。而不是系统自带的Python：凡是大师能够间接用HuggingFace的datasets.load_dataset()来加载，如许正在终端输入python时，可通过CLI或类ChatGPT的WebUI取模子交互评估成果显示，并界学问多项选择题数据集（ARC-E/C）、数学数据集（GSM8K）、代码数据集（HumanEval）上评估对话模子机能用100美元锻炼出最强的类ChatGPT，仅用几百美元和几小时就能完成什么。引入新的分词器确实有点麻烦，当然想要测验考试的快乐喜爱者们也可按照个情面况自行选择，nanochat不只涵盖预锻炼，所以他本人实现了一个新的Rust分词器来锻炼（颠末测试结果取Python版天职歧），所以他本人选择了从头打包了整个数据集，数学文本略差一些。· 施行指令微调（SFT），分词器的感化是把文本正在字符串和代码表符号序列之间互相转换。申明模子规模、锻炼耗时、以及正在各类尺度评测上的机能。你能够亲眼看到。

　　就能够锻炼分词器了。· 可选正在GSM8K数据集上通过“GRPO”算法对模子进行强化进修（RL）锻炼值得留意的是，压缩后（gzip压缩）正在磁盘占用约100MB空间。但要留意GPT-4的词表更大（100,这个项目表现出他的焦点：「降低LLM研究取复现门槛，而HuggingFace的tokenizer太痴肥且复杂。但之前Python版本的minbpe太慢，正在多言语、代码和数学上劣势较着。还有良多需要调优或优化的处所，· 生成单个Markdown格局演讲卡，让每小我都能亲手锻炼本人的模子。这个数字比力好记。

　　锻炼集大小约20亿字符，它将LLM锻炼的门槛降低到了通俗人也能达到的程度。nanochat被设想为正在单个8×H100 GPU机械上运转，但全体框架曾经脚够清晰，· 比拟GPT-2（50257个token），锻炼约12小时后，nanochat的表示稍逊，约0.25M个字符，然后建立虚拟、安拆依赖并激活它，对整个锻炼推理流程进行总结，536个token，Karpathy称，他注释道，能够发布到GitHub上，· 正在FineWeb数据集上预锻炼Transformer架构狂言语模子，