JuiceFS 社区版 1.4 针对 AI 训练、数据集管理等大规模文件场景，在元数据引擎层面做了三项核心优化，分别解决了百万级文件删除慢、大目录克隆效率低、热点元数据重复查询开销大的问题，性能提升非常显著：在 10 万个文件的扁平目录测试中，批量删除最高提升 93 倍，批量克隆最高提升 24 倍。
一、批量删除：多次小事务合并为少量大事务，消除网络开销
优化背景
在 JuiceFS 元数据与数据分离的架构下，删除文件需要完成移除目录项、更新 inode 引用计数、回收空间、处理回收站、调整配额等多项操作，且这些操作需要在同一个事务中完成。早期 rm -rf 采用逐文件删除方式，每个文件都会触发一次独立元数据事务提交，文件量越大，累积的系统调用、上下文切换、网络往返开销越明显；即使使用 juicefs rmr 绕过 FUSE 协议层支持多线程并发删除，仍需要每个文件对应一次独立事务，十万级文件就需要十万次事务，性能仍有瓶颈。
核心优化思路
新增 BatchUnlink 接口，允许客户端将同一目录下的多个非目录文件在一次调用中批量删除：
递归清空目录时，不同子目录支持并发处理，充分利用多线程删除能力；
同一目录内部，将普通文件、符号链接等非目录条目按批次提交给 BatchUnlink 处理，把原本逐个发起的操作合并为更少的批量事务，大幅减少事务提交和网络往返开销。
注：BatchUnlink 不直接批量删除目录，目录删除遵循递归顺序（先清空子目录内容再删除目录本身），作用范围仅限定在同一目录下的普通文件和符号链接，保证递归删除语义的正确性和目录树结构一致性。
分后端实现策略
不同元数据后端采用了针对性的批量化策略：
SQL 后端（MySQL、PostgreSQL 等）：原来 N 个文件删除需要 N 次独立事务，现在改为一次批量查询获取待删除条目、一次带锁批量查询获取 inode 属性，所有操作在同一个事务内批量执行，仅需要一次事务即可完成。
Redis 后端：利用 Redis Pipeline 和事务机制，将多个文件的操作命令全部放入 Pipeline，在单次 MULTI/EXEC 事务中原子执行，批次大小固定为 250 个条目，避免阻塞 Redis 单线程过久。
TiKV 后端：将多次删除操作合并到单次事务，充分利用 TiKV 的批量写入能力，减少网络往返和事务开销。
千万级目录删除附加优化：连接池配置调优
处理千万级目录删除时，短时间会产生大量并发连接请求，连接池配置不合理容易引发 too many connections 错误，建议参考以下配置调整：
最大连接数：根据元数据引擎性能设置，Redis 建议 100-200，MySQL 建议 50-100；
最小空闲连接：保持 10-20 个空闲连接，应对突发请求；
连接超时：设置为 30-60 秒，避免连接长期闲置；
可通过 JuiceFS 配置文件或命令行参数调整这些参数。
二、批量克隆：优化大规模目录复制效率，降低元数据开销
JuiceFS 1.4 优化后的克隆功能，可高效复制文件和目录，克隆后的文件与原始文件行为完全一致，修改克隆文件不会影响原始文件，适合数据集副本创建等场景。克隆基于引用计数实现：仅复制元数据，数据块通过引用计数共享，删除克隆文件时，引用计数归零才会真正删除数据块。
大规模克隆注意事项
每个克隆都会占用元数据引擎的存储空间，克隆大规模目录前需要评估元数据大小，超大目录建议分批操作；
克隆操作意外中断可能产生元数据泄漏，可通过 juicefs gc --delete 命令清理泄漏的元数据；
为提升性能，建议元数据引擎使用 SSD 存储，适当增加元数据缓存大小，避免过高的并发克隆操作。
三、Redis 缓存优化：客户端缓存减少热点元数据重复查询
针对热点元数据读取场景，JuiceFS 1.4 引入了 Redis 客户端缓存优化，减少了重复查询的网络交互开销：对于中小规模场景，Redis 本身通过哈希结构存储目录项，本身就支持高效目录遍历，配合客户端缓存后，可进一步降低元数据引擎压力，提升目录遍历速度。
如果使用 Redis 作为元数据引擎，建议配合以下配置进一步提升性能：启用 Redis Cluster 提高扩展性，启用 RDB 持久化保障数据安全，配置合理的内存策略避免 key 驱逐。
需要我为你整理不同元数据引擎针对大规模元数据操作的最佳实践配置吗？帮助你进一步提升性能