【MetaCLIP】添加MetaCLIP模型paddle版本 - #3403
Conversation
- 添加MetaCLIP PaddlePaddle实现 - 包含前向对齐验证 - 包含可训练性验证 - 包含性能验证
|
Thanks for your contribution! |
|
|
- 添加前向对齐验证脚本 - 添加可训练性验证脚本 - 添加性能验证脚本
- 移动模型文件到 model_zoo 目录 - 移动验证脚本到 model_zoo 目录 - 添加模型文档
| @@ -0,0 +1,10 @@ | |||
| Arch: | |||
There was a problem hiding this comment.
配置文件需要写完整，包括数据部分，学习率部分，支持完整的训练流程。
There was a problem hiding this comment.
已补全 metaclip_base.yaml，增加 Global、AMP、Loss、Optimizer、DataLoader、Infer、Metric 等完整训练/验证/推理配置，并补充预训练权重和数据路径说明。
| @@ -0,0 +1,108 @@ | |||
| import paddle | |||
There was a problem hiding this comment.
该模型权重链接需要添加，把权重发给负责人，负责人上传后提供链接
There was a problem hiding this comment.
已将权重上传至 AI Studio 星河社区：
https://aistudio.baidu.com/modelsdetail/51427/space
其中包含转换后的 PaddlePaddle 权重 metaclip_b16.pdparams 和原始 PyTorch/timm 权重 metaclip_b16.safetensors。
There was a problem hiding this comment.
已根据反馈更新：
- 模型名称和权重名称已统一为
MetaCLIP_B_16/MetaCLIP_B_16_pretrained.pdparams。 - 权重已使用 AI Studio Git LFS 命令行方式重新上传。
- AI Studio 模型空间中已删除旧的
metaclip_b16.pdparams和metaclip_b16.safetensors，仅保留核心 Paddle 权重。 - PR 中代码、配置和文档已同步修改。
权重页面：https://aistudio.baidu.com/modelsdetail/51427/space
验证：
- MetaCLIP_B_16 模型构造测试通过
git diff --check无格式问题
| import paddle.nn.functional as F | ||
| from functools import partial | ||
|
|
||
| print("🔍 metaclip_paddle.py is being loaded...") |
There was a problem hiding this comment.
已清理 metaclip.py 中不必要的调试输出、无用 import 和注释。
| @@ -0,0 +1,228 @@ | |||
| import torch | |||
There was a problem hiding this comment.
metaclip_verify文件夹可以额外提供，但是不要提交pr
There was a problem hiding this comment.
已移除 metaclip_verify 验证脚本目录，不再提交到 PR。
3 participants
【MetaCLIP】添加 MetaCLIP_B_16 模型 Paddle 版本
模型介绍
添加 MetaCLIP_B_16 的 PaddlePaddle / PaddleClas 实现。
MetaCLIP 是基于 CLIP 的视觉编码器，通过元数据驱动的数据管理策略，在 CLIP 训练中实现了更好的数据质量和模型性能。
权重文件
MetaCLIP权重已上传至 AI Studio 星河社区：
https://aistudio.baidu.com/modelsdetail/51427/space
验证内容
复现精度
前向对齐验证
可训练性验证
性能验证
验证结果的截图：
文件变更
ppcls/arch/backbone/model_zoo/metaclip.pyppcls/arch/backbone/__init__.pyppcls/configs/MetaCLIP/metaclip_base.yamldocs/zh_CN/models/MetaCLIP/metaclip_base.md