FastDINOv2: Frequency Based Curriculum Learning Improves Robustness and Training Speed

FastDINOv2: Обучение на основе частот улучшает устойчивость и скорость обучения В этой статье представлена FastDINOv2, новая стратегия предварительного обучения для DINOv2, которая улучшает как скорость обучения, так и устойчивость. Подход использует обучение на основе частотной фильтрации, начиная с низкочастотных компонентов и переходя к полноразмерным изображениям с добавлением Гауссовского шума. При применении к ViT-B/16 это метод сокращает время предварительного обучения и FLOPs, сохраняя при этом конкурентоспособную производительность линейного зондирования и устойчивость к искажениям. Двухэтапное обучение сначала понижает дискретизацию изображений, чтобы подчеркнуть низкочастотные компоненты, а затем использует полноразмерные изображения с добавлением Гауссовского шума. Это заставляет модель изучать инвариантность к высокочастотным возмущениям. Результаты демонстрируют более быструю сходимость и повышенную устойчивость. Этот метод показывает, что устойчивость можно встроить в самообучение с учителем с помощью тщательного проектирования учебной программы, а не полагаться исключительно на экстремальный масштаб. #DINOv2 #СамообучениеБезУчителя #Устойчивость #ОбучениеПоПрограмме #КомпьютерноеЗрение #ЧастотнаяФильтрация #ViT документ - https://arxiv.org/pdf/2507.03779v1 подписаться - https://t.me/arxivdotorg отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM