Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains (2024)
- Authors:
- Autor USP: PEREIRA, GEAN TRINDADE - ICMC
- Unidade: ICMC
- Sigla do Departamento: SME
- DOI: 10.11606/T.55.2024.tde-30042024-135847
- Subjects: REDES NEURAIS; VISÃO COMPUTACIONAL; COMPUTAÇÃO EVOLUTIVA
- Keywords: Busca de arquitetura neural; Computer vision; Convolutional neural networks; Meta-aprendizado; Meta-learning; Neural architecture search; Neural networks; Redes neurais convolucionais
- Agências de fomento:
- Language: Inglês
- Abstract: Um fator crítico para o progresso de Deep Learning ao longo dos anos foi a proposta de novas arquiteturas que permitiram avanços consideráveis nas capacidades de aprendizagem de Redes Neurais. No entanto, especialistas ainda majoritariamente definem arquiteturas neurais em um processo demorado de tentativa e erro. Como resultado, a necessidade de otimização deste processo levou ao surgimento da Busca de Arquitetura Neural (NAS), que apresenta duas vantagens principais sobre o status quo: Pode otimizar o tempo de profissionais ao automatizar o projeto das arquiteturas, e permite a descoberta de novas arquiteturas. A estrutura de NAS tem três componentes principais: (i) Espaço de Busca, que define o espaço das arquiteturas candidatas; (ii) Estratégia de Busca, que especifica como o Espaço de Busca é explorado; e (iii) Estratégia de Estimativa de Performance, que define como o desempenho de uma arquitetura é estimado. Embora o Espaço de Buca baseado em célula tenha dominado soluções NAS populares, o mesmo não acontece com as Estratégias de Busca e Estimativa de Performance, onde nenhuma abordagem dominante é usada. Muitos métodos de NAS exploram o espaço das arquiteturas usando Aprendizado por Reforço, Computação Evolucionária e Otimização Baseada em Gradiente. Como Estratégia de Estimativa de Performance, os chamados modelos One-Shot e os mais recentes métodos Training-Free e Prediction-based também ganharam notoriedade. Apesar de apresentar bom desempenho preditivo e custosreduzidos, os métodos de NAS existentes que utilizam tais abordagens ainda sofrem com complexidade de modelo, exigindo muitas GPUs poderosas e longos tempos de treinamento. Além disso, diversas soluções populares exigem grandes quantidades de dados para convergir, envolvem procedimentos ineficientes e complexos, e carecem de interpretabilidade. Neste contexto, uma solução potencial é a utilização de Meta-Aprendizado (MtL). Os métodos de MtL têm a vantagem de serem mais rápidos e baratos que soluções convencionais, pois utilizam experiência prévia para construir novos conhecimentos. Dentre as abordagens MtL, três se destacam: (i) Aprendizado a partir de Propriedades de Tarefa; (ii) Aprendizado a partir de Avaliações de Modelos; e (iii) Aprendizado a partir de Modelos Anteriores. Esta tese propõe dois métodos que utilizam conhecimento prévio para otimizar o framework NAS: Model-based Meta-Learning for Neural Architecture Search (MbML-NAS) e Active Differentiable Network Topology Search (Active-DiNTS). O MbMLNAS aprende tanto com características de tarefas codificadas por meta-atributos arquitetônicos quanto com desempenhos de arquiteturas pré-treinadas para prever e selecionar ConvNets para Classificação de Imagens. O Active-DiNTS aprende com avaliações de modelos, modelos anteriores e propriedades de tarefas na forma de uma estrutura de Aprendizado Ativo que obtém informações de resultados de modelos, estimativas de incerteza e novos exemplos rotulados em um processoiterativo. Experimentos com o MbML-NAS mostraram que o método foi capaz de generalizar para diferentes espaços de busca e conjuntos de dados usando um conjunto mínimo de seis meta-atributos interpretáveis. Usando uma abordagem simples com regressores tradicionais, o MbML-NAS relatou desempenhos preditivos comparáveis com o estado-da-arte usando pelo menos 172 exemplos ou apenas 0,04% e 1,1% dos espaços de busca do NAS-Bench- 101 e NAS- Bench-201. O Active-DiNTS obteve resultados estado-da-arte na segmentação de imagens do conjunto de dados Brain do desafio MSD, superando a linha de base principal DiNTS em até 15%. Em termos de eficiência, configurações alternativas alcançaram resultados comparáveis ao DiNTS usando menos de 20% dos dados originais. Além disso, o Active-DiNTS é computacionalmente eficiente pois gera modelos com menos parâmetros e melhor alocação de memória usando uma GPU.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2024
- Data da defesa: 18.03.2024
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
PEREIRA, Gean Trindade e CARVALHO, Andre Carlos Ponce de Leon Ferreira de. Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains. 2024. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2024. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-30042024-135847/. Acesso em: 10 jun. 2024. -
APA
Pereira, G. T., & Carvalho, A. C. P. de L. F. de. (2024). Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-30042024-135847/ -
NLM
Pereira GT, Carvalho ACP de LF de. Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains [Internet]. 2024 ;[citado 2024 jun. 10 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-30042024-135847/ -
Vancouver
Pereira GT, Carvalho ACP de LF de. Meta-Learning applied to Neural Architecture Search. Towards new interactive learning approaches for indexing and analyzing images from expert domains [Internet]. 2024 ;[citado 2024 jun. 10 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-30042024-135847/
Informações sobre o DOI: 10.11606/T.55.2024.tde-30042024-135847 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
