Adoção do CUDA: dos primeiros experimentos com GPUs ao avanço do AlexNet

Os pesquisadores de IA começaram a reconhecer a enorme vantagem de desempenho do CUDA para redes neurais entre 2006 e 2009, com o avanço definitivo para o grande público acontecendo em 2012. Antes dessa mudança, as redes neurais eram amplamente consideradas lentas e computacionalmente caras demais para serem práticas.

Principais marcos na adoção do CUDA

• 2006 (lançamento do CUDA): a NVIDIA lançou o CUDA, permitindo que pesquisadores programassem GPUs com C/C++ padrão em vez de shaders gráficos complexos (como OpenGL).

• 2007–2008 (primeiros experimentos com redes neurais): os primeiros adeptos começaram a portar algoritmos de redes neurais para o CUDA. Em 2008, o pesquisador Rajat Raina e a equipe de Andrew Ng em Stanford demonstraram que GPUs executando CUDA podiam treinar redes de crença profunda até 70 vezes mais rápido do que CPUs multinúcleo.

• 2009–2010 (benchmarks recordes): o laboratório de Jürgen Schmidhuber (incluindo Dan Cireșan) usou GPUs aceleradas por CUDA para treinar redes neurais profundas que quebraram recordes de reconhecimento de escrita manual (MNIST), provando que redes mais profundas podiam ser treinadas sem supercomputadores especializados.

• 2012 (a virada do AlexNet): o momento decisivo ocorreu na competição ImageNet. Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton usaram kernels CUDA personalizados em duas GPUs NVIDIA GTX 580 para treinar o AlexNet, reduzindo quase pela metade as taxas de erro na classificação de imagens em comparação com os métodos tradicionais. Essa vitória desencadeou a revolução moderna do deep learning.

• 2014 (lançamento da cuDNN): após o boom do AlexNet, a NVIDIA lançou a cuDNN (CUDA Deep Neural Network library), oferecendo a todos os pesquisadores de IA blocos de construção de GPU otimizados e prontos para uso em frameworks como Caffe, Theano, TensorFlow e PyTorch.

Por que isso mudou tudo

Antes do CUDA, treinar uma rede neural de tamanho moderado em CPUs levava semanas ou meses, tornando a pesquisa por tentativa e erro quase impossível. O CUDA reduziu esses tempos de treinamento para dias ou horas, permitindo que os pesquisadores ampliassem os conjuntos de dados, empilhassem mais camadas e inventassem arquiteturas modernas como os Transformers e os grandes modelos de linguagem.