Liseyi bitirdikten sonra sıra kolej seçimine geldi. Dünyaca ünlü Harvard Üniversitesi onu istiyordu. Özellikle dedesi ve anneannesi, Harvard’a gitmesi için baskı yapıyordu. Harvard demek, geleceğinizi garantiye almak demek. Ancak Malcolm, Harvard’ı seçmesi halinde eğitim ile spor arasında seçim yapmak zorunda kalabileceğini biliyordu. İki hedefi arasında bir dengeye ihtiyacı vardı. Annesinden bulduğu destekle Virginia Üniversitesi’ne gitme kararı aldı. Orada akademik kariyeri kadar basketbola da odaklanabilme şansı vardı.
Virginia Üniversitesi’nin basketbol programının başında Koç Tony Bennett vardı. Bennett, sporcu öğrencilerin yüksek akademik başarılar elde ettiği Stanford gibi okullara hayranlık duyan, Virginia’nın da aynı düzeni oturtmasını isteyen bir spor adamı. Aynı zamanda akademik geçmişi olan bir aileden geldiği için Bennett, dersler konusunda Malcolm’a yardımcı olmanın ne kadar önemli olduğunun bilincinde bir koçtu. Tony Bennett’ın kendisine sadece “NBA’e gönderebileceği bir oyuncu” olarak bakmaması, Malcolm ile koçu arasında bir bağ oluşmasını kolaylaştırdı. Brogdon, derslerine girebilmesi için Koç Bennett’ın defalarca antrenman saatlerini değiştirdiğini, akademik hayatına bir engel oluşturmamak için son derece özenli davrandığını, bu sebeple koçunun yüzünü kara çıkartmamak için çok daha sıkı çalıştığını söylüyor.
Genellikle NBA oyuncuları, kolejde bir ya da iki yıl geçirdikten sonra drafta girip, profesyonel olurlar. Kolejde dört yıl boyunca kalan öğrencilerin birçoğu, yetenek olarak daha alt seviyelerdeki isimlerdir. Ancak CJ McCollum, Malcolm Brogdon gibi istisnalar da yok değil. Brogdon, çok başarılı bir kolej kariyeri geçirdi. Çok daha önce okulu bırakıp, profesyonel de olabilirdi. Ancak o, mezun olup, diplomasını aldıktan sonra NBA yapmak istedi. Tarih bölümünden mezun oldu ve kamu politikası alanında master yaptı. Kamu politikası üzerine çalışmasının sebebi, daha dokuz yaşında bir çocukken kendisine verdiği sözdü. Bir gün dönüp, o insanlara yardım edecekti.