Va néixer l'1 de juny de 1902 a la ciutat de Barcelona. Interessat des de ben jove per l'obra de l'arquitecte Antoni Gaudí i del seu oncle, el pintor Josep Maria Sert, va estudiar a l'Escola Tècnica Superior d'Arquitectura de Barcelona. L'any 1976 fou guardonat amb la Medalla d'Or de l'Acadèmia d'Arquitectura de França, i el 1981 amb la Medalla d'Or d'Arquitectura concedida pel Col·legi d'Arquitectes d'Espanya. Aquell mateix fou guardonat amb la Medalla d'Or de la Generalitat de Catalunya. Morí el 15 de març de 1983 a la ciutat de Barcelona.
L'any 1926 viatjà a París, ciutat on conegué l'obra de Le Corbusier. L'any següent s'incorporà a l'estudi de Le Corbusier, on hi col·laborà diversos anys, i amb el qual realitzà el Pla Macià per remodelar la ciutat de Barcelona.
L'any 1930 començà a projectar els primers edificis, que reflectien ja el color blanc i la profusió per la llum, caràcter eminentment mediterrani. Edificis de clara tendència racionalista, que eludeixen qualsevol ornament o element innecessari. D'aquesta època en destaquen el Dispensari Antituberculós o un edifici del carrer Muntaner de Barcelona.
Cofundador del GATCPAC (Grup d'Arquitectes i Tècnics Catalans per al Progrés de l'Arquitectura Contemporània), l’any 1941, emigrà als Estats Units on creà, juntament amb d'altres arquitectes el Town Planning Associates, estudi d'arquitectura que projectà diversos plans urbanístics entre els quals, un pla pilot per a la ciutat de L'Havana.
Professor d'Arquitectura a la Universitat de Yale, l'any 1953 fou nomenat degà de l'Escola de Disseny de la Universitat de Harvard, càrrec que va exercir fins el 1969. El 1955 va fundar un nou despatx d'arquitectura amb diversos socis, que va realitzar projectes arreu dels Estats Units, tant comercials, com residencials, institucionals i d'oficines. A l'entorn de la Universitat de Harvard va dissenyar diversos edificis que formen part de les seves obres més representatives i en les quals es reflecteix l'atmosfera mediterrània que Sert va conservar en els seus dissenys al llarg de la seva vida professional. Obres representatives:
* 1930-1931: Edifici d'Habitatges al carrer Muntaner (Barcelona)
* 1932-1936: Casa bloc (Barcelona)
* 1933-1935: Dispensari Antituberculós (Barcelona)
* 1934: Ciutat de Repòs i de Vacances (Barcelona)
* 1936-1937: Pavelló de la República, Exposició Universal de 1937 (París)
* 1955: Estudi Joan Miró, Fundació Pilar i Joan Miró (Palma de Mallorca)
* 1958-1965: Centre de la Ciència i Holyoke, Universitat de Harvard (Boston)
* 1960: Ambaixada dels Estats Units (Bagdad)
* 1961-1963: Apartament de la Universitat de Harvard
* 1964: Fundació Maeght (Saint Paul de Vence, França)
* 1972-1975: Fundació Joan Miró (Barcelona)
Entre les seves últimes obres podem trobar les cases de Punta Martinet a Eivissa on ell es va establir (1966-1970), les quals son un exemple de sobrietat arquitectònica molt d'acord amb l'arquitectura popular Eivissenca de la qual en fou un gran admirador. Està enterrat en el sobli cementiri del poblet de Jesus, vora la ciutat d'Eivissa.