Jacques Olivier est un grand admirateur de l'architecte Félix Le Saint qui œuvre à la Reconstruction de Lorient et dont il apprécie les idées modernistes. Olivier a aussi une grande admiration pour un autre confrère, le Grand Prix de Rome qu’est Jean-Baptiste Hourlier. Ces deux architectes qu'il admire tant font de lui un architecte des deux parties : régionaliste et moderniste.

C’est sans doute pour ses idées de créateur de formes qu’il est choisi par l’urbaniste Georges Tourry et l’architecte Jean-Baptiste Hourlier comme architecte d’opération de l’ensemble de la Banane qui lui permet alors de se jouer de la plastique urbaine. Le chantier de Lorient lui donne l’occasion de satisfaire son esprit inventif. Il signe, seul ou en équipe, des projets importants dans la lecture de la ville. Il retravaille constamment ses projets d’envergure que sont la partie sud du nouveau quartier de l’Eau-Courante (associé à Charles Pirioux) et surtout l’ensemble Oradour (associé à René Grihangne).

Il signe dans l’intra-muros peu de choses, les anciennes halles Saint-Louis aujourd’hui détruites, et moins d’une dizaine d’immeubles. Ses maisons individuelles rappellent celle de Félix Le Saint, en particulier par la qualité du travail des volumes. Il est également à l’origine du quartier du Ter avec Pierre Brunerie. Les liens d’amitié sont un trait de son caractère. On lui reconnait également un humour pointu traduisant son regard sur les situations ou les personnes.

Appréciant les idées modernes, il se révèle assez tôt comme l’un des plus progressiste parmi ceux qui ont rebâti la ville. Il se démarque par un vocabulaire épuré que peu oseront employer à l’époque. La forme extérieure de chaque bâtiment ce devant d’être simple et claire, révélant de la manière la plus évidente la géométrie du lieu : ici un croisement, là une courbe ou une ponctuation. C’est la forme générale qui prévaut, refusant tout effet de style purement décoratif. Il fait simplement jouer la lumière sur les aplats blancs, ne se permettant qu’un alignement de légers balcons ou d’une trame de points perçant la façade comme toute texture. Par ses formes blanches il sculpte la ville afin d’en clarifier la lecture.

L’aspect minimaliste de l’extérieur de ses immeubles contraste très souvent avec la qualité de ses détails et la virtuosité de l’aménagement intérieur où il retrouve sa formation première d’ébéniste. Ici aussi les formes semblent également sculptées pour servir l’espace. Du volume d’une cage d’escalier, d’une cheminée se noyant dans la plastique d’un mur, ou d’une cloison de rangements, toutes pièces constituant l’habitat s’accompagne d’une profusion de détails réfléchis et soignés dans leurs réalisation. La plastique et le pratique se rejoignent pour le plaisir de l’habitant.

Lorient lui doit notamment, en tant qu'architecte en chef, les groupes scolaires de Keryado - Kersabiec avec Henri Conan et René Millot en tant quarchitectes d'opération et Rogé Beauvir, Pierre Brunerie, Charles Pirioux en tant qu'architecte d'opération pour celui du Ter - Kermélo. Pour ce projet, le nom de Charles Pirioux apparaît sur les esquisses de 1964 aux côtés de ses collègues puis disparaît en suite au moment de l'éxécution. Il travaille également sur un immeuble d'habitation pour le compte du CEP (rue docteur Villers) jouxtant le bâtiment du CEP et le long de la salle Brisset. Il réalise la résidence Le Cèdre au Ter, conjointement le gymnase COSEC du Bois-du-Château, au centre social de Kervénanec (avec Beauvir, Bigio et Le Saint). Il travaille à la modification en 1975 des accès entre la Caisse d'Épargne du centre-ville et les anciens Établissements Marceshe (œuvre des architectes Jean-Baptiste Hourlier et A. David), aux travaux d'agrandissement et de réaménagement de l'hôpital Bodélio conjointement avec Jean-Pierre Roullé dans les années 1970 - 1980. Il est à nouveau associé à Félix Le Saint pour la construction d'un nouveau bâtiment affecté à l'enseignement avec un centre de documentaion et d'information) au lycée Colbert dans le cadre de l'extension de l'établissement en 1974.

Bien que sa production architecturale ne s’éloigne qu’épisodiquement des environs de Lorient, il signe pourtant un grand nombre d’opération, notamment du côté de Guidel.

Membre honoraire de l’Ordre des architectes, à la retraite, il se retire dans sa maison du 23 quai des Indes, pour se consacrer pleinement à ses passions artistiques d’origine : la sculpture et la peinture.

Il décède à son domicile le 25 juin 2004.