Graveur proche de la maison Cadart qui publie quelque unes de ses eaux fortes à partir de 1874. D'autres seront exposées aux Salons de Bruxelles de 1875 et 1878. En 1879, il fait l'acquisition de la presse de François Taelemans (1851-1931) par l'intermédiaire de Rops, cousin de ce dernier.
Ami de Félicien Rops, il partage avec lui ses ambitions relatives à la création d'un journal, La Revue Internationale des Arts et des Lettres, que le Namurois voulait fonder avec Armand Gouzien (1839-1892). Dans une lettre datée de mars 1868 à Ernest Scaron, Rops en évoque les administrateurs Ernest Parent (1835-1873) et Le Bailly d'Inghuem.
Il est membre de la Société internationale des Aquafortistes mais n'a pas donné de planches aux publications de la société ; on ignore s'il était membre effectif ou correspondant. On retrouve son nom enregistré en août 1876 dans le livre des comptes car il souscrit un abonnement à l'Album.
Il est l'auteur présumé de plusieurs ouvrages comme les Traités du commerce et les Fastes héroïques de la France. On lui connait aussi un petit livre de souvenirs Joseph Stevens (Souvenirs anecdotiques) publié à Bruxelles chez G. van Oest & Cie en 1905 sous le nom de A. Inghuem. Il y raconte notamment les débuts de l'artiste vers 1850 ainsi que les débuts de Rops.
Mis en ligne par Giuseppe Di Stazio et rédigée en partie par Catherine Méneux, janvier 2025