Отто Бенндорф родился в 1838 году в княжестве Ройсс-Старшая линия. В юности он проявлял большой интерес к археологии и в конце концов решил продолжить ее в своем высшем образовании. На протяжении многих лет он занимал различные академические должности и участвовал в многочисленных археологических экспедициях в Греции, в том числе в Самофракии (1875 г.), Ликии (1881-82 гг.) и Эфесе (1895 г.).
В 1896 году он начал усилия по открытию объекта в Афинах для надзора за австрийскими археологическими проектами в Греции. В течение года он убедил короля Греции Георга I пожертвовать участок земли недалеко от Педион-ту-Ареос на недавно открывшемся проспекте Александрас. Он быстро получил финансирование и нанял архитектора Эрнста Циллера, профессора Королевской школы искусств в Афинах, который уже спроектировал несколько самых известных зданий в Афинах, и друга австрийского посла.
Австрийский археологический институт в Афинах официально открылся в 1908 году: три уровня, нейтральные по стилю, с декоративными каменными углами и множеством окон. Центральная секция была увенчана шатровой крышей, а две боковые секции имели плоскую крышу. На первом этаже располагались библиотека и офисы, а на двух верхних уровнях были дополнительные офисы и жилые помещения для избранных сотрудников. Верхний этаж здания был уникален тем, что был короче двух нижних этажей и отделен от остальной части здания снаружи обвязкой по периметру.
В этом здании институт продолжал свою важную работу до 1938 года, когда Германия перед Второй мировой войной аннексировала Австрию. В то время институт фактически стал полубездействующим филиалом Археологического института Германского рейха. Когда немцы бежали из Афин, здание было освобождено и оставалось в таком виде до 1947 года, когда оно было отремонтировано для использования в качестве посольства Австрии в Греции. Институт продолжал свою деятельность после Второй мировой войны, но не с этого места до 1964 года. Он снова полностью взял на себя ответственность в 2003 году, когда посольство переехало.
Институт является одним из 17 зарубежных археологических институтов в Афинах, и в настоящее время курирует три крупных проекта и участвует в двух других. 14 000 томов библиотеки доступны австрийским и греческим профессиональным археологам и исследователям. Во дворе установлен бюст в честь Отто Бенндорфа. Поскольку Австрийский археологический институт в Афинах является пятым старейшим подобным учреждением в Греции, здание считается историческим, а его окончательные архитектурные планы хранятся в Национальной галерее.