Родился 21 июня 1931 года в г. Чимкенте, окончил Киргизский государственный университет в 1953 году. В 1953—1958 годах работал учителем, директором школы, служил в армии. Участвовал в археологических экспедициях А. Н. Бернштама и А. П. Окладникова. В 1958 году поступил в аспирантуру Ленинградского отделения Института археологии АН СССР (ЛОИА). Научный руководитель — М. П. Грязнов. В годы учебы в аспирантуре Я. А. Шер участвовал в работе Байкальской, Красноярской экспедициях, занимался сбором материалов в Средней Азии. После окончания аспирантуры в 1961 году принят младшим научным сотрудником в ЛОИА АН СССР, где работал до 1973 года. В 1963 году защитил кандидатскую диссертацию «Каменные изваяния Семиречья».С 1975 году Я. А. Шер был принят научным сотрудником в Государственный Эрмитаж, занимался проблемой использования информационных технологий и формализованных методов в музейном деле.