За участие в русском революционном движении Ястремский был арестован и приговорён к десяти годам каторги. Наказание отбывал на Карийской каторге (семь тюрем по берегам реки Кары в Забайкалье, в 100 км от Читы). В 1876 году его перевели в Якутию на поселение. Там у Сергея Васильевича и появился интерес к изучению языка и фольклора якутов.
Результаты экспедиции он изложил в «Грамматике якутского языка». В предисловии автор указывает, что свою работу планировал сделать приложением к словарю Эдуарда Карловича Пекарского. В 1895 году послал ему две части очерка и в ответ получил ценные советы по содержанию.
Книга содержит три части: фонетика, производные понятия и выражения отношений, синтаксис. В конце размещена часть фольклорного материала, собранного автором.
При составлении грамматики Ястремский руководствовался трудами академика Отто фон Бётлингка (1815—1904). Также Сергей Васильевич сотрудничал с учёными и исследователями Восточно-Сибирского отдела Императорского русского географического общества: с Н. А. Виташевским (1857—1918) и В. М. Ионовым (1851—1922).