Если тут
Ряды Фурье
в пункте два формула для коэф-ов правильно написана, не вижу в чем может быть проблема вообще.
Вот здесь
http://window.edu.ru/window_catalog/...2/nov02030.pdf
все очень хорошо расписано, с 6 страницы примеры, пример 3 ну оооочень похож.

Помочь тоже могу, если это актуально ещё.