そのとおり。
一年間(1/1〜12/31)を通しての損益(雑所得)の合計が課税対象になる。
それを計算して3月頃に資料を税務署に提出する。