私は現在、東大出身の塾講師として活動しているものですが、学生時代には中学受験を経て難関中学に合格し、そこから東大に合格しました。その時の自分の勉強した経験をもとにアドバイスさせていただきます。
自分は小学校4年生の頃から塾で少しずつ社会や理科を勉強し始めましたが、この当時の理科、社会は内容が簡単で、結構すぐに覚えられてしまったので、あまり重点的にやる必要はないと感じました。でも、6年生の内容は結構覚えることが多く、それなりの時間をかける必要があると感じました。
私は4年生から勉強していましたが、今考えると5年生からでも十分間に合ったと思います。むしろ、4年生の時は国語や算数をもっと重点的にやって、力をつければよかったと思っています。

これを踏まえて、大学受験の時は、社会を（私は文系なので理科はあまりやりませんでした）2年生から始めましたし、本格的に集中して社会に取り組んだのは3年生の夏休みくらいからでした。それでも入試本番では社会では平均を大きく上回る得点を取ることができました。

理科、社会は、ただ記憶すれば良いだけの教科なので、国語や算数に比べて、かける時間は短くて良いと思いますよ。
5年生からの勉強で十分どうにかなります。