Sekolah
Rendah Kebangsaan Haji Mohd Shariff pada
asalnya bermula dengan nama Sekolah Inggeris Alor Setar. Pada 6 Januari
1968, bangunannya terletak di Bekas
Latihan Pusat Harian (DTC) dalam kawasan Kolej Sultan Abdul Hamid, Alor Star.
Guru Besar yang pertama ialah Encik
Ariffin bin Ibrahim. Pada mulanya hanya terdapat 8 kelas Standard 1 dengan
jumlah murid seramai 400 orang dan 12 orang guru. Hal ini disebabkan kegagalan
murid-murid ini mendaftar masuk ke Sekolah Inggeris Sultanah Asma, Sekolah
Rendah Iskandar, Sekolah Rendah St. Nicholas Convent dan Sekolah Tunku Abdul
Halim. Pada tahun 1969, terdapat 9 kelas Standard 1 dan 8 kelas Standard 2.
Pada tahun 1970 pula hanya terdapat 6
kelas Standard 1 dan sebahagian daripada mata pelajaran yang diajar dalam
Bahasa Malaysia. Ketika itu, Sekolah Inggeris Alor Setar menumpang beberapa bilik di Kolej Sultan Abdul
Hamid pada sebelah petang. Pada tahun 1971, terdapat 6 buah kelas Darjah 1
menjadikan jumlah keseluruhan sebanyak 29 kelas. Akhirnya, Sekolah Inggeris
Alor Setar berpindah ke tapak Kompleks Pendidikan Alor Malai pada 1 Januari
1972.
Atas inisiatif Guru Besarnya Encik
Ariffin bin Ibrahim memikirkan agar nama bekas Menteri Besar (yang pertama
dilantik) Haji Mohd Shariff bin Othman dapat diganti kepada Sekolah Inggeris
Alor Setar. Setelah mendapat persetujuan Lembaga Pengurus dimajukan kepada
Setiausaha Kerajaan Negeri Kedah, Dato’ Shuib bin Othman yang kebetulan adik
kepada bekas Menteri Besar.
Pihak kerajaan negeri Kedah memberi
persetujuan, maka pemakluman dihantar kepada Jabatan Pelajaran Negeri Kedah dan
dalam bulan Jun 1972, diisytiharkan Sekolah Inggeris Alor Setar diubah nama
kepada Sekolah Rendah Haji Mohd Shariff. Encik Ariffin bin Ibrahim menjadi Guru
Besar yang pertama.
