度重なるケガに泣かされながらも真摯な相撲道を貫き、左四つの正攻法の取り口で関脇も務めた玉乃島。福島県西白河郡泉崎村を出身地としているが、生まれは秋田県雄勝郡雄勝町(現湯沢市)で、東京都文京区で育った。父はタートル岡部の名で日本ジュニアミドル級とミドル級の2階級でチャンピオンになった元プロボクサーで、母は大関・清國の実妹。2学年上の兄も元十両の玉ノ国である。
小1で都内の相撲クラブで相撲を始め、中3の時には全国都道府県中学生相撲選手権の個人決勝戦でのちの大関・雅山こと竹内雅人を破って優勝。全国中学校相撲選手権でも両者は個人戦決勝戦に進出し、この時は竹内が勝って中学横綱に輝いた。
高校は石川県の名門、金沢市立工業高へ相撲留学。1年生からレギュラーに名を連ね、全国トップクラスの実力を誇り、高3の時には全日本選手権にも出場している。高校卒業後は兄を追って東洋大へ進学。入学早々からレギュラーに抜擢され、チームの主力として活躍したが、兄が東洋大卒業後、プロ入りするのに伴い、自身も2年で大学を中退して兄弟揃って元関脇・玉ノ富士の片男波部屋へ入門した。