2011年7月21日，在infinite-h组成前张东雨、李浩沅曾合作了歌曲《Crying》并收录于infinite首张正规专辑《Over The Top》。

2012年2月11日，在INFINITE在韩国举行的首次单独演唱会上infinite-h演唱了《Crying》与《看起来不错》。9月19日，Woollim entertainment对外宣布infinite首个的小分队组合infinite-h成立并于明年开始正式活动。

2013年1月7日，infinite-h首张概念照在各大官方网站公开宣布出道。与此同时，infinite-h也释出首支mv《Fly High》与第二支mv《SpecialGirl》的预告。1月10日，infinite-h在首尔举行首张专辑的发布会并举办了首场showcase。1月11日，infinite-h首张专辑《Fly High》正式发行。该专辑里infinite-h的主打曲《SpecialGirl》和其他收录曲横扫音源排行榜，成为HANTEO日间排行榜的冠军。1月18日，infinite-h还成为了KBS《不朽的名曲2》的固定嘉宾。