В середине 50-х гг. ТТТ к боевым самолетам менялись чуть ли не каждые полгода, чему в значительной мере способствовали достижения в двигателестроении. Поэтому в самом разгаре процесса испытаний Як-26, 28 марта 1956 г. вышло постановление ЦК КПСС и Совета Министров СССР N424-261 (приказ МАП N194 от 6 апреля), предписывавшее ОКБ-115 начать разработку и постройку на его базе нового легкого высотного сверхзвукового фронтового бомбардировщика. Согласно этому постановлению, самолет с экипажем из двух человек должен был оснащаться двумя двигателями Р-11-300 конструкции ОКБ С.К. Туманского с тягой по 3 900 кгс на максимальном режиме и 5 300 - 5 500 кгс на форсаже. К машине предъявлялись следующие основные требования: взлетная масса - 12 000 - 13 000 кг; максимальная скорость на высоте 10 000 м на форсаже - 1 500 - 1 600 км/ч (без форсажа - 1 200 - 1 300 км/ч); время набора высоты 10 000 м на форсаже - 3-3,5 мин; практический потолок - 16 000 - 17 000 м; разбег - 1 000 м, пробег - 1 100 м; дальность полета на высоте 10 000 м с бомбовой нагрузкой 1 200 кг (специзделием) - 2 200 - 2 400 км; нормальная бомбовая нагрузка - 1 200 кг, перегрузочная - 3 000 кг. Для уменьшения вероятности поражения из задней полусферы самолет требовалось оснастить кормовой артустановкой с 23-мм пушкой и боезапасом в 50 снарядов. Проектирование бомбардировщика велось под шифром Як-129 в течение полутора лет. В самом начале работ, 15 августа 1956 г., вышло постановление Совмина N1115-578 (приказ МАП N453 от 21 августа), согласно которому ОКБ-115 также поручалось разработать вариант самолета под два очень мощных двигателя ВК-11 с тягой на максимальном режиме 6 100 кгс и 9 000 кгс на форсаже. При этом значительно повысились требования к ЛТХ бомбардировщика.

Так, максимальная скорость на форсаже должна была возрасти до 2 500 км/ч, практический потолок - до 20 000 - 21 000 м, дальность полета на высоте 14 000 - 15 000 м при скорости 1 000 км/ч - до 2 500 км, а при полете на высоте 19 000 - 20 000 м - до 2 000 км (при этом 500-600 км - со скоростью 2 000 км/ч и 1 400 - 1 500 км - со скоростью 1 000 км/ч). Первый из двух опытных экземпляров следовало предъявить на заводские испытания в I квартале 1958 г., а в IV квартале - на госиспытания. Предполагалось, что ВК-11 будет устанавливаться на тяжелые перехватчики ОКБ П.О. Сухого (Т-37) и ОКБ А.И.Микояна (Е-150), однако он оказался невостребованным, и по этой причине не запускался в серийное производство. Поэтому задача по его установке на Як-129 была снята. Для ускорения постройки первого опытного Як-129 по просьбе заместителя Главного конструктора Е.Г.Адлера был выделен один из имевшихся на летной станции ОКБ серийных Як-26. Переделку закончили в начале 1958 г. И хотя внешне самолет казался очень похожим на доработанный в 1957 г. Як-26-1, это был совершенно новый тип бомбардировщика. Высокое расположение крыла уменьшало кабрирующий момент от тяги двигателей, чем увеличивалась устойчивость машины на взлете и при полете на больших углах атаки. Этому же способствовало увеличение хорд корневой части крыла, что уменьшало влияние скоса потока на горизонтальное оперение и увеличивало его эффективность. Новые закрылки дали большой прирост подъемной силы. Смещение элеронов значительно повысило эффективность поперечного управления на больших скоростях из-за уменьшения упругих деформаций крыла. Применение тормозного парашюта позволило сократить длину пробега. Для повышения угла атаки при взлете заднюю основную стойку шасси оборудовали системой автоматической "просадки".

Як-129 оснастили двигателями Р-11А-300 с тягой на форсаже 4 850 кгс. Это была опытная модификация серийного Р-11-300 (применялся на МиГ-21), отличавшаяся от него расположением коробки агрегатов, т.к. предназначалась для установки в гондоле под крылом. Гондолы новых двигателей имели круглое входное отверстие с небольшим центральным конусом. Топливная система опытной машины включала шесть фюзеляжных баков общей емкостью 4 025 л. Первый полет новой машины состоялся 5 марта 1958 г. В воздух ее поднял ведущий летчик-испытатель ОКБ В.М.Волков. С этого дня начались заводские испытания машины, которые проводились на аэродроме ЛИИ и завершились 4 октября. К тому времени новому бомбардировщику присвоили серийное обозначение Як-28. Кроме Волкова, самолет облетали летчик-испытатель завода N30 С.Г.Петухов и ведущий пилот ЛИИ С.Н.Анохин. По сравнению с Як-26 взлетная масса нового бомбардировщика выросла до 12885 кг (при нормальной бомбовой нагрузке 1 200 кг и запасе горючего 3 200 кг). На форсаже удалось набрать 10000 м за 3,5 мин и достичь максимальной скорости 1 500 км/ч. Предполагалось получить потолок в 17800 м, но из-за самовыключения форсажа удалось достичь только 16 300 м. Летчики отмечали вполне удовлетворительную устойчивость и управляемость, хорошие взлетно-посадочные характеристики (разбег и пробег составляли от 850 до 950 м). Перекомпоновку носовой кабины одобрили не только заводские пилоты, но и штурманы ЛИИ. В процессе испытаний для улучшения продольной устойчивости у корня крыла и в ХЧФ установили аэродинамические гребни. Кроме того, по аналогии со вторым опытным Як-27Р удлинили законцовки крыла, которые стали выступать за балансиры-обтекатели крыльевых опор.