Ростокинский акведук был построен в первой половине 1780-х годов в рамках масштабного проекта создания Мытищинского водопровода. Необходимость в этом возникла после эпидемии чумы, которая поразила Москву в начале 1770-х годов. В то время почти все внутригородские водные источники оказались серьезно загрязнены, что способствовало вспышкам опасных инфекционных заболеваний.

Чтобы решить эту проблему, власти выделили внушительные средства — 1,1 миллиона рублей (в конечном итоге затраты составили 1,6 миллиона рублей). Инженер-гидротехник Фридрих Вильгельм Бауэр разработал план, который включал создание десятков накопительных бассейнов в Мытищах для сбора грунтовых вод. Эти бассейны были соединены с коллектором — кирпичной галереей, имеющей полукруглый арочный свод шириной 90 см, высотой 135 см и протяженностью 20 км. Чтобы соблюсти необходимый уклон, в некоторых местах труба укладывалась на глубину до 19 метров. Для преодоления глубоких оврагов и рек были построены пять акведуков, самым впечатляющим из которых стал акведук через реку Яузу, длиной 356 метров и высотой 15 метров (в некоторых источниках указывается 19 метров). Императрица Екатерина II, согласно историческим свидетельствам, назвала его лучшим архитектурным сооружением Москвы. Для создания этого грандиозного гидротехнического сооружения была возведена кирпичная фабрика, а в качестве облицовочного материала использовался камень, добытый из разобранной стены Белого города. Внешний вид акведука, который имел 21 арку, напоминал схожие конструкции древнего Рима. Тем не менее, хотя проектировщики и строители приложили немало усилий и проект получил высокую оценку, в его реализации были допущены ошибки. Ростокинский акведук и Мытищинский водопровод, который официально заработал в октябре 1804 года (спустя 25 лет после начала работ), в начале эксплуатации не предоставили москвичам ожидаемого объема воды.

Краткое описание, представленное в 1913 году, гласит: «Почти сразу после запуска Екатерининского водопровода в Москве возникла проблема нехватки воды, хотя ожидалось, что по водопроводу будет подаваться 300 тысяч ведер воды в сутки. Однако реально эта цифра была значительно ниже. Кирпичный канал, построенный на деревянных ростверках, быстро пришел в негодность из-за гниения, что привело к осадке и образованию трещин, вследствие чего значительная часть воды терялась в пути». 

К подобным выводам пришли и другие эксперты, отмечая, что проблемы возникли и на Ростокинском акведуке, который был построен из мячковского камня. Из-за морозов появилась фильтрация, которая со временем только усугублялась. В 1799 году внутренние поверхности галереи обложили свинцом, но, вероятно, работа была выполнена не очень качественно, и утечка воды не уменьшилась существенно. Бассейны в Мытищах также оказались уязвимыми и подверженными обрушению. Тем не менее, нельзя предвзято осуждать проектировщика Бауэра, так как это был первый опыт создания водопроводов в России, а его идея была весьма перспективной — просто отдельные элементы не были достаточно хорошо проработаны. Необходимость в улучшении прослеживалась на протяжении многих лет, и грандиозная реконструкция была проведена с 1826 по 1835 год, на что было потрачено 725 тысяч рублей. В следующие годы, между 1853 и 1858 годами, также проводились работы, которые позволили увеличить пропускную способность до 500 тысяч ведер в сутки (около 6 миллионов литров). В это время численность населения Москвы достигала порядка 400 тысяч человек, но к концу 1880-х она удвоилась и потребовала новых решений в сфере водоснабжения.

В результате был разработан проект Нового Мытищинского водопровода, который был реализован за два с половиной года и запущен в 1892 году. Были проложены более 100 км труб и построена насосная станция, что позволило увеличить подачу воды до 1,5 миллиона ведер в сутки, а затем в начале XX века — до 4 миллионов ведер в сутки.

Реконструировали и Ростокинский акведук, который в 1902 году подвергался капитальному ремонту и был адаптирован для прокладки двух чугунных труб, по которым вода поступала из Мытищ в Москву вплоть до 1962 года. После утраты первоначальной функции акведук стал использоваться в качестве опоры для теплотрассы. В позапрошлом десятилетии конструкцию отреставрировали, восстановив белокаменную облицовку карниза и воссоздав часть желоба, по которому когда-то текла вода.  Теперь акведук стал пешеходным мостом и привлекает всё больше туристов. Он остаётся единственным подобным сооружением в России и старейшим инженерным достижением Москвы. В 2025 году намечено вернуть акведуку его первоначальный архитектурный облик: в рамках проекта планируется очистка и реставрация облицовки фасадов и лестниц, замена повреждённых древесных конструкций навеса и кровли, укрепление кладки и восстановление беседки-павильона. Также будет произведена замена инженерного оборудования, обновление водоприемных колодцев и создание имитации водотока. По словам Собянина, все работы должны быть завершены в третьем квартале текущего года.