В начале XIX века одна из важнейших промышленных отраслей города, текстильная индустрия, пребывала в упадке. Население города было очень бедным и в 1815 году составляло всего около 17 000, то есть было меньше, чем в начале XVII века. Бедственное состояние городской экономики привело к созданию в городе хлопковых фабрик, которые были призваны уменьшить безработицу среди городского населения, но эта мера оказалась почти бесполезной. Городские защитные стены к началу XIX века полностью перестали выполнять свои функции и были снесены, а на их месте был разбит парк.
К середине XIX века городская экономическая ситуация постепенно начала улучшаться. Были открыты новые предприятия, основаны новые большие компании. Спустя четырнадцать лет после появления первой в мире железной дороги, 20 сентября 1839 года была открыта первая в стране железная дорога, связавшая Харлем с Амстердамом. Её постройка заняла три года, но зато теперь, вместо двухчасового путешествия по каналу, до столицы королевства можно было добраться всего за полчаса. Очень быстро новая железная дорога переманила всех бывших пассажиров треквартов, хотя и сегодня возможно осуществить путешествие из Харлема в Амстердам на лодке.
В 1848—1852 году по распоряжению короля Виллема II было проведено осушение близлежащего озера Харлеммермер. Появление новой земли затруднило восстановление воды в каналах за счёт реки Спарны, а создание новых предприятий ещё больше ухудшило качество воды. Поэтому в 1859 году Старый канал (de Oude Gracht) был засыпан, а на его месте возникла новая улица с тем же названием. Появление новой земли благоприятно сказалось на развитии города: на месте осушённого озера раскинулись обширные тюльпановые поля.
В 1853 году в городе была построена церковь Св. Иосифа, которая стала выполнять функции кафедрального собора. Однако небольшой размер церкви Св. Иосифа (нидерл. Sint Josephkerk) вынудил в 1895 году начать строительство новогоКафедрального собора Св. Бавона. Несмотря на то, что освящение собора состоялось в 1898 году, работы продолжались ещё более тридцати лет. В 1902—1906 годах были построены трансепт и неф собора, а полностью возведение храма было завершено около 1930 года, когда были закончены башни собора.
В 1878 году в городе появилась конка, перевозящая пассажиров от железнодорожной станции до парка Харлеммерхаут, а в1899 в городе начал действовать один из первых в Нидерландах электрический трамвай. Население города за тридцать лет с 1879 по 1909 годы увеличилось с 36 976 до 69 410 человек. Рост населения сопровождался и быстрым расширением городских границ.
В начале XX века город разрастался к северу. Несмотря на представленный ещё в 1905 году официальный план развития города, его осуществление началось спустя почти четверть века из-за разногласий с окрестными муниципалитетами. В 30-х годах XX столетия границы города смещались в направлении к югу и востоку.
В 1908 году после реконструкции вновь начала действовать городская железнодорожная станция. Она была построена над городом и железнодорожные пути больше не мешали городскому движению. Здание новой железнодорожной станции было построено в стиле ар-деко в 1905—1908 гг. голландским архитектором Д. А. Н. Маргадантом (нидерл. D.A.N. Margadant), который является автором зданий вокзалов и в других городах Нидерландов, включая Гаагу (1891 г.).
В 1911 году, через восемь лет после первого полёта братьев Райт, в Харлеме состоялся первый полёт А. Фоккера на созданном им аэроплане. 31 августа, в день рождения королевы Вильгельмины, Фоккер, проживший большую часть детских лет в Харлеме, облетел вокруг церкви Святого Бавона. Этот полёт принёс ему славу и стал началом карьеры авиаконструктора.
С 1919 по 1922 годы в харлемской Школе архитектуры и декоративных искусств учился известный нидерландский художник-график Мауриц Корнелис Эшер. Один из учителей Школы, художник Самуэль Йессурун де Мескита, оказал на Эшера огромное влияние и даже после окончания учёбы двух художников связывали дружеские отношения.
В 1926 году Б. Т. Буйинга, один из представителей «Амстердамской школы», построил в городе церковь Клопперсингелкерк (нидерл. Kloppersingelkerk). Она была создана на основании проекта кальвинистской церкви (1923 г.). Церковь имела оригинальную планировку, а вход её был украшен статуями лидеров протестантизма. К сожалению, до наших дней церковь не дошла, она была уничтожена сильным пожаром 23 марта 2003 года, но сохранилась её фотография 1927 года .
Великая депрессия 1929—1933 годов тяжело сказалась на экономике города, как, прочем, и на экономике всей страны. Во время Второй мировой войны Харлем, как и многие города Европы, подвергся немецкой оккупации, которая продолжалась с мая 1940 года по май 1945 года. Все это время в городе действовало Движение Сопротивления. Одна из известных участниц Движения Ханни Схафт (нидерл. Hannie Schaft) была схвачена и казнена нацистами за несколько недель до окончания войны. Другая жительница города, Корри тен Боом (нидерл. Corrie ten Boom), вместе со своей семьёй спасала прячущихся от нацистов евреев и нидерландских участников Сопротивления. За это в феврале 1944 года вся семья была отправлена в концентрационный лагерь. Корри тен Боом, единственная из всей семьи, сумела пережить его, и впоследствии стала одним из авторов автобиографической книги «Убежище», посвященной этим трудным годам. За спасение евреев Израиль удостоил её звания Праведник мира. Всего за годы фашистской оккупации в городе было расстреляно 422 участника Сопротивления.
