На протяжении XVII—XVIII веков в городе было основано не менее полутора десятков hofjeсов, хотя первый из них появился ещё в XIV веке. Этим словом (hofje) в нидерландском языке называют дома с внутренним двором и садом, служащие приютами и богадельнями. Харлем занимает одно из первых мест в стране по числу таких заведений, часть которых до сих пор используется по назначению. Одно из зданий харлемского музея Франса Халса ранее также принадлежало богадельне.
На рубеже XVII и XVIII веков, с превращением близлежащего города Амстердам в один из крупнейших торговых центров Европы, Харлем утратил своё положение в экономике страны и превратился в пригород быстро развивающегося нового центра. Если в начале XVII века по численности населения Харлем лишь немного уступал Амстердаму, где в это время проживало примерно 54 тысячи жителей, то уже в в 1675 году численность обитателей Амстердама увеличилась почти в четыре раза. Благодаря существующему регулярному транспортному сообщению между Харлемом и Амстердамом (канал-трекварт), преуспевающие купцы могли позволить себе заниматься делами в густонаселённом Амстердаме, а выходные дни проводить в Харлеме, в котором их семьи проживали и в летние месяцы. По крайней мере, два таких богатых голландца оставили след в истории города. Известный голландский меннонит, выходец из Харлема, Петер Тейлер ван дер Хюлст завещал часть своего огромного состояния на благотворительные цели, а также на нужды науки и искусства. На его средства был построен приют, а в его доме создан музей, названный в его честь музеем Тейлера. Амстердамский банкир Генри Хоуп построил в Харлеме знаменитую ныне виллу Велгелеген (en:Villa Welgelegen). Эта вилла, созданная между 1785 и 1789 годами, построена в нетипичном для Голландии стилеклассицизма и в настоящее время располагается на территории харлемского парка.
В августе 1735 года в ботаническом саду директора Ост-Индской компании Дж. Клиффорда, расположенном недалеко от Харлема и содержащем множество экзотических растений со всего мира, появился новый смотритель — известный шведский врач и натуралист Карл Линней. Занимаясь научными исследованиями, К. Линней проработал в саду до 1738 года и опубликовал за это время несколько своих основных научных работ.
В XVIII веке Харлем стал резиденцией епископа Утрехтской католической церкви, образовавшейся в начале века на основе еретического учения янсенизм.
