قدیمی ترین و اولین ساختمان خیابان کوشک مصری، عمارت قزاقخانه است که درست روبه روی «سر در باغ ملی» قرار گرفته است و در سال ۱۲۸۰ هجری قمری در زمان مظفرالدین شاه دستور ساخت آن داده و در زمان ناصرالدین شاه ساخته شد. این عمارت به گونهای قدیمیترین ساختمان اداری تهران در تاریخ تحولات شهر به حساب میرود. این عمارت از چندین ساختمانی که در فاصله یکسان و مناسبی نسبت به یکدیگر قرار گرفتهاند، ساخته شده است. متاسفانه این اثر تاریخی ارزشمند در حال حاضر، حال و روز چندان خوشی ندارد و بیشتر شبیه متروکهای شده و نیاز به مرمت و حفاظت فوری دارد.