Na nepřístupné skále s příkrými stěnami, tedy na místě, které je jakoby stvořené pro opevněné sídlo, jej na konci 13. století nechal postavit Jindřich Berka z Dubé. Výškově odstupňované skalní plošiny byly přístupné pouze dřevěnými schody, které bylo možné v případě ohrožení hradu snadno odstranit.
V době husitských válek se vojska táhnoucí od Bělé a od Mimoně se sešla pod Jestřebím s bojovníky, kteří táhli od Benešova nad Ploučnicí a České Lípy. Když viděl Hynek z Dubé tuto přesilu, přidal se k nim. Za tento čin byl jmenován hejtmanem z Lípy. Jeho syn Čeněk poté prodal panství Jestřebské spolu s Provodínem pánům Smiřickým. Roku 1545 prodal Kryštof Smiřický panství Vartenberkům, kteří je připojili k rybnovskému a posléze k novozámeckému panství. Od té doby hrad rychle pustl. V 16. století převzalo městečko jméno hradu Jestřebí. Později získal panství Valdštejn, po něm vdova Isabela a dcera Alžběta provdaná Kounicová. V držení Kouniců zůstalo panství až do 20. století.
Do dnešní doby se zachovalo už jen málo pozůstatků, ale podle zpráv a rytin vypadal hrad ještě na sklonku 18. a 19. století podstatně jinak než dnes. Sestával z paláce a věže, zranitelná místa nahrazovaly zdi. Hospodářská stavení stála na plošině pod hradem. Skála však postupně zvětrávala a pověstmi živená touha po objevení pokladu způsobila, že se po úporném kopání zřítily stropy. Patu skály navíc zúžilo dobývání písku. Skalní převisy zatížené zdivem hradu se pak snadno utrhly. Dnes tak zůstala po hradu již jen silueta, která je viditelná ze širokého okolí. K.H.Mácha ve své době přirovnal tvar hradu k obrácenému korábu.