因为鲁迅是在这条马路上去世的关系，这条长不过一里地、宽不过20米的山阴路成为上海的一条名街。
这条马路开筑的时间很早。随着北四川路向新靶子场（今天的鲁迅公园）延伸，这条越界筑路就不停的往外生长出新的岔路。山阴路就是其中的一条，当时起了个最常见的英国人名字为路名——施高塔（scott）路。沿汉璧礼西童学校（Public School of Boy，今天的复兴初级中学）向东延伸，蜿蜒而北再向东，后来一直延伸到沙虹港这条小河，成为断头路。1945年租界收回，才将这条路的前半段命名为山阴路，后半段命名为祥德路。
沿着这条马路，陆续建起了弄堂房子。从路口而往前延伸，由20年代的石库门里弄，到30年代初的新式石库门、新式里弄、花园式里弄、公寓式里弄、花园洋房，都可以在这条短短的马路上看到，可以说是集上海弄堂房子之大全。
好象有默契一般，山阴路两边的弄堂房子风格不同。从四川路进来，右手边的恒盛里、恒丰里等是石库门里弄，东照里、四达里虽然是新式里弄，但外观比较接近石库门里弄——弄口有过街楼、住宅单元有高过人的围墙；而左手边则都是西洋风格的新式里弄：大陆新村、文化别墅，弄口敞开，每个单元门前有个开放的小院落，围着矮墙和铁栏杆，再过去过了一排花园式里弄，又是法国式正立面的新式里弄。除了一条积善里是新式石库门里弄外，一直到山阴路祥德路底，都是西洋式的房子。
或许是当时房产商们已经有了将这条马路建为住宅街的共识，在这条马路上大多数弄堂房子沿街面的处理上和上海大多数弄堂房子的手法不同，没有沿街面建造面街的二楼住家、底层开店的横排房子，而只是简单地将与马路垂直走向的弄堂房子山墙直接朝街面。山墙是房屋的承重墙，不能多开窗户，更不能开店，一堵堵的红色的金字顶的大砖墙，和沿街种植的法国梧桐相映，使得整条马路显得简洁和安静。这条马路有不少花园洋房，园子围墙上总是露出大树冠，还有一些地方有着小小的绿化空地。在少见绿树的上海，这样的街景算是难得的。
山阴路的这种氛围很适合居住，而出口又很方便，一转弯就可以到虹口公园，坐有轨电车出行，也可以雇黄包车、出租车沿北四川路前往市区。从市政来说，越界筑路沿线是“半租界”，由工部局管理，中国政府不得插手，住在这里，可以躲避苛捐杂税，以及明目张胆的政治迫害。
鲁迅最后的住所大陆新村，是1931年由大陆银行上海信托部投资建造的，砖木结构的新式里弄，红瓦红墙，3层楼高，有6排弄堂、60个单元。砖瓦木料几乎全部都是进口货，内部有煤气、卫浴设备。虽然每套单元的使用面积不大，但在当时算是挺高级的住宅。鲁迅先在这里购屋居住，不久茅盾在他后面两排的29号住下。瞿秋白在党内落难后，也曾在斜对面的东照里租屋居住。一时间这里可以说是左翼文学的一个据点。
不过在很长的时间里，山阴路上真正的主人是日本人。山阴路口是日本人的住宅区千爱里，沿街有小型的公寓楼山阴大楼，往前去右侧有日本人的房地产弄堂东照里，以及几栋独立的日本人的花园洋房。813事变后，这个地方更是成为日本人聚居区，新建起日本军人的宿舍和他们的马厩（今天的山阴路303弄），日本商人的公寓住宅青庄、绿苑庄。直到日本战败时，山阴路还是居住在上海的日本侨民等候遣返的集中营。
直到1970年代初，山阴路依然保留着原来的面貌。每当从喧闹的四川路拐进山阴路，看到绿树红墙的恬静的街景，马上就会觉得神清气爽。经常有人会在这条马路上画画、拍照，尤其是下雪的时候。
1970年代中期起，这条马路迅速走向了败落。先是一些单位在原先的空地上见缝插针的建造起火柴盒一样的工房。接着造孽的就是我们这些房屋修建工程队，在对大陆新村等里弄进行大修时，为了防地震，把原先点缀屋顶的大烟囱全部敲光，红瓦换成灰色的石棉瓦。墙面上用水泥粉刷再涂上劣质涂料，大修后不久就变成了大花脸。80年代起，居住紧张，住户们也纷纷自行在晒台、花园这些地方乱搭建，房屋外貌被破坏。再下去，就是纷纷破墙开店，恬静的街景从此一去不复返。
山阴路原来算是比较上档次的地段，住户大多算是有点身份的，不是资产阶级、就是高级职员、教师。90年代后老的住户不是败落、就是搬迁。有个在山阴路上开超市的经理把这个地方称为“破落户聚居区”：购买力没有的，眼界还很高，好一点的东西卖不动。这种老的高档地段败落景象在上海大概也不算是最典型的吧。
