upper「上の」 case「容器」で、昔使われていた活字ケースの上の段が大文字だったことから。