明治42年（1909）、滋賀県高島郡の材木店の三男に生まれる。同じ滋賀県出身の呉服問屋「珍粋」（東京）に奉公しながら、上野美術学校を卒業。珍粋に創設された考案部に配属され、図案を描く。昭和8年に独立して、白生地の現物に描きはじめたのが染色家としての始まり。戦時中は営業を中断し、宮津に疎開。戦後再開して、昭和36年に「三才染工芸」を設立した。古今東西の芸術作品や染織品から人の心に訴える「ほんもの」の力を吸収し、染色の作品制作に打ち込む。赤青黄の三原色以外に神様が隠している「うまい色」「いい色」がきっとあるはずと「今一つの色」を追求し、オリジナルの色見本『今一つの色』を第十一集まで出版。また作品集も発行し、創作への意欲を打ち出した。「ある日突然、私の心に燃えあがり、ふつふつ煮えたぎってゆくあつい思いを布にぶっつける―」（斉藤才三郎作品集「私のことば」より）。仕事熱心で創作のセンスにも抜きん出た情熱の染色作家として名を残す一方、仕事以外では常識の尺度では測りきれない破天荒な人物として語り継がれる。昭和48年（1973）死去、享年64歳。

才三郎の長男に生まれる。染色作家として活躍していた父の影響を受け、同じく「珍粋」に奉公へ。修業期間を終え、三才染工芸に入社。二代目として得意先周りをし、技術の研鑽を重ねる。父の知り合いであった日本画家・加納三楽輝に師事し、筆運びから植物の写生などデッサンのアドバイスを受ける。きもの雑誌で「親子創作展」が特集され、三才のキモノは斬新と女優やモデルから注文が殺到。「着る人を喜ばすきものづくり」に専念する。昭和41年同社社長に就任、株式会社三才に社名を変更。染色作家として新作を発表してきた個展は35回を数え、大会場でのキモノショーも手がけて成功に導く。和装の常識を打ち破った配色が「六十（才）地色に二十（才）柄」と業界から批判を浴びたが、その独創的な色調は市場に受け入れられ、「三才調」と呼ばれるスタイルを確立した。「上品すぎると野暮、粋すぎると下品」「きものはいきもの」「百線練磨」など独自のファッション哲学を表す名言も多い。

昭和44年（1969）、三才の長男に生まれる。祖父・才三郎と父・三才から「伝統は進化する」ことを学び、27歳でキモノデザイナーとしてデビュー。日本人の和装離れが進むなか、儀礼的なユニフォームとして着るのではなく、ワードローブとして楽しむキモノを主張。キモノに限らず、帯・帯揚げ・帯締め・衿・草履・バッグに至るまで自らデザインし、トータルにコーディネイトする。きものの様式美を守りつつ、現代の都市空間にマッチする新しいキモノスタイルを提案。平成14年以降、キモノ作品だけで「東京コレクション」に参加。さらに「和を楽しむ」というコンセプトで、ホテルやレストランのインテリア・家具のデザインも積極的に手がける。現在、①キモノ、②コスチューム（著名人の衣装）、③アートワーク、④プロダクツの４つのジャンルで活躍中。平成21年にはブランドショップ「絹磨×JOTARO SAITO」を六本木ヒルズにオープン。キモノをベースにしながら、次世代のジャポニズムを発信している。