文久3年、将軍・徳川家茂の上洛に際して結成された浪士組に参加した芹沢は、清河八郎の「尊王攘夷」への方針転換に反対し、近藤勇らと共に京都に残ることを決意する。彼らが結成した「壬生浪士組」は、京の治安維持を担う警察組織として産声を上げた。そして、その後ろ盾となったのが京都守護職を務める会津藩であった。
会津藩主・松平容保の配下となり、壬生浪士組の初代筆頭局長に就任した芹沢だったが、京の街で次々と過激な事件を引き起こす。大和屋への大砲打ち込みや、生糸問屋への強談威迫、酒席での粗暴な振る舞いは、市民を恐れさせた。しかし、最新の歴史的分析によれば、これらの「暴挙」の一部は、資金難に喘ぐ浪士組の運営資金を強引に調達するための策であり、また水戸天狗党時代からの過激な行動様式が京の政局と摩擦を起こした結果であったとも捉えられている。