Оба режима эквивалентны и протокол обмена не отличается, отличается только количество проводников необходимых для подключения к МК.
Для режима двухпроводного UART-а надо на 2 проводника больше. Второй режим, несмотря на большее количество необходимых проводников, хорош тем, что то же подключение можно использовать для связи МК в рабочем режиме, а не только для прошивки. Сигналы TOOLTxD/TOOLRxD делят выводы с TxD0/RxD0.
Дополнение: с тех пор, как создавался этот пост, rl78flash успел изменится настолько, что подключение стало ещё проще:
Самую актуальную информацию всегда можно найти в репозитарии проекта -> https://github.com/msalov/rl78flash