之后，这批海商又开始中断了的海上贸易，不过更多时候，他们以劫掠为生，他们的船只纵横于台湾海峡这条海上生命线，从其他的商船中抢夺物品与金银财宝，并且利用这些财富，购置更多的大船与武器，招揽更多的流民加入到海盗的队伍中。
郑芝龙的海盗中的地位也越发重要。在他离家数年后，父亲去世了，留在澳门的弟弟郑芝虎、郑芝豹在得知大哥落草于台湾后，也纷纷前来投靠，此外，他的堂哥郑芝莞也前来投奔。郑芝龙虽然离开了平户，但他仍然是海商巨头李旦的义子，他与李旦的船队来往仍然非常密切，这一层关系对于确定郑芝龙在二十八人集团中的地位是非常重要，这也为颜思齐集团继续从事海商事业提供了极大的便利。
由于荷兰人占据了台湾的南部，与颜思齐的势力各霸一方。
颜思齐海上力量的崛起，对荷兰人来说，既是一个威胁，也是一个可以合作的伙伴。在这种情况下，颜思齐派郑芝龙到荷兰人的控制区，担任荷兰东印度公司的翻译。
郑芝龙在日本时，便与荷兰人打过许多次交道，非常了解荷兰人底细，颜思齐集团与荷兰人共处一岛上却能相安无事，这其中应该有不少要归功于郑芝龙的外交才华。
但是郑芝龙并没有在荷兰的东印度公司呆很久，有一天他不辞而别返回到北港。
对于野心勃勃的郑芝龙，显然清楚地意识到远离基地，无异以将自己的权力拱手让予他人，虽然在二十八人集团中，他的年龄是最小的，但无论是他的才华，还是他所掌握的资源，都要远远地超过颜思齐之外的其他二十六人。
与其当一名无所事事的翻译，不如带上几艘船到海面上寻找猎物，他宁可自己当一名海盗，也不愿成为一名文职人员，在这个海盗世界中，抢劫一艘商船，绝对比说一口流利的西洋话更能赢得别人的尊敬。
颜思齐经营台湾一年的时间，海商基地已经从海岸线向岛内延伸，从北港溪流域拓展到了牛朝溪、八掌溪流域，新开垦土地大大增加，同时新的居住点也不断地增多。船只的数量也越来越庞大，武装力量也变得强大。
颜思齐没有放弃占据日本的雄心，在那个时代，他确实是非常特殊的人物，如果不是因为他意外地英年早逝，那么他的成